Beroepsbekwaamheid beoordelen een utopie?
Ieder jaar weer krijgen talloze studenten in het hoger beroepsonderwijs een diploma uitgereikt. Dan zijn ze zogezegd ‘beginnend beroepsbekwaam’. Maar kunnen we zo’n diploma eigenlijk wel vertrouwen?
Meer dan twintig jaar geleden stelde toetsgoeroe Michael Kane dat het niet te doen is om beroepsbekwaamheid écht goed te beoordelen. Alle methoden die daarvoor in te zetten zijn, zoals toetsen en tests, observatie van prestaties, generieke beoordeling en simulaties, schieten te kort. Toetsen zijn niet realistisch genoeg. Directe observaties zijn te subjectief. En simulaties en generieke beoordelingen zijn én niet echt realistisch én niet betrouwbaar.
Hoe kwam Kane tot zijn stelling? De ‘Keten van Straetmans’ helpt om dat duidelijk te maken. Volgens dit model moet de informatie die een examenprogramma levert aan drie voorwaarden voldoen.
Als we de keten van Straetmans gebruiken om examenonderdelen te beoordelen, dan is de onontkoombare conclusie dat er geen enkel examenonderdeel is dat 100% voldoet aan alle drie de kwaliteitseisen. En tóch is de houdbaarheid van de stelling van Kane steeds verder aan het afnemen. Voortdurende ontwikkelingen op het vlak van digitalisering en automatisering spelen daar een rol bij. Maar de werkelijke oplossing ligt in het slim combineren van verschillende typen opdrachten in een examenprogramma. Dat levert informatie op die in zijn geheel wél beschouwd kan worden als betrouwbaar, generaliseerbaar en extrapoleerbaar.
Alvast verder lezen? Bekijk de ToetsSpecial Beoordelen van beroepsbekwaamheid.
Hoe kwam Kane tot zijn stelling? De ‘Keten van Straetmans’ helpt om dat duidelijk te maken. Volgens dit model moet de informatie die een examenprogramma levert aan drie voorwaarden voldoen.
Betrouwbaar
In de eerste plaats moet het examenprogramma betrouwbare informatie opleveren. Informatie is betrouwbaar als deze een voldoende nauwkeurige indicatie geeft van het werkelijke prestatieniveau van een kandidaat.Generaliseerbaar
In de tweede plaats moet het examenprogramma generaliseerbare informatie opleveren. Dit is het geval als je op basis van die informatie ook uitspraken kunt doen over het beheersingsniveau van vergelijkbare opdrachten die niet in het examenprogramma voorkomen. Om de generaliseerbaarheid van de informatie te waarborgen, moet het examen een voldoende aantal, uiteenlopende opdrachten omvatten. Net als in de psychologische literatuur wordt hier vaak het nummer zeven genoemd.Extrapoleerbaar
En in de derde plaats moet het examenprogramma ook extrapoleerbare informatie opleveren. Informatie is extrapoleerbaar als op basis ervan iets te zeggen valt over prestaties die in de beroepspraktijk te verwachten zijn. Dus hoe meer examenopdrachten én de situaties waarin kandidaten deze moeten uitvoeren lijken op de toekomstige werksituatie, hoe beter het is.Als we de keten van Straetmans gebruiken om examenonderdelen te beoordelen, dan is de onontkoombare conclusie dat er geen enkel examenonderdeel is dat 100% voldoet aan alle drie de kwaliteitseisen. En tóch is de houdbaarheid van de stelling van Kane steeds verder aan het afnemen. Voortdurende ontwikkelingen op het vlak van digitalisering en automatisering spelen daar een rol bij. Maar de werkelijke oplossing ligt in het slim combineren van verschillende typen opdrachten in een examenprogramma. Dat levert informatie op die in zijn geheel wél beschouwd kan worden als betrouwbaar, generaliseerbaar en extrapoleerbaar.
Alvast verder lezen? Bekijk de ToetsSpecial Beoordelen van beroepsbekwaamheid.