Waaraan moet een goede toetsvraag voldoen?
Vakinhoudelijke en toetstechnische eisen
Een set met centrale examenvragen kan niet ‘zomaar’ bij elkaar worden gezocht, maar moet aan een aantal vakinhoudelijke en toetstechnische eisen voldoen. Een greep hieruit:
- Het juiste niveau
- Juiste verdeling over de onderdelen van de centrale examenstof van het vak
- Juiste verdeling over vraagtypen en vraagvormen
- Bepaalde tijd
- Aansluitend op onderwijspraktijk en belevingswereld
- Onderscheidend
- Duidelijke vraagstelling en eenduidig antwoord
- Geen politieke of maatschappelijke gevoeligheden
José Thijssen: "Opgaven maken voor een centraal examen is een lastige klus, dat kan ik je vertellen, maar wel heel leuk!"
'Een centraal examen bestaat uit vragen van gemengde moeilijkheid. Bij het construeren van de vragen (met antwoorden) richten we ons op de balans van het gehele examen.'
Het bepalen van de moeilijkheid van een vraag
De mate van moeilijkheid van een vraag wordt aangegeven met de p’-waarde. Bij de constructie is een p’-waarde van .50 het uitgangspunt. Of de vraag in de praktijk ook zo moeilijk is gebleken, kunnen we berekenen door de gemiddelde score te delen door de maximaal te behalen score. Een p’-waarde boven .85 wijst op een heel makkelijke vraag of toets; een p’-waarde van .30 juist op een moeilijke vraag of toets.“Wat we graag willen, is dat de goede leerling de vraag goed beantwoordt en de minder goede leerling niet. Dus dat de vraag goed onderscheid maakt. Als een leerling veel vragen met een hoge rit-waarde goed heeft dan is dat een signaal dat hij een hoge(re) totaalscore op het centraal examen mag verwachten.”
Het belang van voldoende onderscheid
De rit-waarde van een vraag geeft aan hoe leerlingen op een vraag gescoord hebben in verhouding tot de totale score op het centraal examen. Hoe hoger de rit-waarde, hoe beter de vraag onderscheid maakt tussen vaardige en minder vaardige leerlingen.De rit-waarde is pas bekend na afname van een centraal examen. Je kunt de rit-waarden van vragen in de centrale examens vinden in de toets- en itemanalyse (tia). Handig voor docenten om zelf schooleigen toetsen mee samen te stellen!
Lees ook Achtergrondinformatie: De waarde van de rit-waarde, van Paul van der Molen.
Productietijd van concept tot afname
Gemiddeld zit er zo’n 1,5 tot 2 jaar tussen het bedenken van een eerste conceptvraag en het moment waarop de examenkandidaat de vraag krijgt voorgelegd. Dat heeft te maken met de grote mate van zorgvuldigheid die nodig is om goede, veilige en betrouwbare centrale examens te maken.In deze periode testen we examenopgaven en correctievoorschriften via zogenoemde pretests en try-outs. Dat gebeurt door op een klein aantal scholen de vraag uit te zetten om vervolgens op basis van retour ontvangen scores de p’- en rit-waardes vast te stellen. En door het analyseren van antwoorden van leerlingen aan de hand van schooleigen toetsen. Op basis van de informatie uit de testen kunnen we zien of de correctievoorschriften werkbaar zijn voor docenten en of de vragen het juiste niveau/de juiste mate van sturing bieden aan de leerlingen. In de periode tussen deze testen en de daadwerkelijke afname is er tijd om aanpassingen te doen aan de centrale examens.
Authentieke teksten in centrale examens
Samen met betrokken vakdocenten kiezen we voor centrale examens met authentieke teksten, omdat we het belangrijk vinden om midden in de, voor examenkandidaten herkenbare, maatschappij te staan. Zouden we enkel kiezen voor speciaal voor examens samengestelde teksten of klassieke teksten, dan plaatsen we de examens verder uit de maatschappelijke realiteit. De authentieke teksten nemen we in principe zo veel mogelijk ongewijzigd op. Maar soms zijn beperkte wijzigingen nodig, om aan het niveau van de examenkandidaten te voldoen, zonder dat er inbreuk wordt gemaakt op de strekking van het werk. Hierbij kun je denken aan het vervangen van eventuele moeilijke woorden en/of het schrappen van een (deel van een) alinea, of een beperkte aanpassing in een deel van de titel.Een vraag staat nooit los van een antwoord
Naast een centrale examenopgave ontwikkelen we ook een correctievoorschrift (cv) dat bestaat uit een antwoordmodel, een scoringsvoorschrift en een beoordelaarsinstructie. Het doel van een cv is het ondersteunen van correctoren om te komen tot een uniforme en objectieve beoordeling van leerlingantwoorden en het zo soepel mogelijk laten verlopen van de samenwerking tussen de eerste en tweede corrector.
Analyseren klachten LAKS
Elk jaar deelt LAKS (anonieme) data uit haar klachtenoverzicht met Stichting Cito. Deze data worden na analyse verdeeld naar vak en schoolniveau en gedeeld met onze toetsdeskundigen, om mogelijk te verwerken naar de toekomst. De resultaten gaan ook mee met de TIA’s; de toets- en itemanalyses die we elk jaar openbaar maken over de examenopgaven van tijdvak 1.Met behulp van de TIA kunnen docenten zelf evenwichtige toetsen maken.