Paarsgewijs vergelijken in het onderwijs
Met de introductie van 21ste-eeuwse vaardigheden in het onderwijs rees de vraag
hoe dit soort complexe vaardigheden goed gemeten kunnen worden. In dit
onderzoek kijken we of de methode paarsgewijs vergelijken daarvoor een geschikte
manier is. Paarsgewijs vergelijken werkt als beoordelaars heel veel vergelijkingen
kunnen maken. Maar dit is voor docenten vaak niet haalbaar. Inmiddels hebben we
een adaptief algoritme ontwikkeld, waardoor minder vergelijkingen nodig zijn voor een meting die even betrouwbaar is. Op dit moment richten we ons op de vraag wanneer een meting voldoende betrouwbaar is.
Paarsgewijs vergelijken is ...
Bij paarsgewijs vergelijken meten we een eigenschap of vaardigheid bij leerlingen door het vergelijken van leerlingopdrachten in paren. Voor een vergelijking krijgt een beoordelaar de opdrachten van twee leerlingen te zien. De beoordelaar geeft aan welke van de twee opdrachten meer van de te meten eigenschap of vaardigheid laat zien dan de ander. Door meerdere vergelijkingen uit te voeren, krijgen we een meting.
Dit onderzoek ontstond in een samenwerking met een middelbare school
De school vroeg ons persoonlijkheidskenmerken van leerlingen te meten en leerlingen inzicht te geven in deze kenmerken. We ontwikkelden een instrument waarmee leerlingen elkaar onderling paarsgewijs konden vergelijken. De vergelijkingen leverden een meting op, en de leerlingen leerden meer over persoonlijkheidskenmerken doordat ze de vergelijkingen zelf uitvoerden. De samenwerking zette ons aan het denken over andere toepassingen van paarsgewijs vergelijken en hoe deze methode verbeterd kan worden.Facts
- Onderzoeker: Elise Crompvoets
- Samenwerkingspartner: Tilburg University
- Doelgroep: iedereen die wil inschatten of de resultaten van een meting met paarsgewijs vergelijken te vertrouwen zijn (onderzoeksresultaten), tool-ontwikkelaars (selectiealgoritmes)
- Looptijd: september 2016 tot op heden.
"Paarsgewijs vergelijken wordt steeds meer ingezet als meetmethode in het onderwijs op verschillende niveaus. Het is fijn als dit zo efficiënt mogelijk kan, maar het is ook belangrijk dat de resultaten van de metingen te vertrouwen zijn. Mijn onderzoek richt zich op deze twee punten."
Hoe maken we het meten met paarsgewijs vergelijken efficiënter?
Het eerste deelonderzoek van dit promotieonderzoek richt zich op de efficiëntie van het meten met paarsgewijs vergelijken. Dit doen we door het beantwoorden van de vraag: kunnen we beoordelaars vergelijkingen laten maken die zoveel mogelijk informatie geven, waardoor ze minder vergelijkingen hoeven te maken?In twee projecten hebben we twee verschillende adaptieve selectie algoritmes ontwikkeld die deze vraag beantwoorden. Één algoritme (Crompvoets, Béguin, & Sijtsma, 2020) selecteert vergelijkingen die ervoor zorgen dat de locatie van alle leerlingen op de eigenschap-schaal zo nauwkeurig mogelijk is. Het andere algoritme (Crompvoets, Béguin, & Sijtsma, 2021) selecteert vergelijkingen die ervoor zorgen dat de rangorde van de leerlingen zo nauwkeurig mogelijk is.
Hoe stabiel zijn de resultaten van een meting met paarsgewijze vergelijking?
De eerste twee projecten van het promotieonderzoek gaven de indruk dat de resultaten wellicht niet zo stabiel zijn als wordt verondersteld in toepassingen van paarsgewijs vergelijken. In een tweede deelonderzoek brengen we daarom de stabiliteit van de resultaten van metingen met paarsgewijs vergelijken in kaart. Dat doen we door vragen te beantwoorden als: ‘Hoeveel vergelijkingen zijn er nodig om het achterliggende psychometrische model stabiel te schatten?’ en ‘Hoeveel veranderen de resultaten als de uitkomst van één vergelijking of enkele vergelijkingen verandert?’.Publicaties
- Crompvoets, E. A. V., Béguin, A. A., & Sijtsma, K. (2022). On the bias and stability of the results of comparative judgment. Frontiers in Education, 6, 1-10.
- Crompvoets, E. A. V., Béguin, A. A., & Sijtsma, K. (2021). Pairwise comparison using a Bayesian selection algorithm: Efficient holistic measurement. PsyArXiv.
- Crompvoets, E. A. V., Béguin, A. A., & Sijtsma, K. (2020). Adaptive pairwise comparison for educational measurement. Journal of Educational and Behavioral Statistics, 45, 316-338. doi: 10.3102/1076998619890589