Sluiten
cito_gv_18_vo_1155_a3a7802

Jonge onderzoekers

Paarsgewijs vergelijken

Paarsgewijs vergelijken in het onderwijs

Dit onderzoek ontstond in een samenwerking met een middelbare school. De school vroeg ons persoonlijkheidskenmerken van leerlingen te meten en leerlingen inzicht te geven in deze kenmerken. We ontwikkelden een instrument waarmee leerlingen elkaar onderling paarsgewijs konden vergelijken. De vergelijkingen leverden een meting op, en de leerlingen leerden meer over persoonlijkheidskenmerken doordat ze de vergelijkingen zelf uitvoerden. De samenwerking zette ons aan het denken over andere toepassingen van paarsgewijs vergelijken en hoe deze methode verbeterd kan worden. 
Paarsgewijs vergelijken is ...
Bij paarsgewijs vergelijken meten we een eigenschap of vaardigheid bij leerlingen door het vergelijken van leerlingopdrachten in paren. Vóór een vergelijking krijgt een beoordelaar de opdrachten van twee leerlingen te zien. De beoordelaar geeft aan welke van de twee opdrachten meer van de meten eigenschap of vaardigheid laat zien dan de ander. Door meerdere vergelijkingen uit te voeren, krijgen we een meting.

Onderzoeksopzet

Bij paarsgewijs vergelijken zijn veel vergelijkingen nodig om een betrouwbare meting te krijgen. In het onderzoek zoeken we naar een manier om het aantal vergelijkingen te verkleinen. 

  • Dit doen we door tijdens het vergelijkingsproces de vergelijkingen te kiezen die de meeste informatie geven op basis van de informatie die al verzameld is 
  • Met dit idee werken we aan een adaptief algoritme voor adaptief paarsgewijs vergelijken 
  • Dit algoritme testen we in verschillende situaties in simulatiestudies 

Publicaties

Adaptive pairwise comparison for educational assessment (submitted).
Auteurs: Crompvoets, E.A.V., Béguin, A.A., & Sijtsma, K.

Paarsgewijs vergelijken van leerlingwerken of leerlingeigenschappen kan een veelbelovende dataverzamelingsprocedure zijn voor constructen die moeilijk analytisch te meten zijn, zoals (een aantal) 21st century skills. Via een meetmodel wordt uit de holistische vergelijkingen een rangorde bepaald van de leerlingwerken/-eigenschappen, die vervolgens kan worden omgezet in een cijfer of oordeel. Omdat het voor beoordelaars erg veel werk of soms onhaalbaar is om alle leerlingwerken paarsgewijs met elkaar te vergelijken, is voorgesteld om het vergelijkingsproces adaptief te laten verlopen en zo het aantal vergelijkingen te verminderen. In dit onderzoek hebben we een adaptief algoritme ontwikkeld en de prestaties bekeken in termen van parameteronzekerheid, rangordecorrectheid en betrouwbaarheid.

Samenwerking 

We doen dit onderzoek in samenwerking met:
Tilburg University

Looptijd

Dit onderzoek loopt van september 2016 tot en met augustus 2020.
www.cito.nl maakt gebruik van cookies, onder andere om de website te analyseren en het gebruiksgemak te vergroten. Via de knop ‘instellen’ geef je aan welke cookies je wilt accepteren. Meer informatie over Cookies en privacy