SluitenSluiten
Leerlingen buiten

Promotieonderzoek

Meer en betere feedback met behulp van data

Cito logo plectrumVerder

Meer en betere feedback met behulp van data

Op school worden op tal van manieren data verzameld. Leraren observeren bijvoorbeeld tijdens instructies, kijken het werk van de leerlingen na en nemen methode- en niet-methodegebonden toetsen af. Dat leidt tot enorme hoeveelheden data. Maar hoe breng je verschillende databronnen op een handige manier bij elkaar? En belangrijker, hoe kom je vanuit de beschikbare data tot feedback die een docent en leerling richting geeft bij het vormgeven van leertrajecten? Deze vragen worden in dit meerjarige promotieonderzoek vanuit verschillende perspectieven belicht. 

Promovendus

Eva de Schipper

Naar Eva's persoonlijke pagina

Looptijd


Het promotieonderzoek van Eva de Schipper loopt van januari 2019 tot en met december 2023.

Deelprojecten

  • Onderzoek naar de toegevoegde waarde van procesdata bij het begrijpen van gebruikte strategieën en het geven van geautomatiseerde feedback.
  • Onderzoek naar de toepasbaarheid van recommender systems voor het aanraden van oefenopgaven aan examenkandidaten.
  • Onderzoek naar de mogelijkheid om leerlingstrategieën te destilleren uit toetsgerelateerde data. En op basis daarvan oefenopgaven aan te raden.

Samenwerking

In dit onderzoeksproject werken we vanuit Cito samen met:  

  • Universiteit Twente
  • Universiteit Utrecht
  • Direction de l’évaluation, de la prospective et de la performance (DEPP), Ministère de l’éducation nationale, de la jeunesse et des sports, Frankrijk

Deelproject: leerlingen, strategieën en oefenopgaven

In dit meerjarige onderzoeksproject zijn beschikbare data het uitgangspunt en onderzoeken we hoe we docenten extra kunnen ondersteunen en hoe we leerlingen verder kunnen helpen in hun leerproces. In 2022 starten we een deelproject, waarin we leerlingstrategieën destilleren binnen digitale toetsafnames. Vervolgens testen we in de praktijk uit in hoeverre recommender systems leerlingen goede oefenvragen kunnen aanraden.

Dit deelproject start in 2022.

Innovatiethema: De waarde van data

Deelproject: gepersonaliseerde feedback met recommender systems

Grote commerciële partijen zoals Netflix, Spotify en bol.com gebruiken algoritmes die ‘recommender systems’ heten. Daarmee raden ze hun klanten producten aan op basis van voorkeuren.

In dit project onderzoeken we de toepasbaarheid van deze algoritmes voor het onderwijs. Het idee is om leerlingen geautomatiseerd feedback op maat  te kunnen geven bij het leren voor een toets. 

Oefenopgaven op maat

Een effectieve manier om stof te leren, is oefenen met toetsopgaven. In dit project onderzoeken we of we recommender systems kunnen inzetten om leerlingen oefenopgaven op maat aan te raden. Het algoritme koppelt specifieke gaten in kennis aan passende oefenstof. Daarmee ondersteunen we leerlingen in hun leerproces. En dat is een mooi hulpmiddel in situaties (of tijden) dat een docent niet de mogelijkheid heeft om individuele feedback te geven.

De onderzoeksresultaten zijn veelbelovend. Ze laten zien dat recommender systems in theorie inderdaad goed kunnen voorspellen met welke opgaven leerlingen moeite zouden hebben. Een volgende stap is praktijkonderzoek.

Ineens zie je de parallel

“Waarom kunnen we hetzelfde algoritme dan niet gebruiken om leerlingen oefenopgaven aan te raden?” 

Meer lezen over het onderzoek naar Recommender Systems in het onderwijs? Open het interview met Eva de Schipper (OK&I werkprogramma 2021)

Publicaties

Deelproject: meten achter de schermen - procesdata

Wanneer leerlingen een digitale toets maken of werken in een digitale leeromgeving, worden vaak meer gegevens geregistreerd dan alleen of de leerling een vraag goed of fout heeft beantwoord. Dit noemen we procesdata.

In dit onderzoek hopen we inzicht te krijgen in de strategieën die leerlingen gebruiken om wiskundeopgaven op te lossen.

Feedback op toetsresultaten

Om inzicht te krijgen in de strategieën die leerlingen gebruiken, bekijken we bijvoorbeeld wat ze invullen in een tekstveld. Ook nemen we mee of ze een digitale rekenmachine gebruiken en in welke volgorde ze dingen doen.

Met de opgedane kennis hopen we iets te kunnen betekenen in de klas. Als je weet welke oplossingsstrategieën er zijn en hoe je deze kunt aflezen uit procesdata, kun je namelijk gerichter feedback geven op toetsresultaten. Dat helpt om behaalde toetsscores te verklaren, maar kan ook input vormen voor leerinstructies. Zo worden procesdata een waardevol onderwijsinstrument dat leerlingen een steuntje in de rug geeft.

Spitten door procesdata: een monnikenwerk

“Ineens komt dan de mens achter de data in beeld. En daar zoek ik naar.” 
Meer lezen over het onderzoek naar Procesdata áchter de schermen? Open het interview met Eva de Schipper (OK&I werkprogramma 2021)