Meer en betere feedback met behulp van data
Op school worden op tal van manieren data verzameld. Leraren observeren bijvoorbeeld tijdens instructies, kijken het werk van de leerlingen na en nemen methode- en
niet-methodegebonden toetsen af. Dat leidt tot enorme hoeveelheden data.
Maar hoe breng je verschillende databronnen op een handige manier bij elkaar?
En belangrijker, hoe kom je vanuit de beschikbare data tot feedback die een
docent en leerling richting geeft bij het vormgeven van leertrajecten? Deze vragen worden in dit
meerjarige promotieonderzoek vanuit verschillende
perspectieven belicht.
Looptijd
Het promotieonderzoek van Eva de Schipper loopt van januari 2019 tot en met december 2023.
Deelprojecten
- Onderzoek naar de toegevoegde waarde van procesdata bij het begrijpen van gebruikte strategieën en het geven van geautomatiseerde feedback.
- Onderzoek naar de toepasbaarheid van recommender systems voor het aanraden van oefenopgaven aan examenkandidaten.
- Onderzoek naar de mogelijkheid om leerlingstrategieën te destilleren uit toetsgerelateerde data. En op basis daarvan oefenopgaven aan te raden.
Samenwerking
In dit onderzoeksproject werken we vanuit Cito samen met:- Universiteit Twente
- Universiteit Utrecht
- Direction de l’évaluation, de la prospective et de la performance (DEPP), Ministère de l’éducation nationale, de la jeunesse et des sports, Frankrijk
Deelproject: leerlingen, strategieën en oefenopgaven
In dit meerjarige onderzoeksproject zijn beschikbare data het uitgangspunt en onderzoeken we hoe we docenten extra kunnen ondersteunen en hoe we leerlingen verder kunnen helpen in hun leerproces. In 2022 starten we een deelproject, waarin we leerlingstrategieën destilleren binnen digitale toetsafnames. Vervolgens testen we in de praktijk uit in hoeverre recommender systems leerlingen goede oefenvragen kunnen aanraden.
Deelproject: gepersonaliseerde feedback met recommender systems
Grote commerciële partijen zoals Netflix, Spotify en bol.com gebruiken algoritmes die ‘recommender systems’ heten. Daarmee raden ze hun klanten producten aan op basis van voorkeuren.
In dit project onderzoeken we de toepasbaarheid van deze algoritmes voor het onderwijs. Het idee is om leerlingen geautomatiseerd feedback op maat te kunnen geven bij het leren voor een toets.
In dit project onderzoeken we de toepasbaarheid van deze algoritmes voor het onderwijs. Het idee is om leerlingen geautomatiseerd feedback op maat te kunnen geven bij het leren voor een toets.
Oefenopgaven op maat
Een effectieve manier om stof te leren, is oefenen met toetsopgaven. In dit project onderzoeken we of we recommender systems kunnen inzetten om leerlingen oefenopgaven op maat aan te raden. Het algoritme koppelt specifieke gaten in kennis aan passende oefenstof. Daarmee ondersteunen we leerlingen in hun leerproces. En dat is een mooi hulpmiddel in situaties (of tijden) dat een docent niet de mogelijkheid heeft om individuele feedback te geven.De onderzoeksresultaten zijn veelbelovend. Ze laten zien dat recommender systems in theorie inderdaad goed kunnen voorspellen met welke opgaven leerlingen moeite zouden hebben. Een volgende stap is praktijkonderzoek.
Ineens zie je de parallel
“Waarom kunnen we hetzelfde algoritme dan niet gebruiken om leerlingen oefenopgaven aan te raden?”
Meer lezen over het onderzoek naar Recommender Systems in het onderwijs? Open het interview met Eva de Schipper (OK&I werkprogramma 2021)
Publicaties
- de Schipper, E., Feskens, R. and Keuning, J. (2021). Personalized and Automated Feedback in Summative Assessment Using Recommender Systems. Front Educ. 6:652070. doi: 10.3389/feduc.2021.652070
Deelproject: meten achter de schermen - procesdata
Wanneer leerlingen een digitale toets maken of werken in een digitale leeromgeving, worden vaak meer gegevens geregistreerd dan alleen of de leerling een vraag goed of fout heeft beantwoord. Dit noemen we procesdata.
In dit onderzoek hopen we inzicht te krijgen in de strategieën die leerlingen gebruiken om wiskundeopgaven op te lossen.
In dit onderzoek hopen we inzicht te krijgen in de strategieën die leerlingen gebruiken om wiskundeopgaven op te lossen.
Feedback op toetsresultaten
Om inzicht te krijgen in de strategieën die leerlingen gebruiken, bekijken we bijvoorbeeld wat ze invullen in een tekstveld. Ook nemen we mee of ze een digitale rekenmachine gebruiken en in welke volgorde ze dingen doen.Met de opgedane kennis hopen we iets te kunnen betekenen in de klas. Als je weet welke oplossingsstrategieën er zijn en hoe je deze kunt aflezen uit procesdata, kun je namelijk gerichter feedback geven op toetsresultaten. Dat helpt om behaalde toetsscores te verklaren, maar kan ook input vormen voor leerinstructies. Zo worden procesdata een waardevol onderwijsinstrument dat leerlingen een steuntje in de rug geeft.
Spitten door procesdata: een monnikenwerk
“Ineens komt dan de mens achter de data in beeld. En daar zoek ik naar.”
Meer lezen over het onderzoek naar Procesdata áchter de schermen? Open het interview met Eva de Schipper (OK&I werkprogramma 2021)