CheckMate voor slimme nakijkoplossingen
In alle onderwijssectoren neemt de druk op leraren toe, bijvoorbeeld door groeiende administratielasten en personeelstekorten. Ook het nakijken van toetsen is een taak die vaak veel tijd en moeite kost. Hoe mooi zou het zijn als we deze last kunnen verlichten? In dit project gaan we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen.
4 oktober 2022
CheckMate bij jou in de klas?
In juli bouwden we een tweede prototype van CheckMate, een digitale nakijkomgeving waarin docenten korte open antwoorden op toetsvragen van leerlingen kunnen nakijken. We willen graag weten of het ons gelukt is om het nakijken van korte open antwoorden sneller en makkelijker te maken. Daarom gaan we CheckMate vanaf deze maand uitgebreid testen in de klas. Daarvoor zijn we op zoek naar docenten in het VO, en in het bijzonder naar biologiedocenten in de bovenbouw van het VMBO. Ben jij een docent in het VO en zou jij ons prototype willen testen of met ons mee willen denken? Laat hier je gegevens achter, dan nemen wij met jou contact op.18 juli 2022
Prototype 2.0 van CheckMate
Na een paar weken flink testen, nadenken, bouwen en schrappen staat er een nieuw prototype van CheckMate. CheckMate is een digitale nakijkomgeving gemaakt om tijd te besparen bij het nakijken van korte open antwoorden op toetsvragen. Door een slim algoritme wordt er niet alleen naar de schrijfwijze gekeken, maar juist ook naar de betekenis van een antwoord.
Prototype 2.0 van CheckMate heeft drie handige functionaliteiten:
Daarnaast heeft het tweede prototype van CheckMate een nieuw rapportagescherm waarin de docent de scores en antwoorden van de groep én van individuele leerlingen kan zien.
Prototype 2.0 van CheckMate heeft drie handige functionaliteiten:
- Antwoorden die op elkaar lijken worden bij elkaar gezet, zodat je ze consistent kunt beoordelen en niet dubbel over hetzelfde antwoord hoeft na te denken.
- Waar dat kan wordt er een scoresuggestie gegeven voor antwoorden die je nog niet hebt nagekeken, op basis van wat jij en andere docenten al wél hebben nagekeken. Zo kun je leunen op de oordelen van je collega’s.
- Belangrijke woorden uit het antwoordmodel worden ook in de antwoorden van de leerlingen gemarkeerd, zodat je sneller aan een antwoord kunt zien of de leerling het begrepen heeft.
Daarnaast heeft het tweede prototype van CheckMate een nieuw rapportagescherm waarin de docent de scores en antwoorden van de groep én van individuele leerlingen kan zien.
7 en 8 april 2022
Prototype 1.0
De eerste iteraties van de bouw van het prototype zitten erop (7 april). In de afgelopen weken bouwden we een digitale nakijkomgeving waarin docenten korte open antwoorden op toetsvragen van leerlingen kunnen nakijken. Daarbij maakten we gebruik van Natural Language Processing (NLP) technieken - het veld dat zich bezig houdt met de automatische verwerking van door mensen geproduceerde tekst. Zo bouwden en testten we bijvoorbeeld functionaliteiten waarmee docenten de gegeven antwoorden kunnen filteren op basis van zelf gekozen kernwoorden en ontwikkelden we automatische scoresuggesties voor antwoorden die nog niet nagekeken zijn.CheckMate: een maatje bij het nakijken
Ons prototype krijgt vandaag (8 april) een naam en gaat voortaan door het leven als "CheckMate": een maatje bij het nakijken. NT2-docent Vika Lukina bedacht deze naam in reactie op onze naamgevingswedstrijd op LinkedIn. De innovatieworkshop die zij hiermee won gaf zij gul weg aan een PO- of VO-school die deze graag ontvangt. Binnenkort wordt bekend bij welke school wij deze gastles gaan geven.22 maart 2022
Het bouwen is begonnen!
De bouw van het prototype is gestart. In deze fase vragen we regelmatig de mening van docenten door middel van gebruikerstesten. De testresultaten gebruiken we om het design, de functionaliteit en de bruikbaarheid van het prototype te verbeteren.
Wat docenten in deze fase zeiden over het prototype:
- "Het is handig dat ik kan aangeven welke woorden zeker in het antwoord moeten voorkomen."
- "De knoppen - waarmee je meerdere gelijksoortige antwoorden tegelijk kunt nakijken - besparen veel tijd."
- "Als gelijksoortige antwoorden naast elkaar staan, kan ik ook aan leerlingen goed uitleggen waarom het ene antwoord wel goed is en het andere niet."
1 maart 2022
24 februari 2022
Peiling over toetsen en het nakijken ervan
Op 17 februari 2022 peilden we de onderwijspraktijk via Teacher Tapp. Bijna 1.000 leraren beantwoordden de volgende vragen:- Wat voor toetsvragen leg jij je leerlingen voor (in afsluitende toetsen)?
- Welke werkwijze gebruik jij het vaakst wanneer je individueel nakijkt?
- Wat maakt individueel nakijken voor jou belastend?
Vooral zelfgemaakte toetsopgaven
Leerlingen krijgen in afsluitende toetsen diverse soorten toetsvragen voorgelegd. Onze survey via Teacher Tapp wijst uit dat veruit de meeste leraren kiezen voor zelfgemaakte opgaven (50% maakt de opgaven zelf, 35% gebruikt zelfgemaakte vragen van collega's). Daarna volgen toetsvragen uit oude examens (34% kiest voor vragen uit oude schoolexamens, 26% voor vragen uit oude centrale examens). Ook oefeningen uit de lesmethode zijn populair (bijna 60%).Leraren kiezen voor feedback
De populairste nakijkmethode is het geven van feedback. Daarbij schrijft 28% van de leraren een aantal verbeterpunten op, geeft 23% in één of enkele zinnen feedback over het geheel en kiest 16% voor gedetailleerde feedback. Daarna volgt het geven van cijfers (37% van de leraren geeft cijfers zonder uitleg, 29% geeft cijfers met uitleg). Meer dan een derde van de docenten (38%) geeft aan fouten te verbeteren.Tijdgebrek als grootste obstakel
Tijdgebrek is met stip het meest genoemde argument. Maar liefst 67% van de leraren zegt te weinig tijd te hebben om na te kijken of dat nakijken te veel tijd kost. Ook geeft bijna een derde aan (28%) dat leerlingen niet warmlopen voor feedback, maar eigenlijk alleen geïnteresseerd zijn in scores. Een grote groep leraren stelt ook heel eerlijk dat ze nakijken niet leuk vinden om te doen (24%), of dat er in het programma geen ruimt is om iets met de resultaten te doen (24%).
18 januari 2022
Projectopzet
In dit project gaan we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Daarbij vragen we in de praktijk uit wanneer nakijkwerk plaatsvindt en wat daarbij als belastend wordt ervaren. Vanuit onze expertise onderzoeken we vervolgens hoe we leraren kunnen ontlasten. Daarbij leggen we de focus op het exploreren van innovatieve technische concepten, zoals het toepassen van machine learning-algoritmes.