- Hoe komt een Kijk- en luistertoets tot stand?
Wij maken onze toetsen met een team van toetsconstructeurs. Mensen die bij Cito werken en het hele jaar door bezig zijn om materiaal te zoeken of te maken, en daar opgaven bij te bedenken. Soms halen we het materiaal van omroepen, soms nemen wij zelf interviews af of schrijven we teksten die we laten inspreken.
Al dat materiaal leggen we voor aan een adviescommissie. Daarin zitten docenten die lesgeven in het voortgezet onderwijs. Wij vragen hun dan te kijken of ze het materiaal geschikt vinden voor leerlingen: is het interessant, is het niet te moeilijk, wordt er niet te snel gesproken? Als zij akkoord geven, gaan wij fragmenten selecteren uit het materiaal en er meerkeuze-opgaven bij bedenken. We bespreken de opgaven intensief met elkaar. De fragmenten (audio of video) worden gemonteerd door de media-afdeling van Cito. Dat gaat weer naar de adviescommissie, die gevraagd wordt om het toetsonderdeel te maken. Zij geven dan allerlei soorten kritiek: het goede antwoord moet duidelijker, het woordgebruik van de opgaven moet eenvoudiger of korter, één van de foute antwoorden moet minder vals gemaakt worden, enzovoort. Wij passen de opgaven dan een laatste keer aan.
Vervolgens wordt het toetsonderdeel geproeftoetst. Dat gebeurt door middel van een steekproef onder leerlingen voor wie de toets bedoeld is: vwo 6, havo 5 of vmbo 4. Honderden leerlingen in heel Nederland maken dan de opgaven. Voor hen is dit een goede manier om te oefenen voor de ‘echte’ Kijk- en luistertoets. Voor ons is het dé manier om te zien hoe moeilijk de opgaven nu echt zijn en of de opgaven eerlijk meten. We vragen ook feedback aan de docenten die de proeftoetsen afnemen. Na zo’n proeftoets vallen er altijd een aantal opgaven af. Opgaven die te moeilijk waren, of veel te makkelijk. Opgaven die onduidelijk waren, of waarbij door heel veel leerlingen maar wat werd gegokt. Alleen de opgaven die goed functioneerden, worden uiteindelijk opgenomen in een Kijk- en luistertoets.
Doordat wij de Kijk- en luistertoetsen zo samenstellen uit opgaven uit de proeftoetsen, kunnen we goed voorspellen hoe moeilijk de Kijk- en luistertoets is. Deze informatie nemen we mee bij de normering van de Kijk- en luistertoetsen.
- Hoe komt de normering tot stand?
Als je een Kijk- en luistertoets maakt, komt er allereerst een score uit. Een leerling heeft bijvoorbeeld 26 van de 35 opgaven goed. Dan weet je alleen nog niet welk cijfer daarbij hoort. Om die score te kunnen vertalen naar een cijfer, is een normering nodig. Om uit te leggen hoe wij dat doen, moeten we eerst wat theorie uitleggen.
De score die je behaalt op een Kijk- en luistertoets is eigenlijk een weergave van hoe goed je bent in kijkluistervaardigheid. Iemand die bij de Kijk- en luistertoets Duits havo 12 goede antwoorden heeft gegeven is minder ‘Duits kijkluistervaardig’ dan iemand die op die toets 30 goede antwoorden had. Wij vinden het belangrijk dat, ongeacht in welk jaar je de Kijk- en luistertoets maakt, en of je de papieren of digitale toets maakt, je dezelfde kijkluistervaardigheid moet laten zien om een voldoende te halen. Omdat wij vrij goed weten hoe moeilijk de toets is, weten we ook bij welke score je genoeg kijkluistervaardigheid hebt laten zien om een voldoende te halen. En dat is niet altijd bij dezelfde score. Hoe kan dat?
Een voorbeeld: de toets Frans vwo 2022 had 35 opgaven en je had een voldoende bij score 24. De toets Frans vwo 2023 heeft ook 35 opgaven, maar daar heb je pas een voldoende bij score 26. Dat lijkt niet eerlijk, alsof er strenger is genormeerd. Maar er is niet strenger genormeerd. De toets Frans vwo 2023 was dan iets makkelijker dan die van 2022. Als een toets makkelijker is, dan moet je meer scorepunten halen om de voldoende te ‘verdienen’. Je hebt dan, in dit voorbeeld, pas met score 26 bewezen dat je de kijkluistervaardigheid hebt die wij altijd eisen om een voldoende te halen. Bij de moeilijkere toets uit 2022 had je met score 24 al bewezen dat je genoeg kijkluistervaardigheid had.
Maar stel dat de toetsen Frans vwo uit 2022 en 2023 wel exact even moeilijk zijn. Dan moet de grens tussen onvoldoende en voldoende (=de cesuur) bij dezelfde score liggen. Maar als de toets van 2023 drie opgaven meer bevat, dan zal de grens tussen onvoldoende en voldoende bij de toets uit 2023 ook drie scorepunten hoger liggen.
Samengevat: als je bij de ene toets bij score 26 een 7,1 had, betekent dat dus niet altijd dat je bij de toets van een ander jaar bij score 26 ook weer een 7,1 hebt.
- We normeren nooit strenger, we versoepelen wanneer nodig
In principe leggen we dus bij elke toets de lat bij dezelfde vaardigheid als vorige jaren. Als we na de afnameweek zien dat dat prima cijfers oplevert, dan is duidelijk dat we die normering één op één over kunnen nemen. Als de toets goed gemaakt is, dan zal het landelijke gemiddelde hoger uitvallen, en/of is het percentage leerlingen dat een onvoldoende haalt lager. Maar: als we zien dat met de normering het landelijke gemiddelde opeens lager dan een 6,0 is, en/of dat meer dan 40% van de leerlingen een onvoldoende gaat scoren, dan grijpen we in. We versoepelen dan de normering: we leggen de lat iets lager, zodat er weer acceptabele, landelijke cijfers verschijnen. Dit zullen we dan wel vermelden bij het publiceren van de normering.
- Wat houdt de ERK-indicatie eigenlijk in?
De Kijk- en luistertoetsen zijn geen ERK-toetsen zoals de toetsen van Goethe, Cambridge of DELF. In 2013 zijn de Kijk- en luistertoetsen door buitenlandse experts bij een zogenaamde ‘standaardsetting’ gekoppeld aan de ERK-niveaus. Hierdoor kunnen we op basis van het cijfer dat je gehaald op de Kijk- en luistertoets een indicatie geven op welk ERK-niveau je zit. Dit geeft dus een idee van je ERK-niveau, maar is geen bewijs ervan.