Ervaring uit de praktijk: gezamenlijke toetsontwikkeling

Gezamenlijke toetsontwikkeling blijkt een uitdagend en leerzaam proces. Hogescholen lopen vaak tegen dezelfde aspecten aan. Marie-Christine Sprengers (NHL Hogeschool Leeuwarden) was betrokken bij de ontwikkeling van een entreetoets voor de opleiding Maritiem Officier. Haar tip: ‘Neem de tijd om vooraf goed af te stemmen en faciliteer deelnemers!’

Vier zeevaartscholen werken samen

Een van de acties uit het rapport ‘Vreemde ogen dwingen’ is het starten van pilots voor gezamenlijke toetsontwikkeling. NHL Hogeschool Leeuwarden was een van de vijf pilotscholen die hiermee aan de slag ging. Samen met de zeevaartscholen Vlissingen, Rotterdam, Amsterdam en Terschelling ontwikkelde zij een entreetoets voor de opleiding.

Doel: niveau vaardigheden en kennis verhogen

Marie-Christine Sprengers, consultant onderzoek, onderwijs & kwaliteit bij NHL Hogeschool Leeuwarden: ‘Met een hbo-diploma ‘Maritiem Officier’ kan een student een vaarbevoegdheid voor zeeschepen aanvragen. Belangrijke voorwaarde hiervoor is dat de student tijdens de opleiding 360 dagen vaart. Een student kan 60 dagen verdienen door twee weken te trainen op de simulator. Reden hiervan is dat op de simulator kritische situaties getraind kunnen worden die aan boord minder frequent voorkomen. Omdat het trainen op de simulator relatief duur en de capaciteit beperkt is, is het belangrijk dat het rendement van de training hoog is. Met een entreetoets wilden we het instapniveau van vaardigheden en kennis ophogen zodat studenten het maximale uit de training kunnen halen.’

Vervolg: kwalificaties helder krijgen

‘Een gezamenlijke toets was er nog niet,’ vervolgt Marie-Christine. ‘Wel hadden we een gezamenlijke kennisbasis. Nadat we het doel van de toets hadden bepaald, was het belangrijk om samen de kwalificaties helder te krijgen. Welke vaardigheden moeten studenten beheersen? Welke onderwerpen komen aan bod? In welke mate? Vervolgens stelden we een toetsmatrijs vast. Dit deden we op basis van analyses van de toetsen die elke hogeschool zelf al had. Vervolgens bedachten we de vragen. En hebben we deze op basis van de toetsmatrijs gelabeld. Na steeds verdere inhoudelijke verbetering, concludeerden we dat de vragen toetstechnisch goed waren.’

Uiteindelijk: cesuur op basis van analyse resultaten

‘Omdat het een digitale toets zou worden, hebben we de vragen vervolgens in het systeem gezet. Voor de toets gebruikten we het softwaresysteem Maple T.A. Dit systeem is geschikt voor technische en exacte content. We spraken een periode van twee weken af waarin alle hogescholen de toets zouden afnemen. Vervolgens hebben we de resultaten geanalyseerd en besproken tijdens het landelijk overleg. Op basis daarvan bepaalden we uiteindelijk de cesuur.’

Hobbels onderweg

Marie-Christine vertelt dat het helder krijgen van kwalificaties heel soepel ging, omdat de kennisbasis al gemeenschappelijk was. Maar er waren ook aspecten die minder soepel verliepen:
  1. Tijd
    Zo bleken de hogescholen verschillend om te gaan met de kennisbasis en de gekozen labels. ‘Dat is lastig. Want je denkt dat je transparant bezig bent en dat je elkaar begrijpt. Maar dat blijkt dan niet zo te zijn. Achteraf zie ik dat we meer tijd nodig hadden om alles goed af te stemmen en te checken. Daarnaast werden niet alle docenten goed gefaciliteerd. Uren waren bijvoorbeeld al ingepland, zodat ze geen tijd kregen om mee te werken aan de pilot.’
  2. Logistiek
    ‘Met hogescholen op de Waddeneilanden en Zeeland kun je je voorstellen dat het vrij lastig is om alle partijen bij elkaar te krijgen. We hebben noodzakelijkerwijs veel digitaal afgestemd.’
  3. Gebruik softwaresysteem Maple T.A.
    ‘Het gebruik werd niet door iedereen in dezelfde mate geaccepteerd. Licenties waren niet op tijd geregeld. En het duurde lang voordat alle docenten geschoold waren.’
  4. Beperkte analyse
    ‘De toets was niet opgenomen als summatieve toets in de Onderwijs- en Examenregeling (OER). Met als resultaat dat het aantal studenten dat uiteindelijk de toets maakte tegenviel. Uiteindelijk waren het er 60 á 70, terwijl we 300 verwachtten. Hierdoor was de analyse beperkt en konden we niet zien hoe goed de toets was gemaakt. Zo zou het kunnen zijn dat juist de betere studenten de toets hebben afgelegd.’
  5. Voorbereiding op digitaal toetsen
    ‘Voor het afnemen van een digitale toets heb je oefening en voorbereiding nodig. Wie zet het klaar? Wie neemt het af? De voorbereiding zou een volgende keer ook beter kunnen.’

Meer inzicht

Ondanks de hobbels geeft Marie-Christine aan dat het traject hen ook veel heeft opgeleverd. Zo hebben ze meer inzicht gekregen in het proces en hoe het idealiter zou kunnen gaan. Daarnaast zijn de docenten echt enthousiast geworden over digitaal toetsen. Ze geeft aan dat het digitaal toetsen inmiddels ook dagelijkse gang van zaken is. ‘Een groot voordeel is dat je een toets op verschillende momenten af kunt nemen.’ Verder werd voor alle deelnemers duidelijk hoe belangrijk het is om rekening te houden met de relatie tussen het onderwijsconcept en de opbouw van het curriculum van de verschillende opleidingen. ‘Het curriculum is toch vrij bepalend. Je kunt niet zomaar een gezamenlijke, leerwegonafhankelijke toets afnemen. Wat ik eerst wel dacht. En de afstemming is echt zo belangrijk. Bedoelen we allemaal hetzelfde? Daar is iedereen zich veel bewuster van geworden en dat is erg waardevol.’

Tips voor andere hogescholen

Heb je nog tips voor andere hogescholen die met gezamenlijk toetsen aan de slag gaan?
  1. ‘Zorg ervoor dat je de koninklijke weg van toetsing bewandelt! Wat is je doel? Wat is het niveau? Welke plek krijgt de toets in het programma van toetsen?’
  2. ‘En heel belangrijk: check steeds of je daar allemaal dezelfde beelden bij hebt.’
  3. ‘Faciliteer de medewerkers, voor overleg, scholing en ontwikkeltaken.’
  4. 'En neem de tijd, zodat iedereen in hetzelfde tempo betrokken kan zijn. En zorg ervoor dat iedereen weet wat de bedoeling is, zodat ze kunnen bijdragen aan het bedenken van oplossingen.’

Heeft u nog tips voor Marie-Christine?

‘Ik spreek wel eens collega’s van andere hogescholen en wat me opvalt is dat zij vaak te maken hebben met precies dezelfde problematiek. Ik zou wel willen weten of er hogescholen zijn die het anders hebben aangepakt. Of die misschien tegen andere dingen aanlopen?’ Wilt u uw ervaring delen? Ga dan naar de LinkedIn-groep Kennisplatform Examinering HO.

Naar nieuwsoverzicht

Marie-Christine Sprengers

Marie-Christine Sprengers