Blogs
De invloed van AI op toetsing: Een kritische blik op de toetsing van nu en in de toekomst
De invloed van AI op toetsing: Een kritische blik op de toetsing van nu en in de toekomst
Gisteren mocht ik op het congres ‘Toetsen en Examineren in het Hoger Onderwijs’ een presentatie geven over de invloed van AI op toetsing. Het was een volle zaal maar ik snap dat er ook een hoop mensen niet bij konden zijn. Daarom hierbij een samenvatting van mijn presentatie.
Spoiler: De invloed van AI op toetsing is enorm en wordt erg onderschat. Ik denk dat er weinig onderwijsinstellingen die hun toetsing goed op orde hebben. Dit is niet alleen mijn gedachte maar zo dachten de deelnemers (>100) er ook over. Zie de afbeelding voor de duidelijke resultaten.
In dit artikel ga ik in op 3 thema’s:
- Abusievelijk negeren van de invloed van AI
- AI verbieden moet verboden worden
- Toetsing in de (nabije) toekomst
Thema 1: Abusievelijk negeren
De meeste docenten weten dat generatieve AI zoals ChatGPT een invloed heeft op de toetsing. Velen van hen onderschatten echter ten zeerste hoe groot die invloed is. Dat komt voor een groot deel omdat ze alleen nog gebruik hebben gemaakt van de gratis versie van ChatGPT.
Begrijp me niet verkeerd, ik vind het al een hele mooie stap dat de meeste docenten al hebben geprobeerd om hun toetsing te laten maken door AI. Echter, de conclusie dat de toetsing ‘AI-proof’ is op basis van het resultaat dat de gratis versie van ChatGPT een bepaalde rapportage niet kan maken is niet valide. Dit geeft zelfs een soort vals gevoel dat de toetsing nog goed is.
Ik heb het al vaker aangegeven, de betaalde versie is vele malen krachtiger dan de gratis versie. Het verschil is enorm. Vijf maanden geleden schreef ik al een gehele HBO scriptie in slechts 5 uur (We onderschatten de kracht van ChatGPT – AI voor Docenten), iets wat met de gratis versie totaal niet denkbaar is. De technologie heeft zich alleen maar doorontwikkeld in de tussentijd en in de zomer verwachten we weer een grote update.
Er zijn op dit moment een hele hoop toetsen die niet ‘AI-proof’ zijn. Dat is niet omdat docenten de invloed van AI expres negeren. Het is niet onwil. De technologie ontwikkeld zich gewoonweg zo snel dat het heel moeilijk is om bij te houden. Dat noem ik abusievelijk negeren. Ik zou alle docenten willen oproepen om kritisch te kijken naar je eigen toetsing. Vooral als studenten een rapportage, verslag, scriptie of iets in die trend moeten inleveren.
Thema 2: Verbieden moet verboden worden
Ik snap heel goed dat we AI willen verbieden in bepaalde vakken. Het kan goed zijn dat we immers een goed vak hadden staan, waar de studenten veel leerden en dat konden we goed toetsen. Door AI valt dit soms helemaal weg en dat willen we beschermen. Volledig logische gedachtegang. Ik ben niet per se tegen de gedachtegang van het verbieden.
Waarom ik tegen ben, is dat het praktisch gezien niet mogelijk is om het te verbieden. Een verbod is niet te handhaven. Er zijn geen betrouwbare detectoren. En als we het ‘overduidelijk’ kunnen zien, dan betekent dat alleen maar dat een student het op een domme manier heeft toegepast. Gelukkig waren de deelnemers het hier met me eens:
Ik hoor soms nog wel eens de uitspraak: ‘studenten mogen het (AI) wel gebruiken om te brainstormen, maar niet om teksten te schrijven’. Dit zijn leuke ideeën maar over de praktische toepasbaarheid wordt niet nagedacht.
Soms hoor ik ‘AI modellen zijn biased / slecht voor het milieu / niet altijd betrouwbaar / enzovoorts dus we moeten het niet gebruiken’. In principe ben ik het hiermee eens, het zijn valide punten. Maar laten we niet zo naïef zijn en denken dat onze studenten het niet gaan gebruiken.
Laten we met z’n allen nu meteen afstappen van het fraudenarratief. Verbod is niet te handhaven. De stijlregel moet zijn: Ga er vanuit dat studenten altijd AI gebruiken. Op basis van die stijlregel moet je je toetsing gaan inrichten.
Thema 3: Toetsing in de (nabije) toekomst
Ik ga nu even heel ongenuanceerd mijn ideeën over toetsing in de nabije toekomst puntsgewijs geven:
Welke toetsen moeten weg?
- Alle toetsen die studenten op papier inleveren die ze thuis kunnen maken. Ik wil iedereen er nogmaals op wijzen dat we niet moeten onderschatten hoe goed deze robots nu al zijn, maar zeker over een paar jaar. Dit geldt overigens ook voor een PhD. In mijn optiek daalt de waarde van een PhD enorm op dit moment.
- Ik verwacht dat AI volgend jaar al hele goede presentaties kan maken. Het wordt dan vooral de vraag hoe goed de student dit kan presenteren. Dat is meestal niet het leerdoel. Als er een soort vraaggesprek komt na de presentatie dan wordt het een stuk relevanter (daarom staat mondeling ook bij de toetsen die we moeten behouden).
Welke toetsen behouden we of moeten we meer gaan doen?
- Kennistoetsen op de campus
- Geschreven teksten die op de campus worden geschreven
- Mondelingen
Hoe zit het met het nakijkwerk?
- Op zeer korte termijn zal AI een hele goede nakijkfunctie krijgen. Zowel voor kennistoetsen, geschreven teksten als mondelingen.
- In de komende paar jaar zullen we AI als hulpmiddel gebruiken bij het beoordeln, maar zal de docent nog in de lead zijn (of op z’n minst alles checken).
- Op iets langere termijn (3-5 jaar?) verwacht ik dat robots een betrouwbaardere beoordelaar zijn dan docenten.
Conclusie
Dit was de korte samenvatting van mijn visie op de invloed van AI op toetsing. Die invloed is nu al enorm. We onderschatten hoeveel invloed dit heeft omdat veel docenten niet weten hoe ver de technologie al is. We moeten stoppen met het verbieden van AI. We moeten ervan uitgaan dat studenten deze technologie gebruiken. Met dat in ons achterhoofd moeten we goede toetsing ontwerpen.
