Blogs
Het einde van asynchrone toetsen?
De opkomst van ChatGPT en andere LLM’s heeft een grote negatieve invloed op de betrouwbaarheid en validiteit van de asynchrone toetsen in ons onderwijs. Hier is nog geen goede oplossing voor, terwijl er veel asynchrone toetsen zijn. Het wordt tijd dat we dit serieuzer nemen.
Sommigen van jullie denken vast: ‘Wij hebben een presentatie/verdediging toegevoegd, dus wij hebben dit onder controle.’ Lees dan vooral verder.
Ongeveer een half jaar geleden schreef ik al een volledige HBO-scriptie in vijf uur met AI. Zojuist liet ik binnen een half uur op basis van deze scriptie een PowerPoint-presentatie, een infographic/poster en de twintig meest waarschijnlijke vragen bij een verdediging (inclusief antwoorden) genereren.
Lees in het artikel hoe ik dit deed en wat de consequenties zijn voor onze toetsing.
Scriptie in vijf uur
Ongeveer een half jaar geleden schreef ik een volledige HBO-scriptie in vijf uur. Dit is inclusief theoretisch kader met bronnen, methodologie, meervoudige regressieanalyse en alles wat je verwacht bij een HBO-scriptie. Je vindt alles terug op deze pagina: https://aivoordocenten.com/we-onderschatten-de-kracht-van-chatgpt-2/ . De belangrijkste boodschap: ChatGPT is veel krachtiger dan de meeste mensen denken; de meeste asynchrone toetsen kunnen (deels) gemaakt worden door een LLM.
Presentatie/mondeling toevoegen aan toetsing
Veel opleidingen zagen bovenstaande ontwikkeling en kwamen met de oplossing om een presentatie/mondeling toe te voegen aan het einde. Volgens mij is dit een prima kortetermijnoplossing, omdat het een deel van het probleem oplost. Studenten moeten dan namelijk wel degelijk iets weten over hun rapportage en hierover kunnen vertellen. Het is zeker beter dan niets doen, wat ook een hoop opleidingen hebben gekozen. Maar het is geen langetermijnoplossing.
PowerPoint, infographic en meest waarschijnlijke vragen
We zijn een half jaar verder en de technologie is weer flink vooruitgegaan. Tegenwoordig kunnen zelfs mensen met een gratis account de gehele scriptie uploaden in ChatGPT en het vragen om een PowerPoint-presentatie hiervan te maken. Tegenwoordig krijg je dan sheets met zwarte tekst op een witte achtergrond, maar met de designerfunctie binnen PowerPoint kreeg ik deze gehele PowerPoint-presentatie binnen twee minuten: Cultuur_en_Geluk_Presentatie.pptx. Even voor de duidelijkheid: deze PPP is niet perfect, ik wil hiermee laten zien dat je iets redelijks krijgt in een hele korte tijd. Als ik hier tien minuten extra aan had besteed, had ik een toppresentatie gehad.
Sinds vorige week is Claude Sonnet 3.5 uit. Dit is een concurrent van ChatGPT. Een van de gave functies die het heeft, is dat het infographics kan maken. Wederom was mijn werkwijze om de scriptie erin te gooien en het nu te vragen om er een infographic van te maken. Na enkele iteraties kreeg ik een redelijke versie. Dit kostte ongeveer tien minuten. Wederom: als ik hier nog wat meer tijd in had gestopt, was het nog veel beter geworden.
Bij een verdediging kunnen we bepaalde vragen natuurlijk verwachten en voorbereiden. En waarom zouden we de hulp van ChatGPT hier niet bij inschakelen? Wederom uploadde ik de scriptie en vroeg naar de twintig meest waarschijnlijke vragen bij een verdediging. Daar kwam een lijstje uit met vragen die ik als docent behoorlijk logisch vond. En natuurlijk kon ik ChatGPT vragen om een uitgebreid antwoord te genereren. Zie hier voor de gehele lijst plus antwoorden: 20 meest waarschijnlijke vragen bij een verdediging van scriptie.docx
Consequenties
Binnen 5½ uur heb ik dus een gehele scriptie, PowerPoint, infographic en de meest waarschijnlijke vragen die ik ga krijgen bij de verdediging gegenereerd. Als student zou ik deze documenten heel goed moeten doornemen en dan ga ik de verdediging/presentatie waarschijnlijk wel halen.
Voor de mensen die hier kritisch naar kijken en denken dat studenten de verdediging niet halen met deze tactiek, wil ik nog het volgende argument toevoegen: Ik denk dat studenten met een vlotte babbel zich hier veel makkelijker doorheen slaan dan studenten die wat introverter zijn. Vinden we het eerlijk naar hen toe om de presentatie heel belangrijk te maken? Is de toets dan nog valide en betrouwbaar?
Kunnen we het gebruik van AI niet tegenhouden dan?
Ik zie nog steeds situaties in het onderwijs waarbij het gebruik van AI verboden wordt. Of wat ik helemaal gek vind: dat docenten aangeven dat studenten het wel mogen gebruiken voor ideevorming en/of taalfouten eruit halen, maar niet voor het genereren van tekst. Dit laatste zie ik echt regelmatig als beleid. Maar dit slaat nergens op. Dan bedoel ik niet de wens hierachter, ik zou in sommige situaties ook willen dat we het kunnen verbieden. Het is echter niet praktisch uitvoerbaar. Dit is niet te handhaven als het gaat om standaard asynchrone toetsing. We kunnen niet achterhalen wat gegenereerd is en wat niet. Laten we niet naar een fraudenarratief gaan; in die situatie wint niemand.
Praktijk
Ik ben zelf afstudeerbegeleider. De meeste van mijn studenten hebben ChatGPT gebruikt afgelopen jaar. Sommigen hebben zelfs de betaalde versie aangeschaft. Zij hebben hier veel voordeel van gehad in mijn optiek. Ik heb hen gevraagd naar hun ervaringen. Hun conclusie was dat het schrijven van hun producten (o.a. scriptie, maar ook andere zaken) makkelijker en sneller ging en de meesten waren heel erg te spreken over deze tool. Maar ze gaven ook aan dat het leren gebruiken van ChatGPT wel de nodige tijd kostte. Ze vonden het moeilijk te zeggen of ze echt tijd hebben bespaard; ze hebben de tijd heel anders ingezet. Sommigen zeiden dat ze het afstuderen niet hadden gehaald zonder ChatGPT. Dit laatste geloof ik niet. Dat is volgens mij net zoiets als zeggen dat je niet kan leven zonder telefoon. Dat kan prima, je wilt het alleen niet.
Hoe dan wel?
We zitten in een moeilijke situatie. We kunnen AI niet verbieden en onze studenten gebruiken het toch wel. Dat betekent volgens mij dat we het moeten toestaan. Maar als we het toestaan, kunnen studenten dus een scriptie, PowerPoint, infographic en meest waarschijnlijke vragen bij een verdediging genereren in 5½ uur.
Moeten we een veel hoger niveau verwachten? Kan programmatisch toetsen een uitkomst bieden? Kunnen we de asynchrone toets zo maken dat AI niet kan helpen? Of is dit het einde van asynchrone toetsen?
Dit zijn vragen waar ik vind dat we ons (docenten met asynchrone toetsen) met z’n allen veel meer mee bezig moeten houden. En dat moet op korte termijn. De studenten kunnen namelijk, gelukkig, nu nog niet zo goed overweg met ChatGPT. Zij zullen bovenstaande niet kunnen in 5½ uur. Maar ga er maar vanuit dat studenten er steeds beter mee leren werken. En er zullen ook nog nieuwere modellen uitkomen van de LLM’s die nóg meer kunnen en waarbij het nóg makkelijker wordt om dit soort dingen te produceren. Ik wil dit laatste nog iets meer onderstrepen: de verwachting is dat LLM’s nog veel krachtiger worden. Als jouw toetsing nu nog wel werkt, dan mag je er niet vanuit gaan dat dat in de toekomst nog steeds zo is.
Ik heb het eindantwoord ook nog niet, maar ik weet wel dat we dit veel serieuzer moeten nemen.
