We onderschatten de kracht van ChatGPT

In onderwijsland wordt de kracht van ChatGPT nog steeds enorm onderschat door studenten en docenten, in mijn optiek. Veel studenten en docenten hebben nog helemaal geen ervaring met dit taalmodel, of alleen met de gratis versie die veel minder krachtig is, en/of halen niet alles eruit door niet goed te prompten. In dit experiment laat ik zien dat (en hoe!) je een volledige eerste versie van een HBO-scriptie kunt schrijven in slechts 5 uur.

Aanleiding

Voor de vakantie gaf ik les aan mijn afstudeergroep over hoe je ChatGPT kunt inzetten bij het schrijven van een scriptie. Ik liet hands-on zien hoe ik een scriptie zou repliceren van iemand die twee jaar geleden was afgestudeerd onder mijn begeleiding. Dit deed ik door GPT-4 te prompten met bepaalde passages uit het onderzoeksboek dat wij gebruiken en de beoordelingscriteria. Ongeveer een uur later stonden studenten, collega’s en zelfs ik perplex van het resultaat: we hadden twee volledige hoofdstukken laten schrijven door ChatGPT. De inhoud leek erg op die van mijn voormalige student en was zelfs nog ietsje beter.

Experiment

In de vakantie ging ik aan de slag met een experiment: hoe snel zou ik een volledige eerste versie van een scriptie kunnen schrijven aan de hand van ChatGPT? Dit is het resultaat van ongeveer 5 uur werk: Scriptie-cultuur-en-geluk-PDF.

Het resultaat is niet perfect. Er zullen vast passages zijn waar we het niet helemaal mee eens zijn en er zullen vast wat bronnen zijn die niet kloppen. Maar dat zijn details, in mijn optiek. Kijk vooral eens naar wat het wél heeft opgeleverd. Volgens mij zou een student dit zo kunnen inleveren als eerste versie van de scriptie, waarna de docent feedback gaat geven en de slechte passages eruit mag halen. De student kan dan die feedback in ChatGPT zetten en dan is hij of zij zo klaar.

Proces

Een belangrijke toevoeging is dat ik nu nauwelijks heb nagedacht over wat er in deze scriptie komt te staan. Ik werk graag met het principe ‘mens-machine-mens’, waarbij de mens dus altijd duidelijk in de lus zit en juist de richting aangeeft waar de machine naartoe moet. Co-creatie, dus. Maar eigenlijk is ChatGPT nu al te krachtig om dat te vereisen voor dit niveau van output.

Kijk vooral naar mijn (erg lange) conversatie met de Advanced Data Analysis van ChatGPT: https://chat.openai.com/share/9f38ebed-0b27-460d-947a-ec91637d240f. We zien hier dat ik in dit experiment bijna elke keer gewoon ChatGPT zijn ding laat doen zonder daar zelf goed over na te denken. Ook zijn mijn prompts niet goed doordacht. Dit is iets wat ik normaliter zeker niet zou doen en niemand zou aanraden, maar dit heb ik gedaan omdat het doel van dit project was om het zo snel mogelijk te doen. Maar het blijkt dat ChatGPT ook zonder mijn kritische blik of beter nadenken over goed prompten tot een heel behoorlijk geheel komt. Ik ben ervan overtuigd dat als ik 10 uur had uitgetrokken om een scriptie te schrijven dat het dan richting universitair niveau had kunnen gaan.

We zien ook hoe goed Advanced Data Analysis is met data. Er zijn tegenwoordig legio mogelijkheden om aan secundaire data te komen: Kaggle.com is mijn favoriet voor interessante internationale datasets, CBS heeft hele goede nationale datasets, en met AI kunnen we heel goed webscrapen. Al met al kunnen we simpel aan goede data komen om onderzoek mee te doen. In dit onderzoek laat ik zien dat Advanced Data Analysis heel simpel twee datasets aan elkaar kan koppelen. Iets waar ik studenten nogal veel mee zie stoeien als ze dit al proberen.

(Opmerking voor de iets meer ervaren gebruikers van ChatGPT: bij mijn custom instructions maak ik gebruik van ‘AutoExpert’, zie deze GitHub (ChatGPT-AutoExpert/standard-edition at main · spdustin/ChatGPT-AutoExpert). Dit zou ik iedereen aanraden, want dit maakt ChatGPT op een hele simpele manier nog krachtiger. Vooral het commando v=5 gebruik ik vaak als ik een heel gedetailleerd antwoord wil.)

Obstakels

Er waren ook de nodige obstakels. Het belangrijkste is natuurlijk de beperkte ‘context window’ (verwerkingscapaciteit). ChatGPT kan maar een bepaalde lengte van tekst in zijn geheugen houden. Als dit geheugen vol zit, dan vergeet het wat er aan het begin is gezegd. Toen ik dus aan mijn resultaten ging werken, had het waarschijnlijk geen idee meer wat het in de introductie en het theoretisch kader heeft gezegd. Dat lees je ook duidelijk terug in de conversatie. Hierdoor zullen delen van de scriptie wellicht iets minder goed op elkaar aansluiten dan de bedoeling is. Het is eigenlijk net een student, hé?

Een ander obstakel was dat GPT-4 tegenwoordig maximaal 50 prompts per gebruiker verwerkt per 4 uur. Ik moest soms dus best een tijd wachten voordat ik verder kon gaan, en het leek erop dat er dan ook weer bepaalde zaken vergeten waren. Geen groot probleem natuurlijk, meer een beetje irritant.

Het laatste obstakel is de welbekende kans op hallucineren. Het zou goed kunnen dat niet alle bronnen juist zijn en zelfs misschien dat er bepaalde passages zijn die complete onzin zijn. Dit laatste heb ik echter wel deels gecheckt en op het eerste gezicht lijkt het behoorlijk te kloppen, maar laat het vooral weten als het onzin heeft uitgekraamd (dit onderwerp is niet per se mijn expertise).

Conclusie

De belangrijkste conclusie is dat ChatGPT op dit moment al heel krachtig is. Veel krachtiger dan velen zich realiseren. En taalmodellen gaan alleen maar krachtiger worden. Binnen een jaar zullen we waarschijnlijk te maken hebben met taalmodellen die nog krachtiger zijn dan GPT-4, met een grotere context window, die we kunnen trainen op onze eigen data en die minder kans op hallucineren hebben.

Discussie

De grote vraag is: hoe gaan we hiermee om? Volgens mij laat ik in dit experiment vrij duidelijk zien dat studenten makkelijk een scriptie kunnen produceren zonder hier veel van te leren. Dit kan volgens mij niet de bedoeling zijn, en we hebben dus een groot probleem.

Een van de oplossingen die ik om me heen hoor, is beleid opstellen dat studenten dit soort taalmodellen helemaal niet mogen gebruiken of alleen mogen gebruiken voor bepaalde doeleinden, waarbij het laten produceren/schrijven van tekst niet is toegestaan. Dit lijkt op het eerste gezicht wellicht een goede oplossing, want dan schermen we ze eigenlijk af van deze nieuwe technologie en kunnen we ons traditionele (ouderwetse?) onderwijs gewoon doorzetten.

Qua visie vind ik dit misschien op korte termijn nog wel een goede oplossing, maar volgens mij moeten we uiteindelijk juist toewerken naar onderwijs waarbij we de studenten deze nieuwe vaardigheden leren. Maar vooral op het gebied van handhaving zie ik deze oplossing niet voor me. Waarschijnlijk zien velen van jullie wel aan de manier van schrijven dat deze scriptie is geschreven door ChatGPT. Maar dit kan binnen een paar minuten aangepast worden naar een lager taalniveau en op een manier dat jullie dit niet meer zien. AI-detectoren werken niet. Examencommissies hebben geen voet om op te staan. Als studenten het willen gebruiken, dan kunnen ze dat volgens mij zonder consequenties doen.

Wat dan wel? Ik weet het ook niet… Belangrijk in ieder geval om deze technologie niet te onderschatten.

Laten we met elkaar in gesprek gaan!

Voor meer informatie over AI in het onderwijs, zie de sites van Marcel Mutsaarts en mij: aivoorstudenten.nl en aivoordocenten.com.

Disclaimer: Dit artikel is geschreven op persoonlijke titel en geeft niet de visie van de HAN weer.