Hoe gaan jullie om met de handhaving van jullie AI-verbod?
Vorige week ging ik sparren met mijn studenten over AI-gebruik bij het transcriberen, coderen en analyseren van interviews. Ik geef hier geen traditionele les over. Het is een brainstormsessie met mij en de studenten en we gaan er samen achter komen in hoeverre dit mogelijk is met AI.
Iedereen had zich netjes voorbereid en Thijs Pelkmans startte de sessie met een behoorlijk complexe en uitgebreide gepersonaliseerde chatbot (GPT) waar je een interview kon uploaden. Dan kreeg je vanuit ChatGPT vragen over welke thema’s er gecodeerd moesten worden en met welke kleur. Als je dat netjes aangaf kreeg je na een minuut een Word-file terug waarin bepaalde passages gekleurd waren. (je kunt het zelf proberen via: https://lnkd.in/et5VhNec).
Echter, het werkte nog niet volledig betrouwbaar. De student had ook een voorbeeldinterview gemaakt met ChatGPT en als we dat erin stopten, dan markeerde het vaak volledige alinea’s i.p.v. de specifieke delen (zie afbeelding). En ook miste het soms dingen.
Dit is een werkwijze die ik bij veel mensen zie. Ze willen kijken of AI iets kan overnemen en proberen dan in 1x de perfecte output eruit te krijgen. Dit is echter niet de werkwijze die ik zou aanraden. Een hele mooie fout van de student, want van fouten leren we! Mijn werkwijze is vaak om iets zo klein mogelijk proberen te maken wat je meteen kan testen. En als dat werkt dan ga je het iteratief uitbreiden. Dat is wat we gingen doen.
We hebben een GPT gebouwd die op het begin slechts op 1 thema de relevante teksten eruit haalt. Om goed te testen hadden we meer nodig dan alleen het gegenereerde interview. Gelukkig had een student nog een geanonimiseerd interview van vorig jaar dat hij al gecodeerd had. Op die manier konden we checken of de coderingen van AI overeenkomen met zijn werk. In de eerste versie kwam het grotendeels overeen maar sommige coderingen miste de AI. De student vertelde dat hij over die delen zelf ook had getwijfeld. Toen we het aan de AI vroegen, vertelde dat die onderdelen inderdaad twijfelgevallen waren. We leerden hiervan dat we in de GPT anders moesten prompten. In de volgende iteratie gaf het een lijstje met zinnen die volgens hem ZEKER gecodeerd moesten worden én een lijstje waar het over TWIJFELDE, dus waar de onderzoeker nog naar moest kijken. We komen al dichterbij een werkbare versie!
De studenten gaan deze GPT verder uitbreiden en testen of het meerdere thema’s tegelijk kan coderen. Daarna gaan ze het ook daadwerkelijk toepassen (of op z’n minst proberen)! 🎉 Natuurlijk met de nodige kritische blik!. We werken met geanonimiseerde transcripties en transcriberen doen we via aTrain dat lokaal draait.
Weer een gaaf experiment. Complimenten aan Thijs Pelkmans en 😊Valentijn van der Hoeven die hier zo goed mee bezig zijn! 💪 Over een maandje geef ik een update, of het nou geslaagd is of niet.
Vorige week ging ik sparren met mijn studenten over AI-gebruik bij het transcriberen, coderen en analyseren van interviews. Ik geef hier geen traditionele les over. Het is een brainstormsessie met mij en de studenten en we gaan er samen achter komen in hoeverre dit mogelijk is met AI.
Iedereen had zich netjes voorbereid en Thijs Pelkmans startte de sessie met een behoorlijk complexe en uitgebreide gepersonaliseerde chatbot (GPT) waar je een interview kon uploaden. Dan kreeg je vanuit ChatGPT vragen over welke thema’s er gecodeerd moesten worden en met welke kleur. Als je dat netjes aangaf kreeg je na een minuut een Word-file terug waarin bepaalde passages gekleurd waren. (je kunt het zelf proberen via: https://lnkd.in/et5VhNec).
Echter, het werkte nog niet volledig betrouwbaar. De student had ook een voorbeeldinterview gemaakt met ChatGPT en als we dat erin stopten, dan markeerde het vaak volledige alinea’s i.p.v. de specifieke delen (zie afbeelding). En ook miste het soms dingen.
Dit is een werkwijze die ik bij veel mensen zie. Ze willen kijken of AI iets kan overnemen en proberen dan in 1x de perfecte output eruit te krijgen. Dit is echter niet de werkwijze die ik zou aanraden. Een hele mooie fout van de student, want van fouten leren we! Mijn werkwijze is vaak om iets zo klein mogelijk proberen te maken wat je meteen kan testen. En als dat werkt dan ga je het iteratief uitbreiden. Dat is wat we gingen doen.
We hebben een GPT gebouwd die op het begin slechts op 1 thema de relevante teksten eruit haalt. Om goed te testen hadden we meer nodig dan alleen het gegenereerde interview. Gelukkig had een student nog een geanonimiseerd interview van vorig jaar dat hij al gecodeerd had. Op die manier konden we checken of de coderingen van AI overeenkomen met zijn werk. In de eerste versie kwam het grotendeels overeen maar sommige coderingen miste de AI. De student vertelde dat hij over die delen zelf ook had getwijfeld. Toen we het aan de AI vroegen, vertelde dat die onderdelen inderdaad twijfelgevallen waren. We leerden hiervan dat we in de GPT anders moesten prompten. In de volgende iteratie gaf het een lijstje met zinnen die volgens hem ZEKER gecodeerd moesten worden én een lijstje waar het over TWIJFELDE, dus waar de onderzoeker nog naar moest kijken. We komen al dichterbij een werkbare versie!
De studenten gaan deze GPT verder uitbreiden en testen of het meerdere thema’s tegelijk kan coderen. Daarna gaan ze het ook daadwerkelijk toepassen (of op z’n minst proberen)! 🎉 Natuurlijk met de nodige kritische blik!. We werken met geanonimiseerde transcripties en transcriberen doen we via aTrain dat lokaal draait.
Weer een gaaf experiment. Complimenten aan Thijs Pelkmans en 😊Valentijn van der Hoeven die hier zo goed mee bezig zijn! 💪 Over een maandje geef ik een update, of het nou geslaagd is of niet.