Vandaag hebben we voor het eerst een van onze AI-docenten (Aisha Economie HAVO) getest in het onderwijs. Bij een Havo 5 klas van Jos Olsthoorn op het Kandinsky College (mijn oude werkgever!) mocht een klas onze AI-docent uitvoerig testen.

De test was zeer geslaagd. Daarmee bedoel ik niet dat iedereen laaiend enthousiast was over ons product maar wel dat we veel feedback en tips hebben opgehaald. Hierbij kort wat interessante lessen:

1)    Er was een groot verschil in enthousiasme. Sommige leerlingen zouden dit heel graag gebruiken om te leren voor hun examen terwijl anderen het niets vonden toevoegen. Wel geeft nagenoeg iedereen aan dat Aisha kan helpen om een beter cijfer te halen voor het examen.
2)    Verschillende leerlingen vroegen zich af waarom ze hiervoor zouden betalen als ze ook de gratis versie van ChatGPT konden gebruiken. Dit was een goede les voor ons. We moeten nog veel duidelijker maken dat het verschil in antwoorden enorm is. Onze AI-docent scoort namelijk een 9.9 op het HAVO eindexamen terwijl de gratis chatGPT een mager zesje scoort, wat het natuurlijk heel onbetrouwbaar maakt.
3)    Leerlingen zijn zeer ongeduldig en willen heel snel een kort en krachtig antwoord. Dat is helaas niet hoe een chatbot het beste werkt. In onze prompting zit namelijk standaard ‘chain-of-thought’ prompting. Niet alleen wordt het antwoord beter, op die manier kan de leerling ook zien hoe een antwoord tot stand komt. De leerlingen vonden echter dat dit onnodig lange antwoorden opleverde.
4)    De interactiestijl van de docent maakt veel uit voor de beleving. Vooral de ‘enthousiaste’ en de ‘grappige’ docent waren populair. Verder vonden de studenten het heel leuk als ze hun hobbies/interesses konden aangeven zodat er uitleg werd gegeven in hun belevingswereld.

De komende weken gaan we nog meer tests draaien op verschillende scholen met verschillende van onze AI-docenten. Ondertussen gaan we onze AI-docenten iteratief verbeteren. Onze planning is nog steeds om het gehele platform in maart voor iedereen beschikbaar te maken.