Hoe goed is AI in data-analyse? Kunnen we tools als Excel en SPSS al vervangen bij het doen van onderzoek? Afgelopen week kwam Claude met een update van hun model en ook een nieuwe ‘analysis tool’. ChatGPT kan al langer data analyses uitvoeren. Zijn de data analyses van AI betrouwbaar? Ik ga het uitzoeken!

Uiteindelijke conclusie: ‘Het gevoel wat ik overhoud na deze analyse is dat we binnen enkele jaren geen SPSS meer gaan gebruiken en dat ik al die uren op de universiteit heb verspild om dit te leren……Generatieve AI is nu al bizar goed’ 

Opzet experiment:

Dit experiment bestaat uit verschillende stappen die we allemaal gaan uitvoeren met zowel 1) ChatGPT 4o, 2) Claude 3.5 (new) en 3) SPSS 30 zodat we het gebruiksgemak maar vooral ook de resultaten met elkaar kunnen vergelijken. Goed om te benoemen ais dat we bij zowel ChatGPT en Claude alle analyses 3 keer gaan uitvoeren zodat we ook kunnen zien of het consistente antwoorden geeft. Het startpunt is dat we 2 datasets hebben gedownload via kaggle.com, namelijk de World Happiness Report- 2024 ) en Hofstede’s six-dimensions model of culture.

De volgende stappen gaan we ondernemen:

1)      2 datasets mergen

2)      Uitschieters identificeren en verwijderen

3)      Testen voor multicollineariteit en hiervoor compenseren

4)      Regressieanalyses

o   Simpele regressieanalyse met onafhankelijke, modererende en afhankelijke variabelen

o   Simpele regressieanalyse uitbreiden met interactievariabelen

5)      Interpretatie van de resultaten

Stap 1: Datasets mergen

Het mergen van de datasets leek zéér voorspoedig te gaan maar bleek achteraf een ramp. Voor zowel de AI als SPSS.

Uit de eerste 3 analyses van ChatGPT kwam een lijst met respectievelijk 80, 80 en 80 landen. Claude kwam respectievelijk met 80, 85 en 80 landen. In SPSS kwam ik ook tot 80 landen. Met ChatGPT en Claude hoefde ik zelf niets te doen en was het binnen een halve minuut klaar. Bij SPSS duurde het veel langer en moest ik allerlei stappen doorzetten. Qua gebruiksgemak was de AI dus 100x beter en de resultaten waren nagenoeg hetzelfde.

Maar toen ging ik analyseren waarom Claude bij 1 van de samenvoegingen tot 85 landen was gekomen. Het bleek dat er enkele landen waren waarbij de landnaam niet op dezelfde manier was gespeld bij de twee datasets.

Om er zeker van te zijn dat ik het juiste antwoord kreeg heb ik alles handmatig binnen Excel gematcht. Dit was monnikenwerk en dit gun ik niemand. Maar de uitkomst mocht er wezen: er waren 88 landen die matchten.

Toen heb ik een analyse losgelaten welke landen we missen als we AI of SPSS gebruiken en waarom dat het geval was. Hieronder het resultaat:

Ik heb aan Claude gevraagd hoe ik het beter kan prompten zodat het dit wel in één keer goed zou doen en het gaf de volgende toevoeging aan de promt:

Merge de datasets op landnaam met de volgende stappen: 1. Begin met een systematische vergelijking: a) Maak eerst twee alfabetische lijsten van alle unieke landnamen uit beide datasets b) Print deze lijsten naast elkaar c) Markeer automatisch de exacte matches d) Identificeer alle niet-gematchte landen 2. Onderzoek vervolgens systematisch alle niet-gematchte landen op deze patronen: a) Afkortingen vs. volledige namen b) Regionale toevoegingen c) Verschillende schrijfwijzen van hetzelfde land d) Administratieve regio’s e) Historische naamvariaties 3. Presenteer alle voorgestelde matches in deze format: Dataset 1: [naam] → Dataset 2: [naam] Reden voor match: [korte uitleg] Zekerheid: [Hoog/Medium/Laag] 4. Vraag expliciet om bevestiging voor: – Alle matches met ‘Medium’ of ‘Lage’ zekerheid – Landen die mogelijk politiek gevoelig zijn ) – Gevallen waar meerdere matches mogelijk zijn 5. Wacht op goedkeuring voordat je verdergaat met de daadwerkelijke merge. Let wel: land-matching is vaak politiek gevoelig en kan impact hebben op onderzoeksresultaten. Bij twijfel, leg voor.

Dit bleek te werken want toen kreeg ik dit soort tabelletjes te zien: