Winst:
- Vermogen om empirische bevindingen te rapporteren aan de doelgroep (academisch, beleid, management) met behulp van kunstmatige intelligentie, in een eerlijke en ondubbelzinnige taal
- Vermogen om conclusies, beperkingen en ethische verklaringen (vertrouwelijkheid van gegevens, belangenverstrengeling, openbaarmaking van gebruik van kunstmatige intelligentie) volledig te schrijven en misleidende presentatie te vermijden
- Het vermogen van kunstmatige intelligentie om concepten van rapporten te herkennen die overdreven, eenzijdige of causale taal produceren en te handhaven dat de verantwoordelijkheid voor de uiteindelijke tekst en beweringen bij de onderzoeker ligt.
Module-examen
1. Een onderzoeker vraagt: 'Wat is de correlatiecoëfficiënt tussen werkloosheid en inflatie in Türkiye tussen 2015 en 2020?' zonder gegevens aan kunstmatige intelligentie te verstrekken. vraagt hij en schrijft het getal 0,62 rechtstreeks in zijn artikel. Wat is de fundamentele fout in deze aanpak?
- A) Concrete statistieken verwachten van kunstmatige intelligentie zonder geverifieerde gegevens te geven; ✔ Een nummer gebruiken dat mogelijk is verzonnen zonder het te verifiëren
- B) De correlatiecoëfficiënt mag nooit in een artikel worden gebruikt.
- C) Er kan geen correlatie worden berekend tussen werkloosheid en inflatie
- D) Kunstmatige intelligentie heeft pas na 2020 toegang tot data
Uitleg: Het AI-taalmodel kan geen statistieken produceren zonder toegang te krijgen tot de dataset; Het getal dat hij geeft is hoogstwaarschijnlijk een (verzonnen) hallucinatie. Coëfficiënten, verhoudingen en testresultaten moeten worden berekend op basis van de eigen geverifieerde gegevens van de onderzoeker, en niet uit het geheugen van het model.
2. Wat betekent het dat ontbrekende gegevens 'niet willekeurig ontbreken' (MNAR) en waarom is dit belangrijk?
- A) Het tekort is te wijten aan de niet-waargenomen waarde zelf; Daarom kan een eenvoudige toewijzing vooringenomenheid veroorzaken ✔
- B) Gegevens verdwijnen volledig willekeurig en creëren geen vertekening.
- C) Ontbrekende gegevens moeten altijd worden opgelost door de rij te verwijderen.
- D) Ontbrekende gegevens hebben op geen enkele wijze invloed op de analyse.
Uitleg: In het geval van MNAR (Missing Not At Random) hangt de ontbrekende waarde zelf af van de omvang van de niet-geobserveerde waarde (hoge inkomens rapporteren bijvoorbeeld hun inkomen niet). In dit geval levert eenvoudige verwijdering of gemiddelde toewijzing vertekende resultaten op; Het mechanisme van het tekort moet worden gemodelleerd. De door kunstmatige intelligentie voorgestelde toewijzingsmethode mag niet blindelings worden toegepast zonder dit mechanisme te kennen.
3. Een analist laat de AI een staafdiagram maken, en de AI begint de y-as op 40 in plaats van op nul. Het werkelijke verschil van 2% tussen de twee groepen ziet er enorm uit in de grafiek. Wat is de juiste aanpak?
- A) De as helemaal opnieuw beginnen of het diagramtype wijzigen; ✔ om de ware omvang van het verschil weer te geven zonder te misleiden
- B) Gebruik de grafiek zoals deze is, omdat AI de beste keuze maakt
- C) Beginnen van de as op 45 om het verschil nog groter te maken
- D) Gebruik nooit visuele elementen in plaats van staafdiagrammen
Uitleg: In een staafdiagram misleidt de gestippelde as (de y-as die niet bij nul begint) door kleine verschillen te overdrijven. Bij eerlijke visualisatie moet de as van staafdiagrammen vanaf nul beginnen, anders moet het verschil bewust duidelijk worden aangegeven. Het is de verantwoordelijkheid van de analist om het beeld te verifiëren en indien nodig te corrigeren.
4. Hoe wordt het feit dat een coëfficiënt 'significant' is (p<0,05) bij lineaire regressie vaak verkeerd weergegeven in de interpretatie van kunstmatige intelligentie?
- A) Overdreven weergave van significantie omdat het effect groot en belangrijk is of er causaliteit is vastgesteld ✔
- B) Significantie geeft altijd aan dat het effect klein is
- C) p<0,05 bewijst dat de coëfficiënt absoluut correct is
- D) Significante coëfficiënten mogen nooit worden gerapporteerd.
Uitleg: Statistische significantie heeft betrekking op de kracht van het bewijs dat het effect anders is dan nul; Het betekent niet dat het effect groot, belangrijk of causaal is. AI presenteert het woord ‘significant’ vaak als ‘significante/sterke impact’. De onderzoeker moet ook de effectgrootte, het betrouwbaarheidsinterval en de context evalueren.
5. Waarnaar verwijst de term ‘p-hacking’ en waarom kan AI dit makkelijker maken?
- A) Meerdere analyses proberen totdat het zinvol is; AI doet dit zeer snel, waardoor het risico toeneemt ✔
- B) Gegevens eenmalig en volgens een vooraf bepaald plan analyseren
- C) het uitbreiden van het monster om de p-waarde te verhogen
- D) Alleen beschrijvende statistieken rapporteren
Uitleg: p-hacking is het uitproberen van verschillende variabelen, subsamples, transformaties of modellen totdat er een betekenisvol resultaat ontstaat; dit levert valse bevindingen op die op toeval zijn gebaseerd. Omdat AI binnen enkele seconden tientallen modelvarianten kan uitproberen, kan het p-hacking versnellen zonder een eerlijk plan. Verdediging; voorregistratie, vast analyseplan en meervoudige vergelijkingscorrectie.
6. Waarom zou het vinden van een hoge R-kwadraatregressie tussen twee niet-stationaire (unit root) tijdreeksen misleidend kunnen zijn?
- A) Onechte regressie kan optreden als gevolg van een gemeenschappelijke trend; ✔ Hoge R-kwadraat-output zonder echte relatie
- B) Een hoge R-kwadraat bewijst altijd een sterk causaal verband.
- C) Niet-stationaire reeksen kunnen helemaal niet in regressie worden opgenomen.
- D) R-kwadraat kan niet in tijdreeksen worden berekend
Uitleg: Als er geen gemeenschappelijke co-integratierelatie bestaat tussen niet-stationaire reeksen, kan valse regressie alleen als gevolg van een gemeenschappelijke trend een hoge R-kwadraat- en significante coëfficiënt opleveren; terwijl er geen echte relatie bestaat. Daarom moeten eerst stationariteits- en unit root-tests worden uitgevoerd, en indien nodig moeten verschillen worden genomen of co-integratie worden getest.
7. Op welke basisaanname is de validiteit van het Difference-in-Differences-ontwerp gebaseerd?
- A) Aanname van parallelle trends: groepen zouden dezelfde richting volgen als er geen interventie zou zijn ✔
- B) Behandelings- en controlegroepen zijn in het begin precies hetzelfde
- C) Normale verdeling van de steekproef
- D) Variabelen bevatten geen ontbrekende gegevens
Toelichting: DiD gaat ervan uit dat zonder de interventie de uitkomstvariabele voor de behandelings- en controlegroep in de loop van de tijd parallel zou zijn verlopen (aanname van parallelle trends). Als niet aan deze veronderstelling wordt voldaan, is de schatting vertekend. AI kan de DiD-code produceren, maar het is de taak van de onderzoeker om parallelle trends te verdedigen en te testen.
8. Welke van de volgende handelingen is verplicht voor een reproduceerbare analyse?
- A) Het zaad in willekeurige stappen repareren, pakketversies en code vastleggen ✔
- B) Kopieer de resultaten handmatig naar het spreadsheet en verwijder de code
- C) Het is normaal dat u bij elke run verschillende resultaten ziet.
- D) Alleen de definitieve afbeeldingen behouden, geen gegevens en code delen
Beschrijving: Reproduceerbaarheid; Hetzelfde resultaat kan opnieuw worden verkregen met dezelfde gegevens en code. Het in willekeurige stappen repareren van het zaad, het opslaan van pakketversies en het uitvoeren van de code binnen het document (geletterd programmeren) zijn hiervan de hoekstenen. Het handmatig kopiëren van resultaten of op klikken gebaseerde, niet-vastgelegde stappen schaadt de reproduceerbaarheid.
9. Wat verstoort heteroskedasticiteit een lineaire regressie en wat is de gebruikelijke oplossing ervan?
- A) Het vervormt standaardfouten; oplossing is robuuste standaardfouten of passende transformatie ✔
- B) Het ontkracht de schattingen van de coëfficiënten volledig en heeft geen oplossing
- C) Reduceert R-kwadraat altijd tot nul
- D) Treedt alleen op als de steekproef erg klein is en kan worden genegeerd
Uitleg: Heteroscedasticiteit laat coëfficiëntschattingen onbevooroordeeld, maar berekent standaardfouten verkeerd; Dit maakt p-waarden en betrouwbaarheidsintervallen onbetrouwbaar. Een gebruikelijke oplossing is het gebruik van robuuste/HC-standaardfouten of een geschikte conversie. Er moet worden geverifieerd dat de door de AI voorgestelde oplossing het probleem daadwerkelijk oplost in plaats van het te verbergen.
10. Een onderzoeker uploadt microdata met identificatie-informatie en inkomen op patiëntniveau naar een openbare AI-chattool en zegt 'doe regressie'. Wat is het grootste probleem met dit gedrag?
- A) Het uploaden van persoonlijke/gelicentieerde gegevens naar een externe tool vormt een inbreuk op de vertrouwelijkheid en het contract ✔
- B) Regressie kan helemaal niet worden bewerkstelligd door kunstmatige intelligentie
- C) Microdata zijn helemaal niet geschikt voor regressie
- D) AI berekent de regressie altijd verkeerd
Toelichting: Persoonlijke/bijzondere gegevens zoals identiteit en inkomen zijn beschermd onder KVKK/AVG en de meeste datagebruiksovereenkomsten; Het uploaden ervan naar een extern apparaat dat gegevens kan opslaan, is een overtreding. De juiste manier; Het anonimiseren van gegevens, het gebruik van lokale/institutionele beveiligde tools, of simpelweg het opvragen van code bij kunstmatige intelligentie en het uitvoeren van de code in de eigen omgeving.
11. Wat wordt waargenomen als de multicollineariteit hoog is?
- A) Coëfficiënten worden onstabiel en standaardfouten worden groter; Individuele coëfficiënten kunnen betekenisloos blijken te zijn ✔
- B) R-kwadraat neemt altijd af naar nul
- C) Coëfficiëntschattingen worden steeds nauwkeuriger
- D) De schaal van de afhankelijke variabele verandert
Uitleg: Bij hoge multicollineariteit zijn onafhankelijke variabelen sterk met elkaar gecorreleerd; Coëfficiëntschattingen worden onstabiel, standaardfouten worden groter en individuele coëfficiënten kunnen onbeduidend blijken te zijn, terwijl het algehele model mogelijk significant is. Het wordt gediagnosticeerd aan de hand van criteria zoals VIF. Kunstmatige intelligentie kan suggereren dat variabelen worden geëlimineerd, maar het is aan de onderzoeker om te beslissen welke variabele theoretisch moet blijven.
12. Wat is statistische power en wat is het risico van een onderzoek met een lage power?
- A) Mogelijkheid om het bestaande effect te detecteren; laag vermogen mist echte effecten en maakt bevindingen onbetrouwbaar ✔
- B) waarschijnlijkheid van het verlagen van de p-waarde; Een lager vermogen geeft altijd betrouwbaardere resultaten
- C) Een constante waarde, onafhankelijk van de steekproefomvang
- D) Een concept dat alleen geldig is als kunstmatige intelligentie wordt gebruikt
Uitleg: Power is de waarschijnlijkheid dat een effect wordt gedetecteerd dat daadwerkelijk bestaat (1 minus type II-fout). Studies met een laag vermogen kunnen de echte effecten missen; Bovendien kunnen de weinige significante resultaten een overdreven effectgrootte met zich meebrengen ('winner's curse') en neemt het percentage fout-positieve resultaten toe. Daarom is het berekenen van het vermogen/steekproef belangrijk vóór de analyse.
13. Waarom is het ethisch noodzakelijk om het gebruik van kunstmatige intelligentie in een artikel openbaar te maken?
- A) Voor transparantie en verantwoording; ✔ lezers en referenten kunnen het proces beoordelen en de verantwoordelijkheid blijft bij de auteur
- B) Het gebruik van kunstmatige intelligentie maakt de resultaten automatisch ongeldig
- C) Alleen aangevraagd door tijdschriften voor reclamedoeleinden
- D) Overdracht van het auteursrecht op de uitleg aan kunstmatige intelligentie
Openbaarmaking: Transparantie is noodzakelijk zodat de lezer en reviewers kunnen beoordelen hoe de resultaten tot stand zijn gekomen; Veel tijdschriften en instellingen eisen nu openbaarmaking van AI-gebruik. Omdat kunstmatige intelligentie fouten/hallucinaties kan veroorzaken, is het bovendien een kwestie van eerlijkheid om te stellen dat de verantwoordelijkheid bij de auteur blijft liggen en welke stappen zijn gecontroleerd.
14. Wat vereist de 'uitsluitingsbeperking' in de instrumentvariabele (IV)-methode?
- A) De tool beïnvloedt het resultaat alleen via de interne variabele, er is geen andere directe manier ✔
- B) Het instrument heeft geen relatie met de uitkomstvariabele.
- C) Het instrument heeft geen relatie met de endogene variabele.
- D) Middelen zijn altijd een binaire (0/1) variabele
Uitleg: De uitsluitingsbeperking vereist dat het instrument de uitkomstvariabele alleen beïnvloedt via de endogene verklarende variabele en niet via andere directe middelen of niet-geobserveerde factoren. Deze aanname kan niet volledig worden getest op basis van gegevens; Het wordt verdedigd op theoretische en institutionele gronden. De AI schrijft dan wel de IV-code, maar het is de taak van de onderzoeker om de validiteit van de tool te verdedigen.
15. Wat betekent het probleem 'Tuin van splitsingspaden' bij flexibele analyses zonder voorregistratie?
- A) Te veel redelijke analysekeuzes die op basis van de gegevens worden gemaakt, verhogen het percentage fout-positieven, zelfs onbedoeld ✔
- B) Analysemethoden moeten uniek en verplicht zijn
- C) Een probleem dat alleen optreedt als er sprake is van opzettelijk bedrog.
- D) Een situatie die spontaan verdwijnt naarmate het monster groeit
Uitleg: Na het bekijken van de gegevens kan de onderzoeker veel redelijke keuzes maken over welke variabele, subgroep, transformatie of drempel hij moet gebruiken. Zelfs als er geen sprake is van één enkele 'opzettelijke p-hacking', verhoogt deze flexibiliteit het percentage fout-positieven omdat de significante effectief wordt gekozen uit een groot aantal analyses. Pre-registratie en een vast analyseplan beperken deze flexibiliteit.