Winst:
- Het kunnen onderscheiden waar in de empirische workflow (gegevensopschoning, code, visualisatie, conceptinterpretatie) kunstmatige intelligentie realtime bespaart en waar beslissingen zoals modelselectie, causaliteitsclaim en publicatiebeslissing aan de expert worden overgelaten, afhankelijk van het taakrisiconiveau
- Mogelijkheid om een discipline toe te passen die elke output van kunstmatige intelligentie (nummer, coëfficiënt, code, commentaar) verifieert door middel van de stappen van herberekening, koppeling aan de bron en statistische filtering.
- Vermogen om microgegevens en vertrouwelijke/gelicentieerde datasets veilig te verwerken binnen de reikwijdte van KVKK/GDPR en datagebruiksovereenkomsten en de gewoonte te verwerven om de juiste tools te kiezen.
Dezelfde vragen keren elke dag terug op het bureau van een econometrist of toegepast statisticus: is deze dataset betrouwbaar; Wat te doen met deze ontbrekende waarden? Wat zegt de coëfficiënt van deze regressie werkelijk? Is deze relatie causaal of louter correlatief? Omdat deze p-waarde significant is, kan ik deze in het artikel of de beleidsbrief schrijven? Sommige van deze vragen zijn repetitief, code-intensief en tijdrovend: het opschonen van gegevens, het tien keer plotten van dezelfde grafiek, het debuggen van R- of Python-code, het samenvoegen van de resultaten in een tabel. Anderen bepalen rechtstreeks de geldigheid van een bevinding, de eerlijkheid van een publicatie of de nauwkeurigheid van een beleidsbeslissing.
Kunstmatige intelligentie (kortweg AI, AI - computersystemen die net als mensen tekst en code kunnen produceren, patronen kunnen herkennen, gegevens kunnen samenvatten en commentaar kunnen schrijven; de meest gebruikte vorm vandaag de dag zijn grote taalmodellen, dat wil zeggen systemen die zijn getraind op enorme teksten en zinnen kunnen bouwen door het volgende woord te voorspellen) bevindt zich precies in het midden van deze tabel. Bij juist gebruik reduceert het uren aan dataopschoningscode tot minuten, herinnert het u aan de syntaxis van een complexe statistische test of stelt het de interpretatie van een coëfficiënt op. Bij verkeerd gebruik presenteert het een ogenschijnlijk zeker maar volledig verzonnen getal, een valse betekenis of een niet-causaal verband als een ‘bevinding’.
Deze eerste eenheid is geen software-introductie. Het doel ervan is om te verduidelijken waar je AI in je empirische workflow moet plaatsen en waar je het nooit moet plaatsen. Econometrie is zowel een ‘methodekritisch’ als indirect ‘beslissingskritisch’ vakgebied: de coëfficiënt van een model dat je bouwt, kan de input zijn voor het rentebesluit van een centrale bank, een beleidswijziging van een toezichthouder of de investering van een bedrijf van miljoenen dollars. Laten we het basisprincipe vanaf het begin uiteenzetten: kunstmatige intelligentie is een analyse-assistent, geen onderzoeker. De verantwoordelijkheid voor en de uiteindelijke goedkeuring van modelselectie, identificatiestrategie, bewering van causaliteit, publicatie en beleidsbeslissingen berust bij de bevoegde deskundige.
Lagen van de empirische workflow en de plaats van AI
Het is nuttig om een empirisch onderzoek in drie lagen te verdelen. De uitvoeringslaag is het dagelijkse technische werk: code voor het opschonen van gegevens, het tekenen van grafieken, het opmaken van tabellen, het debuggen van syntaxis. De methodelaag is de analytische beslissing: welk model, welke identificatiestrategie, welke test, welke aannamecontrole. De interpretatie- en beslissingslaag is de betekenis van de bevindingen: wat de coëfficiënt zegt, is deze causaal, wat betekent deze voor het beleid, mocht deze worden gepubliceerd. AI raakt alle drie de lagen, maar heeft in elke laag een andere autoriteit. Op de uitvoeringslaag stelt en genereert AI snel code; Op de interpretatie- en beslissingslaag wordt alleen input gegeven en neemt de expert de beslissing.
Laten we vanaf het begin een paar basistermen definiëren. Econometrie is de tak die met statistische methoden economische en sociale gegevens analyseert en relaties meet. Regressie is een methode die de relatie van een uitkomstvariabele (afhankelijke variabele) met een of meer verklarende variabelen (onafhankelijke variabelen) numeriek modelleert. De coëfficiënt is het getal dat aangeeft met hoeveel veranderingseenheden er gemiddeld een verandering van één eenheid in een verklarende variabele gepaard gaat in de uitkomstvariabele. De p-waarde is de waarschijnlijkheid dat de waargenomen uitkomst (of een extremere uitkomst) toevallig zou optreden als er feitelijk geen effect is. We zullen deze concepten één voor één uitleggen in de volgende eenheden; Weet voor nu dit: bij al deze zaken geeft AI je de blauwdruk, code en uitleg, maar neemt het geen wetenschappelijke beslissingen.
De volgende tabel vat de rol en het risiconiveau van AI per missie samen:
Zoektocht
Rol van AI
Risiconiveau
Wie keurt het goed
Data-opschoningscode schrijven
codegenerator
laag
Analist zelf (met codetesten)
Grafiek/tabelconcept
schetsgenerator
laag
analist
Herinnering test-/modelsyntaxis
Referentie-assistent
laag-medium
analist
Concept-coëfficiënteninterpretatie
conceptschrijver
middelmatig
econometrist
Selectie van model-/identificatiestrategie
extra ingang
hoog
deskundige onderzoeker
Causaliteitsclaim
Het is slechts een concept, nooit het laatste woord
zeer hoog
Expert + peer review
Publicatie/beleidsbeslissing
alleen invoer
zeer hoog
Verantwoordelijke onderzoeker/instelling
Houd de ene regel in deze tabel in gedachten: naarmate het risico toeneemt, wordt de rol van AI kleiner en neemt de goedkeuring van deskundigen toe.
Waarom "verificatie" de kern van dit bedrijf is
Taalmodellen lijken vertrouwen te hebben in hun antwoord, maar zijn er misschien niet zeker van. In technische termen wordt dit hallucinatie genoemd: het is het model dat niet-bestaande informatie in een vloeiende zin verzint, alsof het waar is. Voor een econometrist is dit een dodelijke val. Het model kan u een exact getal geven, zoals "De correlatie tussen werkloosheid en inflatie in Türkiye tussen 2015-2020 is 0,62"; Hij heeft jouw gegevens echter nog nooit gezien en dit nummer is volledig verzonnen. Of er zou kunnen staan: “De p-waarde van de witte test was 0,03”; terwijl er geen tests zijn uitgevoerd. Het kan een R-functie aanroepen met een argument dat niet echt bestaat. Hij zingt ze alle drie met dezelfde vloeiendheid; Het enige dat goed van kwaad scheidt, is uw kennis en uw gewoonte om te verifiëren.
De verificatiediscipline bestaat uit drie stappen:
- Herberekenen / uitvoeren in uw eigen omgeving: Bereken elk getal, verhouding, testresultaat en coëfficiënt gegeven door de AI in R/Python met uw eigen gegevens, niet uit het geheugen van de AI. Gebruik de AI om de code te schrijven, niet om het resultaat te onthouden. Voer de code uit, jij produceert de uitvoer.
- Link naar bron: Vertrouw op leerboeken, methodenartikelen en officiële documenten voor methoderegels, formules en definities. Bevestig de verklaring van de AI "de aanname van deze test is" met een betrouwbare bron.
- Statistisch filter: Test met deskundige ogen of de output in tegenspraak is met de statistische logica (aannames, steekproef, effectgrootte, onzekerheid). Verwerp een ‘zinvol maar absurd’ resultaat.
Let op: het plaatsen van een door AI gegenereerde coëfficiënt, test of interpretatie in een artikel, scriptie of beleidsnota zonder deze te valideren, is hetzelfde als het publiceren van een niet-beoordeelde bevinding. Dat de uitvoer vloeiend is, is niet waar; Alleen omdat het aantal zeker lijkt, is het niet echt.
Privacy: microgegevens en gelicentieerde gegevens worden privé beschermd
Microdata (afzonderlijke gegevens op individueel, huishoudens-, bedrijfs- of patiëntniveau) worden veelvuldig gebruikt in de econometrie. De meeste van deze gegevens zijn persoonlijke gegevens en worden beschermd onder KVKK (Wet bescherming persoonlijke gegevens) in Türkiye en GDPR in Europa. Bovendien leveren TurkStat, centrale banken, paneldataproviders en commerciële bronnen vaak data met een datagebruiksovereenkomst; Deze overeenkomsten verbieden de overdracht van gegevens aan derden. Het plakken van een tabel met identiteitsinformatie, inkomen, gezondheid of bedrijfsgeheimen in een openbare AI-chattool is zowel een KVKK/AVG-overtreding als een contractovertreding; omdat de gegevens naar een externe server gaan en in sommige tools kunnen worden gebruikt bij modeltraining.
De regel is simpel: bewaar de data in een eigen veilige omgeving, vraag de AI alleen om code en methoden. De ideale workflow is deze: vraag de AI om de analysecode, jij voert de code uit met de echte data op je eigen computer/enterprise server. Als je echt gegevens moet delen, anonimiseer dan (verwijder ID-velden), aggregeer (gemiddeld/aantal in plaats van individueel) en kies tools die institutioneel zijn, zorg voor een gegevensverwerkingsovereenkomst en gebruik je gegevens niet in het onderwijs.
drie minikoffers
Geval 1 — Veilig en efficiënt gebruik. Eén onderzoeker besteedde eerst zes uur aan het handmatig opschonen van 40.000 rijen met gegevens over het huishoudbudget. Zonder de gegevens überhaupt te delen, beschreef hij alleen de namen en structuur van de variabelen aan de AI en vroeg om een opschooncode. De AI genereerde een R-script; De onderzoeker voerde de code uit in zijn eigen omgeving, controleerde het aantal regels en de samenvattende statistieken van elke stap, en repareerde twee logische fouten. Duur: 70 minuten in plaats van 6 uur. De gegevens zijn nooit uitgegaan; De verantwoordelijkheid bleef bij de onderzoeker.
Geval 2 — Ongeverifieerde nummerval. “Wat is de elasticiteit tussen de bbp-groei en directe buitenlandse investeringen”, vroeg een afgestudeerde student aan AI. De AI gaf vol vertrouwen een getal van "ongeveer 0,34", ook al had het geen toegang tot gegevens. De student schreef dit in het literatuuroverzicht; Toen zijn adviseur naar de bron vroeg, bleek dat het nummer ongegrond was en volledig verzonnen was. Fout: concrete statistieken van AI verwachten zonder er gegevens en middelen aan te geven.
Geval 3 — Vertrouwelijkheid en contractbreuk. Een analist uploadde Excel, dat hij ontving van een gelicentieerd bedrijfspanel, met daarin de bedrijfsnaam en omzet, naar een openbaar beschikbare AI-tool en zei: "doe panelregressie." Het contract van de dataprovider verbood de overdracht van gegevens naar systemen van derden; Het incident gaf aanleiding tot een nalevingsonderzoek. De juiste manier was om de bedrijfsnamen te vervangen door anonieme codes of om geen data te delen en alleen de panelregressiecode op te vragen en deze in de eigen omgeving uit te voeren.
Zwakke prompt/sterke prompt
Zwakke prompt:
Analyseer de relatie tussen inflatie en werkloosheid en vermeld de coëfficiënt.
Deze bewering klopt niet: er zijn geen gegevens aan de AI verstrekt, het is niet duidelijk welk land, welke periode, welk model. AI kan alleen antwoorden met een verzonnen coëfficiënt.
Krachtige prompt:
Jouw rol: je bent een analyse-assistent die de econometrieonderzoeker assisteert. Ik deel de gegevens NIET met jou; Ik wil gewoon RUNNABLE R-code. Ik heb een jaarlijks panel: variabelen land, jaar, werkloosheid, inflatie (allemaal numeriek). Taak: 1) schrijf een panelregressiecode met vaste effecten voor werkloosheid ~ inflatie (plm-pakket), 2) leg elke stap in de code uit met een commentaarregel, 3) merk op dat de coëfficiënt moet worden geïnterpreteerd als relationeel en niet als CAUSAL, 4) verzin het functieargument waar u niet zeker van bent; Ik zal het resultaat in mijn eigen omgeving uitvoeren en verifiëren.
Bij dit verzoek worden geen gegevens gedeeld, de rol, pakketten, verwachting van commentaar en het verbod op “fabricage” zijn duidelijk. U voert de uitvoer nog steeds zelf uit en verifieert deze.
De volgende tabel vat de regels van één zin in deze les samen:
principe
Wat betekent het
AI is een assistent
De wetenschappelijke beslissing en verantwoordelijkheid liggen bij de deskundige
Vraag de code aan, produceer het resultaat
De AI onthoudt het nummer niet; je voert het uit en berekent
gegevens bewaren
Micro-/gelicentieerde gegevens verlaten de beveiligde omgeving niet
verifiëren
Elk probleem, code en commentaar wordt gecontroleerd; verzinsel wordt afgewezen
Veel voorkomende fouten
- Concrete statistieken van AI verwachten zonder data te geven. Het model heeft geen toegang tot de gegevens; De coëfficiënt, correlatie en p-waarde die het geeft zijn nep. Vraag altijd de code op en produceer zelf het resultaat.
- Vertrouwend op hallucinerende functies. AI kan een R/Python-functie of -argument voorstellen die niet bestaat. Accepteer de code niet zonder deze uit te voeren en te verifiëren.
- Microdata uploaden naar een openbare tool. Het is een schending van de KVKK/GDPR en de datagebruiksovereenkomst. Anonimiseer gegevens of deel deze helemaal niet.
- Vloeiendheid verwarren met nauwkeurigheid. Een goed geschreven recensie kan onnauwkeurig zijn. De schoonheid van de zin is geen bewijs.
- Causale taal accepteren zonder controle. YZ zegt vaak: “X verhoogt Y”; terwijl de meeste regressies alleen relaties laten zien. Verdedig de causale claim met design.
Tip: Stel uzelf bij het werken met AI de volgende vraag: “Als een scheidsrechter of auditor om deze output vraagt, mag ik dan de bron en de verantwoording laten zien?” Als het antwoord nee is, is de uitvoer nog niet klaar voor gebruik.
Samengevat
AI zorgt voor een echte en enorme versnelling in de uitvoeringslaag (code, opschoning, grafiek, concept) van de econometrie- en statistische workflow; modelselectie, causaliteit, interpretatie, publicatie en beleidsbeslissingen behoren echter tot de deskundige. Drie basisdisciplines: herinner de AI niet aan het nummer, vraag om de code en genereer en verifieer zelf het resultaat; verwijder geen micro-/gelicentieerde gegevens uit de beveiligde omgeving; statistisch filter elke uitgang. Een niet-geverifieerde AI-uitvoer is net zo riskant als een niet-beoordeelde bevinding.
Applicatie taak
Overweeg uw eigen (of een voorbeeld) dataset. Vraag de AI om R- of Python-code die beschrijvende statistieken en een eenvoudige grafiek produceert door simpelweg de variabelenstructuur te beschrijven, zonder de gegevens te delen. Voer de binnenkomende code uit in uw eigen omgeving. Houd vervolgens een checklist bij: (1) is de code zonder fouten uitgevoerd, (2) is het aantal regels/observaties zoals je had verwacht, (3) welke van de commentaarzinnen van de AI causaal taalgebruik gebruiken en moeten worden opgelost. Schrijf in één alinea over de tijd dat AI je heeft gered en over ten minste één bug die je hebt ontdekt.
controlelijst
- [ ] Ik heb de AI niet om concrete statistieken laten vragen; Ik heb de code opgevraagd en zelf het resultaat geproduceerd.
- [ ] Elk getal en testresultaat dat het opleverde, heb ik in mijn eigen omgeving opnieuw berekend.
- [ ] Ik heb geverifieerd dat de functies/argumenten die het gebruikt, daadwerkelijk bestaan.
- [ ] Ik heb geen micro-/persoonlijke/gelicentieerde gegevens geüpload naar een openbare tool.
- [ ] Ik heb de opmerkingen die causaal taalgebruik bevatten gemarkeerd en verplaatst naar relationeel taalgebruik.
- [ ] Ik kan de bron en verantwoording van de output aan een auditor tonen.