Guadagni:
- Essere in grado di distinguere dove nel flusso di lavoro empirico (pulizia dei dati, codice, visualizzazione, interpretazione della bozza) l'intelligenza artificiale risparmia tempo reale e dove decisioni come la selezione del modello, l'affermazione di causalità e la decisione di pubblicazione sono lasciate all'esperto, in base al livello di rischio dell'attività
- Capacità di applicare una disciplina che verifica ogni output dell'intelligenza artificiale (numero, coefficiente, codice, commento) attraverso fasi di ricalcolo, collegamento alla fonte e filtraggio statistico.
- Capacità di elaborare in modo sicuro microdati e set di dati riservati/concessi in licenza nell'ambito del KVKK/GDPR e degli accordi sull'utilizzo dei dati e acquisire l'abitudine di scegliere strumenti adeguati.
Le stesse domande ricorrono ogni giorno sulla scrivania di un econometrico o di uno statistico applicato: questo insieme di dati è affidabile? Cosa fare con questi valori mancanti? Cosa dice realmente il coefficiente di questa regressione? Questa relazione è causale o semplicemente correlazionale? Poiché questo valore p è significativo, posso scriverlo nell'articolo o nel policy brief? Alcune di queste domande sono ripetitive, richiedono molto codice e richiedono molto tempo: pulire i dati, tracciare lo stesso grafico dieci volte, eseguire il debug del codice R o Python, mettere insieme i risultati in una tabella. Altri determinano direttamente la validità di una scoperta, l’onestà di una pubblicazione o l’accuratezza di una decisione politica.
L'intelligenza artificiale (AI in breve, AI - sistemi informatici in grado di produrre testo e codice come gli esseri umani, riconoscere modelli, riassumere dati e scrivere commenti; la forma più utilizzata oggi sono modelli linguistici di grandi dimensioni, cioè sistemi che vengono addestrati su testo enorme e costruiscono frasi prevedendo la parola successiva) si trova proprio al centro di questa tabella. Se usato correttamente, riduce a minuti le ore di pulizia del codice dei dati, ricorda la sintassi di un test statistico complesso o abbozza l'interpretazione di un coefficiente. Se usato in modo errato, presenta come "constatazione" un numero apparentemente sicuro ma completamente inventato, un falso significato o una relazione non causale.
Questa prima unità non è un'introduzione al software. Il suo scopo è chiarire dove inserire l'intelligenza artificiale nel flusso di lavoro empirico e dove non inserirla mai. L’econometria è un campo sia “critico per il metodo” che indirettamente “critico per la decisione”: il coefficiente di un modello costruito può essere l’input per la decisione sul tasso di interesse di una banca centrale, il cambiamento di politica di un regolatore o l’investimento milionario di un’azienda. Esponiamo fin dall'inizio il principio di base: l'intelligenza artificiale è un assistente all'analisi, non un ricercatore. La responsabilità e l'approvazione finale della selezione del modello, della strategia di identificazione, dell'affermazione della causalità, della pubblicazione e delle decisioni politiche spetta all'esperto competente.
Livelli del flusso di lavoro empirico e posizione dell'intelligenza artificiale
È utile dividere uno studio empirico in tre strati. Il livello di esecuzione è il lavoro tecnico quotidiano: codice di pulizia dei dati, disegno di grafici, formattazione di tabelle, debug della sintassi. Il livello del metodo è la decisione analitica: quale modello, quale strategia di identificazione, quale test, quale verifica delle ipotesi. Il livello interpretativo e decisionale è il significato dei risultati: cosa dice il coefficiente, è causale, cosa significa per la politica, se dovesse essere pubblicato. L’intelligenza artificiale tocca tutti e tre i livelli, ma con autorità diversa in ciascuno. A livello di esecuzione, l’intelligenza artificiale elabora e genera rapidamente il codice; A livello di interpretazione e decisione viene fornito solo l'input e l'esperto prende la decisione.
Definiamo alcuni termini fondamentali fin dall'inizio. L'econometria è la branca che analizza i dati economici e sociali con metodi statistici e misura le relazioni. La regressione è un metodo che modella numericamente la relazione di una variabile di risultato (variabile dipendente) con una o più variabili esplicative (variabili indipendenti). Il coefficiente è il numero che mostra a quante unità di cambiamento in media è associata una variazione di una unità in una variabile esplicativa nella variabile di risultato. Il valore p è la probabilità che il risultato osservato (o un risultato più estremo) si verifichi per caso quando in realtà non esiste alcun effetto. Spiegheremo questi concetti uno per uno nelle unità seguenti; Per ora, sappi questo: in tutti questi casi, l'intelligenza artificiale fornisce il progetto, il codice e la spiegazione, ma non prende decisioni scientifiche.
La tabella seguente riassume il ruolo e il livello di rischio dell'IA per missione:
Ricerca
Ruolo dell'intelligenza artificiale
Livello di rischio
Chi approva
Scrittura del codice di sanificazione dei dati
generatore di codici
basso
Analista stesso (con test del codice)
Bozza di grafico/tabella
generatore di schizzi
basso
analista
Promemoria sulla sintassi del test/modello
Assistente di riferimento
medio-basso
analista
Progetto di interpretazione dei coefficienti
bozza di scrittore
medio
econometrico
Selezione del modello/strategia di identificazione
ingresso ausiliario
alto
ricercatore esperto
Affermazione di causalità
Solo una bozza, mai l'ultima parola
molto alto
Esperto + revisione tra pari
Decisione di pubblicazione/politica
solo ingresso
molto alto
Investigatore/istituzione responsabile
Tieni presente una riga in questa tabella: all’aumentare del rischio, il ruolo dell’intelligenza artificiale si riduce e l’approvazione degli esperti aumenta.
Perché la "verifica" è il cuore di questo business
I modelli linguistici sembrano fiduciosi nella loro risposta, ma potrebbero non esserlo. Nel linguaggio tecnico questa si chiama allucinazione: è la fabbricazione da parte del modello di informazioni inesistenti in una frase scorrevole, proprio come se fossero vere. Per un econometrico questa è una trappola mortale. Il modello può fornirti un numero esatto come "La correlazione tra disoccupazione e inflazione in Turchia tra il 2015 e il 2020 è 0,62"; Tuttavia, non ha mai visto i tuoi dati e questo numero è completamente inventato. Oppure potrebbe dire: "Il valore p del test del bianco era 0,03"; mentre non ha eseguito alcun test. Può chiamare una funzione R con un argomento che in realtà non esiste. Li canta tutti e tre con la stessa fluidità; L'unica cosa che separa il bene dallo sbagliato è la tua conoscenza e la tua abitudine alla verifica.
La disciplina di verifica si compone di tre fasi:
- Ricalcola/esegui nel tuo ambiente: calcola ogni numero, rapporto, risultato del test e coefficiente fornito dall'IA in R/Python con i tuoi dati, non dalla memoria dell'IA. Usa l'intelligenza artificiale per scrivere il codice, non per ricordare il risultato. Esegui il codice, produci l'output.
- Collegamento alla fonte: fare affidamento su libri di testo, articoli sui metodi e documenti ufficiali per regole, formule e definizioni dei metodi. Conferma l'affermazione dell'IA "il presupposto di questo test è" con una fonte affidabile.
- Filtro statistico: verifica con occhi esperti se il risultato contraddice la logica statistica (ipotesi, campione, dimensione dell'effetto, incertezza). Rifiutare un risultato "significativo ma assurdo".
Attenzione: inserire un coefficiente, un test o un'interpretazione generati dall'intelligenza artificiale in un articolo, tesi o nota politica senza convalidarlo è come pubblicare un risultato non rivisto. Solo perché il risultato è fluido non è vero; Solo perché il numero sembra certo, non è reale.
Privacy: i microdati e i dati concessi in licenza sono protetti privatamente
I microdati (singoli record a livello individuale, familiare, aziendale o paziente) sono spesso utilizzati in econometria. La maggior parte di questi dati sono dati personali e sono protetti dalla KVKK (legge sulla protezione dei dati personali) in Turchia e dal GDPR in Europa. Inoltre, TurkStat, le banche centrali, i fornitori di dati panel e le fonti commerciali spesso forniscono dati con un accordo sull’utilizzo dei dati; Questi accordi vietano il trasferimento di dati a terzi. Incollare una tabella contenente informazioni sull'identità, reddito, salute o segreti aziendali in uno strumento di chat pubblico basato sull'intelligenza artificiale costituisce sia una violazione del KVKK/GDPR che una violazione del contratto; perché i dati vengono inviati a un server esterno e possono essere utilizzati nell'addestramento del modello in alcuni strumenti.
La regola è semplice: conservare i dati nel proprio ambiente sicuro, chiedere all’IA solo codice e metodi. Il flusso di lavoro ideale è questo: chiedi all'IA il codice di analisi, esegui il codice con i dati reali sul tuo computer/server aziendale. Se davvero devi condividere i dati, rendili anonimi (rimuovi i campi ID), aggregali (media/conteggio anziché individuale) e scegli strumenti istituzionali, disponi di un accordo sul trattamento dei dati e non utilizza i tuoi dati nell'istruzione.
tre mini custodie
Caso 1 — Utilizzo sicuro ed efficiente. Un ricercatore ha prima trascorso 6 ore a pulire manualmente 40.000 righe di dati sul budget familiare. Senza condividere affatto i dati, si è limitato a descrivere all’IA i nomi delle variabili e la struttura e ha chiesto un codice di pulizia. L'intelligenza artificiale ha generato uno script R; Il ricercatore ha eseguito il codice nel proprio ambiente, ha controllato il numero di righe e le statistiche riassuntive di ogni passaggio e ha corretto due errori logici. Durata: 70 minuti invece di 6 ore. I dati non sono mai usciti; La responsabilità è rimasta del ricercatore.
Caso 2: trappola dei numeri non verificati. “Qual è l’elasticità tra la crescita del PIL e gli investimenti diretti esteri?” ha chiesto ad AI uno studente laureato. L'IA ha fornito con sicurezza un numero di "circa 0,34" anche se non aveva accesso ad alcun dato. Lo studente ha scritto questo nel riassunto della letteratura; Quando il suo consulente gli chiese la fonte, si scoprì che il numero non aveva alcun fondamento ed era completamente inventato. Errore: aspettarsi statistiche concrete dall’intelligenza artificiale senza fornirle dati e risorse.
Caso 3 — Riservatezza e violazione del contratto. Un analista ha caricato Excel, ricevuto da un panel aziendale autorizzato, contenente il nome dell'azienda e il fatturato, su uno strumento di intelligenza artificiale disponibile al pubblico e ha detto "esegui la regressione del panel". Il contratto del fornitore dei dati vietava il trasferimento dei dati a sistemi di terzi; L'incidente ha richiesto una revisione della conformità. La soluzione giusta era sostituire i nomi delle aziende con codici anonimi oppure non condividere dati e richiedere solo il codice di regressione del pannello ed eseguirlo nel proprio ambiente.
Prompt debole / Prompt forte
Suggerimento debole:
Analizzare la relazione tra inflazione e disoccupazione e indicare il coefficiente.
Questa affermazione è sbagliata: all’IA non sono stati forniti dati, non è chiaro quale paese, quale periodo, quale modello. L’intelligenza artificiale può rispondere solo con un coefficiente inventato.
Suggerimento potente:
Il tuo ruolo: sei un assistente di analisi che assiste il ricercatore di econometria. NON condivido i dati con te; Voglio solo il codice R RUNNABLE. Ho un pannello annuale: variabili paese, anno, disoccupazione, inflazione (tutte numeriche). Compito: 1) scrivere un codice di regressione del pannello degli effetti fissi per disoccupazione ~ inflazione (pacchetto plm), 2) spiegare ogni passaggio nel codice con una riga di commento, 3) notare che il coefficiente dovrebbe essere interpretato come relazionale, non causale, 4) creare l'argomento della funzione di cui non si è sicuri; Eseguirò e verificherò il risultato nel mio ambiente.
In questa richiesta non viene condiviso alcun dato, sono chiari il ruolo, i pacchetti, l'aspettativa di commenti e il divieto di "fabbricazione". Esegui comunque e verifica tu stesso l'output.
La tabella seguente riassume le regole di una frase in questa lezione:
principio
Cosa significa
L'intelligenza artificiale è un assistente
La decisione e la responsabilità scientifica appartengono all'esperto
Richiedi il codice, produci il risultato
L'IA non ricorda il numero; lo esegui e calcoli
conservare i dati
I dati micro/concessi in licenza non lasciano l'ambiente sicuro
verificare
Ogni problema, codice, commento viene controllato; la fabbricazione è respinta
Errori comuni
- Aspettarsi statistiche concrete dall’intelligenza artificiale senza fornire dati. Il modello non può accedere ai dati; Il coefficiente, la correlazione e il valore p forniti sono falsi. Richiedi sempre il codice e produci tu stesso il risultato.
- Affidarsi a funzioni allucinatorie. L'intelligenza artificiale può suggerire una funzione o un argomento R/Python che non esiste. Non accettare il codice senza eseguirlo e verificarlo.
- Caricamento dei microdati nello strumento pubblico. Si tratta di una violazione del KVKK/GDPR e dell'accordo sull'utilizzo dei dati. Rendi anonimi i dati o non condividerli affatto.
- Confondere la fluidità con la precisione. Una recensione ben scritta potrebbe essere imprecisa. La bellezza della frase non è una prova.
- Accettare il linguaggio causale senza controllo. YZ dice spesso “X aumenta Y”; mentre la maggior parte delle regressioni mostra solo le relazioni. Difendere l'affermazione causale con il design.
Suggerimento: quando lavori con l’intelligenza artificiale, poniti questa domanda: “Se un arbitro o un auditor richiede questo output, posso mostrare la fonte e il resoconto?” Se la risposta è no, l'output non è ancora pronto per l'uso.
In sintesi
L’intelligenza artificiale fornisce un’accelerazione reale e massiccia nel livello di esecuzione (codice, pulizia, grafico, bozza) del flusso di lavoro econometrico e statistico; tuttavia, la selezione del modello, la causalità, l'interpretazione, la pubblicazione e le decisioni politiche appartengono all'esperto. Tre discipline fondamentali: non ricordare il numero all'IA, chiedere il codice e generare e verificare tu stesso il risultato; non rimuovere i dati micro/con licenza dall'ambiente sicuro; filtrare statisticamente ogni uscita. Un risultato dell’IA non verificato è altrettanto rischioso quanto un risultato non esaminato.
Compito dell'applicazione
Considera il tuo set di dati (o un esempio). Chiedi all'intelligenza artificiale un codice R o Python che produca statistiche descrittive e un semplice grafico descrivendo semplicemente la struttura delle variabili, senza condividere i dati. Esegui il codice in arrivo nel tuo ambiente. Quindi tieni una lista di controllo: (1) il codice è stato eseguito senza errori, (2) è il numero di righe/osservazioni come previsto, (3) quale delle frasi di commento dell'IA utilizza un linguaggio causale e dovrebbe essere corretta. In un paragrafo, scrivi del tempo in cui l'intelligenza artificiale ti ha salvato e di almeno un bug che hai rilevato.
lista di controllo
- [ ] Non ho fatto sì che l'intelligenza artificiale richiedesse statistiche concrete; Ho richiesto il codice e ho prodotto io stesso il risultato.
- [] Ho ricalcolato ogni numero e risultato del test fornito nel mio ambiente.
- [ ] Ho verificato che le funzioni/argomenti utilizzati esistano effettivamente.
- [ ] Non ho caricato dati micro/personali/concessi in licenza su uno strumento pubblico.
- [ ] Ho contrassegnato i commenti contenenti linguaggio causale e li ho spostati nel linguaggio relazionale.
- [ ] Sono in grado di mostrare la fonte e la contabilizzazione dell'output a un revisore dei conti.