Unità 11 / 11

Scrittura di report, comunicazione ed etica: presentare i risultati e comunicare i confini

Guadagni:

  • Capacità di riportare risultati empirici al pubblico target (accademico, politico, manageriale) con il supporto dell'intelligenza artificiale, in un linguaggio onesto e inequivocabile
  • Capacità di scrivere in modo completo conclusioni, limitazioni e dichiarazioni etiche (riservatezza dei dati, conflitto di interessi, divulgazione dell'uso dell'intelligenza artificiale) ed evitare presentazioni fuorvianti
  • Capacità dell'intelligenza artificiale di riconoscere bozze di rapporti che producono un linguaggio esagerato, unilaterale o causale e di sostenere che la responsabilità del testo finale e delle affermazioni spetta al ricercatore.

Esame del modulo

1. Un ricercatore chiede "Qual è il coefficiente di correlazione tra disoccupazione e inflazione in Turchia tra il 2015 e il 2020?" senza fornire alcun dato all’intelligenza artificiale. chiede e scrive direttamente nel suo articolo il numero 0,62. Qual è l’errore fondamentale in questo approccio?

  • A) Aspettarsi statistiche concrete dall’intelligenza artificiale senza fornire dati verificati; ✔ Utilizzare un numero eventualmente inventato senza verificarlo
  • B) Il coefficiente di correlazione non dovrebbe mai essere utilizzato in un articolo.
  • C) Non è possibile calcolare la correlazione tra disoccupazione e inflazione
  • D) L’intelligenza artificiale potrà accedere ai dati solo dopo il 2020

Spiegazione: il modello linguistico dell'intelligenza artificiale non può produrre statistiche senza accedere al set di dati; Il numero che fornisce è molto probabilmente un'allucinazione (fabbricata). I coefficienti, i rapporti e i risultati dei test dovrebbero essere calcolati dai dati verificati del ricercatore, non presi dalla memoria del modello.

2. Cosa significa che i dati mancanti sono "non mancanti a caso" (MNAR) e perché è importante?

  • A) La carenza è dovuta al valore stesso non osservato; Ecco perché un'assegnazione semplice può creare pregiudizi ✔
  • B) I dati scompaiono in modo del tutto casuale e non creano alcun pregiudizio.
  • C) I dati mancanti devono essere sempre risolti eliminando la riga.
  • D) I dati mancanti non pregiudicano in alcun modo l'analisi.

Spiegazione: nel caso di MNAR (Missing Not At Random), la mancanza stessa dipende dall'entità del valore non osservato (ad esempio, i percettori di redditi elevati non dichiarano il proprio reddito). In questo caso, la semplice cancellazione o l'assegnazione della media danno risultati distorti; Il meccanismo della carenza deve essere modellato. Il metodo di assegnazione suggerito dall’intelligenza artificiale non dovrebbe essere applicato ciecamente senza conoscere questo meccanismo.

3. Un analista chiede all'IA di creare un grafico a barre e l'IA inizia l'asse y da 40 anziché da zero. La differenza effettiva del 2% tra i due gruppi sembra enorme sul grafico. Qual è l'approccio giusto?

  • A) Avviare l'asse da zero o modificare il tipo di grafico; ✔ per mostrare la reale entità della differenza senza trarre in inganno
  • B) Usare il grafico così com'è perché l'IA fa la scelta migliore
  • C) Iniziare l'asse a 45 per rendere la differenza ancora più grande
  • D) Non utilizzare mai immagini al posto dei grafici a barre

Spiegazione: in un grafico a barre, l'asse tratteggiato (l'asse y che non inizia da zero) fuorviante esagerando piccole differenze. Nella visualizzazione onesta, l'asse dei grafici a barre dovrebbe iniziare da zero oppure la differenza dovrebbe essere dichiarata chiaramente e consapevolmente. È responsabilità dell'analista verificare l'immagine e correggerla se necessario.

4. In che modo il fatto che un coefficiente sia "significativo" (p<0,05) nella regressione lineare viene spesso travisato nell'interpretazione dell'intelligenza artificiale?

  • A) Presentazione esagerata della significatività in quanto l'effetto è ampio e importante o la causalità è stabilita ✔
  • B) La significatività indica sempre che l'effetto è piccolo
  • C) p<0,05 dimostra che il coefficiente è assolutamente corretto
  • D) I coefficienti significativi non dovrebbero mai essere riportati.

Spiegazione: la significatività statistica si riferisce alla forza dell'evidenza che l'effetto è diverso da zero; Ciò non significa che l’effetto sia ampio, importante o causale. L'intelligenza artificiale presenta spesso la parola "significativo" come "impatto significativo/forte". Il ricercatore dovrebbe anche valutare la dimensione dell’effetto, l’intervallo di confidenza e il contesto.

5. A cosa si riferisce il termine "p-hacking" e perché l'intelligenza artificiale può renderlo più semplice?

  • A) Provare più analisi finché non ha senso; L'intelligenza artificiale lo fa molto rapidamente, aumentando il rischio ✔
  • B) Analizzare i dati una volta e con un piano predeterminato
  • C) espandere il campione per aumentare il valore p
  • D) Riportare solo statistiche descrittive

Spiegazione: il p-hacking consiste nel provare diverse variabili, sottocampioni, trasformazioni o modelli finché non emerge un risultato significativo; questo produce risultati spuri basati sul caso. Poiché l’intelligenza artificiale può provare dozzine di varianti di modelli in pochi secondi, può accelerare il p-hacking senza un piano onesto. Difesa; preregistrazione, piano di analisi fisso e correzione per confronti multipli.

6. Perché trovare una regressione con R quadrato elevato tra due serie temporali non stazionarie (radice unitaria) potrebbe essere fuorviante?

  • A) Può verificarsi una regressione spuria a causa di una tendenza comune; ✔ Alto rendimento R-quadrato senza relazione reale
  • B) Un R quadrato elevato dimostra sempre una forte relazione causale.
  • C) Le serie non stazionarie non possono essere affatto inserite nella regressione.
  • D) L'R quadrato non può essere calcolato in serie temporali

Spiegazione: se non esiste una relazione di cointegrazione comune tra serie non stazionarie, la regressione spuria può produrre un R quadrato elevato e un coefficiente significativo solo a causa della tendenza comune; mentre non esiste una vera relazione. Pertanto, dovrebbero essere eseguiti prima i test di stazionarietà e di radice unitaria e, se necessario, dovrebbero essere prese le differenze o dovrebbe essere testata la cointegrazione.

7. Quale presupposto di base si basa sulla validità del progetto Differenza nelle differenze?

  • A) Ipotesi di tendenze parallele: i gruppi seguirebbero la stessa direzione se non ci fosse alcun intervento ✔
  • B) I gruppi di trattamento e di controllo sono esattamente gli stessi all'inizio
  • C) Distribuzione normale del campione
  • D) Le variabili non contengono dati mancanti

Spiegazione: DiD presuppone che in assenza dell'intervento, la variabile di risultato per i gruppi di trattamento e di controllo avrebbe avuto un andamento parallelo nel tempo (ipotesi di tendenze parallele). Se questa ipotesi non viene soddisfatta, la stima risulta distorta. L'intelligenza artificiale può produrre il codice DiD, ma è compito del ricercatore difendere e testare tendenze parallele.

8. Quale delle seguenti è una pratica obbligatoria per un'analisi riproducibile?

  • A) Correzione del seed in passaggi casuali, registrazione delle versioni del pacchetto e del codice ✔
  • B) Copia manualmente i risultati nel foglio di calcolo ed elimina il codice
  • C) È normale vedere risultati diversi in ogni esecuzione.
  • D) Mantenere solo la grafica finale, non condividere dati e codice

Descrizione: Riproducibilità; Lo stesso risultato può essere ottenuto nuovamente con gli stessi dati e codice. La correzione del seme in passaggi casuali, il salvataggio delle versioni del pacchetto e l'esecuzione del codice all'interno del documento (programmazione letterata) sono i cardini di tutto ciò. La copia manuale dei risultati o di passaggi non registrati basati su clic compromette la riproducibilità.

9. Cosa distorce l'eteroschedasticità di una regressione lineare e qual è la sua soluzione comune?

  • A) Distorce gli errori standard; la soluzione è rappresentata da errori standard robusti o da una trasformazione adeguata ✔
  • B) Invalida completamente le stime dei coefficienti e non ha soluzione
  • C) Riduce sempre R quadro a zero
  • D) Si verifica solo se il campione è molto piccolo e può essere ignorato

Spiegazione: l'eteroschedasticità lascia le stime dei coefficienti imparziali ma calcola erroneamente gli errori standard; Ciò rende i valori p e gli intervalli di confidenza inaffidabili. Una soluzione comune consiste nell'utilizzare errori standard robusti/HC o una conversione appropriata. Bisogna verificare che la soluzione suggerita dall’AI risolva effettivamente il problema anziché nasconderlo.

10. Un ricercatore carica microdati contenenti informazioni di identificazione a livello di paziente e reddito in uno strumento di chat pubblica di intelligenza artificiale e dice "fai la regressione". Qual è il problema principale di questo comportamento?

  • A) Il caricamento di dati personali/autorizzati su uno strumento esterno costituisce una violazione della riservatezza e del contratto ✔
  • B) La regressione non può essere effettuata affatto dall’intelligenza artificiale
  • C) I microdati non sono affatto adatti alla regressione
  • D) L’intelligenza artificiale calcola sempre male la regressione

Spiegazione: i dati personali/speciali come identità e reddito sono protetti dalla KVKK/GDPR e dalla maggior parte degli accordi sull'utilizzo dei dati; Caricarli su un dispositivo esterno in grado di archiviare dati costituisce una violazione. Il modo giusto; Rendere anonimi i dati, utilizzando strumenti sicuri locali/istituzionali o semplicemente richiedendo codice all'intelligenza artificiale ed eseguendo il codice nel proprio ambiente.

11. Cosa si osserva quando la multicollinearità è elevata?

  • A) I coefficienti diventano instabili e gli errori standard diventano gonfiati; I singoli coefficienti possono rivelarsi privi di significato ✔
  • B) R-quadrato diminuisce sempre a zero
  • C) Le stime dei coefficienti diventano sempre più precise
  • D) La scala della variabile dipendente cambia

Spiegazione: in elevata multicollinearità, le variabili indipendenti sono fortemente correlate tra loro; Le stime dei coefficienti diventano instabili, gli errori standard diventano eccessivi e i singoli coefficienti possono rivelarsi insignificanti, mentre il modello complessivo può essere significativo. Viene diagnosticato in base a criteri come VIF. L’intelligenza artificiale può suggerire l’eliminazione delle variabili, ma spetta al ricercatore decidere quale variabile debba rimanere teorica.

12. Cos'è il potere statistico e qual è il rischio di uno studio a basso potere?

  • A) Possibilità di rilevare l'effetto esistente; una bassa potenza non consente di ottenere effetti reali e rende i risultati inaffidabili ✔
  • B) probabilità di riduzione del p-value; una potenza inferiore fornisce sempre risultati più affidabili
  • C) Un valore costante indipendente dalla dimensione del campione
  • D) Un concetto che vale solo quando si utilizza l'intelligenza artificiale

Spiegazione: la potenza è la probabilità di rilevare un effetto che esiste realmente (1 meno errore di tipo II). Gli studi a bassa potenza potrebbero non cogliere gli effetti reali; Inoltre, i pochi risultati significativi possono comportare una dimensione dell'effetto esagerata ("maledizione del vincitore") e un aumento del tasso di falsi positivi. Pertanto, il calcolo della potenza/campione è importante prima dell'analisi.

13. Perché è eticamente necessario divulgare l’uso dell’intelligenza artificiale in un articolo?

  • A) Per la trasparenza e la responsabilità; ✔ lettori e revisori possono valutare il processo e la responsabilità rimane dell'autore
  • B) L'uso dell'intelligenza artificiale invalida automaticamente i risultati
  • C) Richiesto dalle riviste solo per scopi pubblicitari
  • D) Trasferire il diritto d'autore della spiegazione all'intelligenza artificiale

Divulgazione: la trasparenza è necessaria affinché il lettore e i revisori possano valutare come sono stati prodotti i risultati; Molte riviste e istituzioni ora richiedono la divulgazione dell’uso dell’intelligenza artificiale. Inoltre, poiché l'intelligenza artificiale può produrre errori/allucinazioni, è una questione di onestà affermare che la responsabilità rimane dell'autore e quali passaggi sono stati controllati.

14. Cosa richiede la "restrizione di esclusione" nel metodo della variabile strumentale (IV)?

  • A) Lo strumento influenza il risultato solo attraverso la variabile interna, non esiste altro modo diretto ✔
  • B) Lo strumento non ha alcuna relazione con la variabile di risultato.
  • C) Lo strumento non è correlato alla variabile endogena.
  • D) Le medie sono sempre una variabile binaria (0/1).

Spiegazione: il vincolo di esclusione richiede che lo strumento influenzi la variabile di risultato solo attraverso la variabile esplicativa endogena e non attraverso altri mezzi diretti o fattori non osservati. Questa ipotesi non può essere completamente verificata dai dati; Viene difeso su basi teoriche e istituzionali. L'IA può scrivere il codice IV, ma è compito del ricercatore difendere la validità dello strumento.

15. Cosa significa il problema del "Giardino dei sentieri che si biforcano" nelle analisi flessibili senza preregistrazione?

  • A) Troppe scelte di analisi ragionevoli effettuate sulla base dei dati aumentano il tasso di falsi positivi, anche involontariamente ✔
  • B) I metodi di analisi devono essere unici e obbligatori
  • C) Un problema che si verifica solo quando si verifica un imbroglio intenzionale.
  • D) Una situazione che scompare spontaneamente man mano che il campione cresce

Spiegazione: dopo aver visualizzato i dati, il ricercatore può fare molte scelte ragionevoli su quale variabile, sottogruppo, trasformazione o soglia utilizzare. Anche se non esiste un singolo "p-hacking intenzionale", questa flessibilità aumenta il tasso di falsi positivi perché quello significativo viene effettivamente scelto da un gran numero di analisi. La preregistrazione e un piano di analisi fisso limitano questa flessibilità.