Enhet 11 / 11

Rapportskrivning, kommunikation och etik: Presentera resultat och kommunicera gränser

Vinster:

  • Förmåga att rapportera empiriska rön till målgruppen (akademisk, policy, ledning) med stöd av artificiell intelligens, på ett ärligt och entydigt språk
  • Förmåga att fullständigt skriva slutsatser, begränsningar och etiska uttalanden (datasekretess, intressekonflikter, avslöjande av användning av artificiell intelligens) och undvika vilseledande presentation
  • Förmågan hos artificiell intelligens att känna igen utkast till rapporter som producerar överdrivet, ensidigt eller kausalt språk och att behålla detta ansvar för den slutliga texten och påståenden vilar på forskaren.

Modulexamen

1. En forskare frågar "Vad är korrelationskoefficienten mellan arbetslöshet och inflation i Türkiye mellan 2015 och 2020?" utan att lämna några uppgifter till artificiell intelligens. frågar han och skriver siffran 0,62 direkt i sin artikel. Vad är det grundläggande misstaget i detta tillvägagångssätt?

  • A) Att förvänta sig konkret statistik från artificiell intelligens utan att ge verifierade uppgifter; ✔ Använda ett nummer som kan ha skapats utan att verifiera det
  • B) Korrelationskoefficienten ska aldrig användas i en artikel.
  • C) Korrelation kan inte beräknas mellan arbetslöshet och inflation
  • D) Artificiell intelligens kan bara komma åt data efter 2020

Förklaring: AI-språkmodellen kan inte producera statistik utan att ha tillgång till datasetet; Siffran han ger är med största sannolikhet en hallucination (tillverkad). Koefficienter, kvoter och testresultat bör beräknas från forskarens egna verifierade data, inte hämtade från modellens minne.

2. Vad betyder det att saknad data "inte saknas slumpmässigt" (MNAR) och varför är det viktigt?

  • A) Bristen beror på det oobserverade värdet i sig; Det är därför enkelt uppdrag kan skapa partiskhet ✔
  • B) Data försvinner helt slumpmässigt och skapar ingen bias.
  • C) Saknade data ska alltid lösas genom att radera raden.
  • D) Saknade data påverkar inte analysen på något sätt.

Förklaring: När det gäller MNAR (Missing Not At Random) beror själva saknaden på storleken på det oobserverade värdet (t.ex. höginkomsttagare rapporterar inte sin inkomst). I det här fallet ger enkel radering eller genomsnittlig tilldelning partiska resultat; Mekanismen för bristen måste modelleras. Tilldelningsmetoden som föreslagits av artificiell intelligens bör inte tillämpas blint utan att känna till denna mekanism.

3. En analytiker låter AI:n göra ett stapeldiagram och AI:n startar y-axeln vid 40 istället för noll. Den faktiska skillnaden på 2 % mellan de två grupperna ser enorm ut på grafen. Vad är rätt tillvägagångssätt?

  • A) Starta axeln från början eller ändra diagramtyp; ✔ för att visa skillnadens verkliga storlek utan att vilseleda
  • B) Använd diagrammet som det är eftersom AI gör det bästa valet
  • C) Starta axeln vid 45 för att göra skillnaden ännu större
  • D) Använd aldrig grafik istället för stapeldiagram

Förklaring: I ett stapeldiagram vilseleder den streckade axeln (y-axeln som inte börjar från noll) genom att överdriva små skillnader. I ärlig visualisering bör axeln för stapeldiagram börja från noll eller skillnaden bör medvetet anges tydligt. Det är analytikerns ansvar att verifiera bilden och korrigera den vid behov.

4. Hur är det faktum att en koefficient är 'signifikant' (p<0,05) i linjär regression ofta felaktigt vid tolkningen av artificiell intelligens?

  • A) Överdriven presentation av betydelse då effekten är stor och viktig eller kausalitet fastställts ✔
  • B) Signifikans indikerar alltid att effekten är liten
  • C) p<0,05 bevisar att koefficienten är absolut korrekt
  • D) Signifikanta koefficienter ska aldrig rapporteras.

Förklaring: Statistisk signifikans avser styrkan av bevis för att effekten skiljer sig från noll; Det betyder inte att effekten är stor, viktig eller kausal. AI presenterar ofta ordet "signifikant" som "signifikant/stark påverkan". Forskaren bör också utvärdera effektstorlek, konfidensintervall och sammanhang.

5. Vad syftar termen 'p-hacking' på och varför kan AI göra det lättare?

  • A) Prova flera analyser tills det är vettigt; AI gör detta mycket snabbt, vilket ökar risken ✔
  • B) Analysera data en gång och med en förutbestämd plan
  • C) expandera provet för att öka p-värdet
  • D) Rapporterar endast beskrivande statistik

Förklaring: p-hacking är att pröva olika variabler, delprover, transformationer eller modeller tills ett meningsfullt resultat uppstår; detta ger falska fynd baserade på slumpen. Eftersom AI kan prova dussintals modellvarianter på några sekunder kan det påskynda p-hacking utan en ärlig plan. Försvar; förregistrering, fast analysplan och multipel jämförelsekorrigering.

6. Varför kan det vara missvisande att hitta en hög R-kvadratregression mellan två icke-stationära (enhetsrot) tidsserier?

  • A) Falsk regression kan inträffa på grund av vanlig trend; ✔ Hög R-kvadratutgång utan verklig relation
  • B) En hög R-kvadrat visar alltid ett starkt orsakssamband.
  • C) Icke-stationära serier kan inte gå in i regression alls.
  • D) R-kvadrat kan inte beräknas i tidsserier

Förklaring: Om det inte finns något gemensamt kointegrationsförhållande mellan icke-stationära serier, kan falsk regression producera hög R-kvadrat och signifikant koefficient endast på grund av gemensam trend; medan det inte finns något verkligt förhållande. Därför bör stationaritets- och enhetsrottester göras först, och vid behov bör skillnader tas eller samintegration testas.

7. Vilket grundläggande antagande är baserat på giltigheten av Difference-in-Differences-designen?

  • A) Parallella trendantagande: grupper skulle följa samma riktning om det inte fanns någon intervention ✔
  • B) Behandlings- och kontrollgrupper är exakt samma i början
  • C) Normalfördelning av provet
  • D) Variabler innehåller inga saknade data

Förklaring: DiD antar att i frånvaro av interventionen skulle utfallsvariabeln för behandlings- och kontrollgrupperna ha förlöpt parallellt över tid (antagande om parallella trender). Om detta antagande inte uppfylls är uppskattningen partisk. AI kan producera DiD-koden, men det är forskarens uppgift att försvara och testa parallella trender.

8. Vilket av följande är en obligatorisk praxis för en reproducerbar analys?

  • A) Fixa utsädet i slumpmässiga steg, spela in paketversioner och kod ✔
  • B) Kopiera resultaten manuellt till kalkylarket och radera koden
  • C) Det är normalt att se olika resultat i varje körning.
  • D) Behåller endast slutlig grafik, inte delar data och kod

Beskrivning: Reproducerbarhet; Samma resultat kan erhållas igen med samma data och kod. Att fixa fröet i slumpmässiga steg, spara paketversioner och exekvera koden i dokumentet (läskunnig programmering) är hörnstenarna i detta. Att kopiera resultat manuellt eller klickbaserade, icke-loggande steg försämrar reproducerbarheten.

9. Vad förvränger heteroskedasticitet en linjär regression och vad är dess vanliga lösning?

  • A) Det förvränger standardfel; lösningen är robusta standardfel eller lämplig transformation ✔
  • B) Det ogiltigförklarar fullständigt koefficientuppskattningarna och har ingen lösning
  • C) Minskar alltid R-kvadrat till noll
  • D) Förekommer endast om urvalet är mycket litet och kan ignoreras

Förklaring: Heteroskedasticitet lämnar koefficientuppskattningar opartiska men felberäknar standardfel; Detta gör p-värden och konfidensintervall opålitliga. En vanlig lösning är att använda robusta/HC-standardfel eller lämplig konvertering. Det måste verifieras att lösningen som föreslås av AI faktiskt löser problemet snarare än att dölja det.

10. En forskare laddar upp mikrodata som innehåller identifieringsinformation och inkomster på patientnivå till ett offentligt AI-chattverktyg och säger "gör regression". Vad är huvudproblemet med detta beteende?

  • A) Att ladda upp personliga/licensierade data till ett externt verktyg utgör ett brott mot konfidentialitet och kontrakt ✔
  • B) Regression kan inte göras av artificiell intelligens alls
  • C) Mikrodata lämpar sig inte alls för regression
  • D) AI räknar alltid regressionen fel

Förklaring: Personlig/särskild data som identitet och inkomst skyddas enligt KVKK/GDPR och de flesta dataanvändningsavtal; Att ladda upp dem till en extern enhet som kan lagra data är en överträdelse. Rätt sätt; Anonymisera data, använda lokala/institutionella säkra verktyg eller helt enkelt begära kod från artificiell intelligens och köra koden i sin egen miljö.

11. Vad observeras när multikollineariteten är hög?

  • A) Koefficienter blir instabila och standardfel blir uppblåsta; Individuella koefficienter kan visa sig vara meningslösa ✔
  • B) R-kvadrat minskar alltid till noll
  • C) Koefficientuppskattningar blir mer exakta hela tiden
  • D) Den beroende variabelns skala ändras

Förklaring: Vid hög multikollinearitet är oberoende variabler starkt korrelerade med varandra; Koefficientuppskattningar blir instabila, standardfel blir uppblåsta och individuella koefficienter kan visa sig vara obetydliga, medan den övergripande modellen kan vara signifikant. Det diagnostiseras av kriterier som VIF. Artificiell intelligens kan föreslå variabel eliminering, men det är upp till forskaren att bestämma vilken variabel som ska förbli teoretisk.

12. Vad är statistisk makt och vad är risken med en lågeffektstudie?

  • A) Möjlighet att upptäcka den befintliga effekten; låg effekt missar verkliga effekter och gör fynden opålitliga ✔
  • B) sannolikhet att minska p-värdet; lägre effekt ger alltid mer tillförlitliga resultat
  • C) Ett konstant värde oberoende av urvalsstorleken
  • D) Ett begrepp som är giltigt endast när artificiell intelligens används

Förklaring: Effekt är sannolikheten att upptäcka en effekt som faktiskt existerar (1 minus typ II-fel). Lågkraftiga studier kan missa verkliga effekter; Dessutom kan de få signifikanta resultaten ha en överdriven effektstorlek ('vinnarens förbannelse') och antalet falska positiva ökar. Därför är effekt/provberäkning viktig före analys.

13. Varför är det etiskt nödvändigt att avslöja användningen av artificiell intelligens i en artikel?

  • A) För transparens och ansvarsskyldighet; ✔ läsare och referent kan utvärdera processen och ansvaret ligger kvar på författaren
  • B) Användning av artificiell intelligens ogiltigförklarar automatiskt resultaten
  • C) Begärt av tidningar endast i reklamsyfte
  • D) Överföra upphovsrätten till förklaringen till artificiell intelligens

Offentliggörande: Transparens är nödvändig så att läsaren och granskarna kan utvärdera hur resultaten producerades; Många tidskrifter och institutioner kräver nu avslöjande av AI-användning. Dessutom, eftersom artificiell intelligens kan ge fel/hallucinationer, är det en fråga om ärlighet att säga att ansvaret ligger hos författaren och vilka steg som granskades.

14. Vad kräver "uteslutningsbegränsningen" i instrumentvariabelmetoden (IV)?

  • A) Verktyget påverkar resultatet endast genom den interna variabeln, det finns ingen annan direkt väg ✔
  • B) Instrumentet har inget samband med utfallsvariabeln.
  • C) Instrumentet är inte relaterat till den endogena variabeln.
  • D) Medel är alltid en binär (0/1) variabel

Förklaring: Exklusionsbegränsningen kräver att instrumentet påverkar utfallsvariabeln endast genom den endogena förklaringsvariabeln och inte genom några andra direkta medel eller oobserverade faktorer. Detta antagande kan inte testas fullständigt från data; Den försvaras på teoretiska och institutionella grunder. AI kan skriva IV-koden, men det är forskarens uppgift att försvara verktygets giltighet.

15. Vad betyder problemet med "Gaffelvägarnas trädgård" i flexibla analyser utan förhandsregistrering?

  • A) För många rimliga analysval som görs baserat på data ökar antalet falska positiva, även oavsiktligt ✔
  • B) Analysmetoder måste vara enstaka och obligatoriska
  • C) Ett problem som bara uppstår när avsiktligt fusk förekommer.
  • D) En situation som försvinner spontant när provet växer

Förklaring: Efter att ha tittat på data kan forskaren göra många rimliga val om vilken variabel, undergrupp, transformation eller tröskel som ska användas. Även om det inte finns någon enskild "avsiktlig p-hacking", ökar denna flexibilitet antalet falska positiva eftersom den signifikanta effektivt väljs från ett stort antal analyser. Förhandsregistrering och en fast analysplan begränsar denna flexibilitet.