Enhet 11 / 11

Rapportskriving, kommunikasjon og etikk: Presentere resultater og kommunisere grenser

Gevinster:

  • Evne til å rapportere empiriske funn til målgruppen (akademisk, politikk, ledelse) med støtte fra kunstig intelligens, på et ærlig og entydig språk
  • Evne til å skrive konklusjoner, begrensninger og etiske utsagn (datakonfidensialitet, interessekonflikt, avsløring av bruk av kunstig intelligens) og unngå villedende presentasjon
  • Evnen til kunstig intelligens til å gjenkjenne utkast til rapporter som produserer overdrevet, ensidig eller kausalt språk og opprettholde dette ansvaret for den endelige teksten og påstandene ligger hos forskeren.

Moduleksamen

1. En forsker spør 'Hva er korrelasjonskoeffisienten mellom arbeidsledighet og inflasjon i Türkiye mellom 2015 og 2020?' uten å gi noen data til kunstig intelligens. spør han og skriver tallet 0,62 direkte inn i artikkelen sin. Hva er den grunnleggende feilen i denne tilnærmingen?

  • A) Forventer konkret statistikk fra kunstig intelligens uten å gi bekreftede data; ✔ Bruke et nummer som kan ha blitt laget uten å bekrefte det
  • B) Korrelasjonskoeffisienten skal aldri brukes i en artikkel.
  • C) Sammenheng kan ikke beregnes mellom arbeidsledighet og inflasjon
  • D) Kunstig intelligens kan bare få tilgang til data etter 2020

Forklaring: AI-språkmodellen kan ikke produsere statistikk uten å ha tilgang til datasettet; Tallet han gir er mest sannsynlig en hallusinasjon (fabrikert). Koeffisienter, forholdstall og testresultater bør beregnes fra forskerens egne verifiserte data, ikke hentet fra modellens minne.

2. Hva betyr det at manglende data 'ikke mangler tilfeldig' (MNAR) og hvorfor er det viktig?

  • A) Mangelen skyldes selve den uobserverte verdien; Det er derfor enkel oppgave kan skape skjevhet ✔
  • B) Data forsvinner helt tilfeldig og skaper ingen skjevhet.
  • C) Manglende data skal alltid løses ved å slette raden.
  • D) Manglende data påvirker ikke analysen på noen måte.

Forklaring: Når det gjelder MNAR (Missing Not At Random), avhenger selve savnet av størrelsen på den uobserverte verdien (f.eks. rapporterer ikke høylønnede inntekter). I dette tilfellet gir enkel sletting eller gjennomsnittlig tildeling partiske resultater; Mekanismen for mangelen må modelleres. Tildelingsmetoden foreslått av kunstig intelligens bør ikke brukes blindt uten å kjenne til denne mekanismen.

3. En analytiker får AI til å lage et stolpediagram, og AI starter y-aksen på 40 i stedet for null. Den faktiske forskjellen på 2 % mellom de to gruppene ser enorm ut på grafen. Hva er riktig tilnærming?

  • A) Starte aksen fra bunnen av eller endre karttype; ✔ for å vise den sanne størrelsen på forskjellen uten å villedende
  • B) Bruke diagrammet som det er fordi AI gjør det beste valget
  • C) Starte aksen ved 45 for å gjøre forskjellen enda større
  • D) Bruk aldri visuelle elementer i stedet for søylediagrammer

Forklaring: I et stolpediagram vil den stiplede aksen (y-aksen som ikke starter fra null) villedende ved å overdrive små forskjeller. I ærlig visualisering bør aksen til søylediagrammer starte fra null eller forskjellen bør være bevisst angitt tydelig. Det er analytikerens ansvar å verifisere bildet og korrigere det om nødvendig.

4. Hvordan blir det faktum at en koeffisient er 'signifikant' (p<0,05) i lineær regresjon ofte feilrepresentert i tolkningen av kunstig intelligens?

  • A) Overdreven presentasjon av betydning da effekten er stor og viktig eller kausalitet er etablert ✔
  • B) Signifikans indikerer alltid at effekten er liten
  • C) p<0,05 beviser at koeffisienten er helt korrekt
  • D) Signifikante koeffisienter skal aldri rapporteres.

Forklaring: Statistisk signifikans relaterer seg til styrken av bevis for at effekten er forskjellig fra null; Det betyr ikke at effekten er stor, viktig eller årsakssammenheng. AI presenterer ofte ordet "betydelig" som "betydelig/sterk innvirkning". Forskeren bør også evaluere effektstørrelsen, konfidensintervallet og konteksten.

5. Hva refererer begrepet 'p-hacking' til og hvorfor kan AI gjøre det enklere?

  • A) Prøver flere analyser til det gir mening; AI gjør dette veldig raskt, og øker risikoen ✔
  • B) Analysere data én gang og med en forhåndsbestemt plan
  • C) utvide prøven for å øke p-verdien
  • D) Rapporterer kun beskrivende statistikk

Forklaring: p-hacking er å prøve forskjellige variabler, delprøver, transformasjoner eller modeller til et meningsfullt resultat dukker opp; dette gir falske funn basert på tilfeldigheter. Siden AI kan prøve dusinvis av modellvarianter på sekunder, kan den fremskynde p-hacking uten en ærlig plan. Forsvar; forhåndsregistrering, fast analyseplan og korrigering av flere sammenligninger.

6. Hvorfor kan det være misvisende å finne en høy R-kvadrert regresjon mellom to ikke-stasjonære (enhetsrot) tidsserier?

  • A) Spurious regresjon kan forekomme på grunn av vanlig trend; ✔ Høy R-kvadratutgang uten reell sammenheng
  • B) En høy R-kvadrat viser alltid en sterk årsakssammenheng.
  • C) Ikke-stasjonære serier kan ikke legges inn i regresjon i det hele tatt.
  • D) R-kvadrat kan ikke beregnes i tidsserier

Forklaring: Hvis det ikke er noe felles kointegrasjonsforhold mellom ikke-stasjonære serier, kan falsk regresjon gi høy R-kvadrat og signifikant koeffisient bare på grunn av felles trend; mens det ikke er noe reelt forhold. Derfor bør stasjonaritets- og enhetsrottester gjøres først, og om nødvendig bør forskjeller tas eller kointegrasjon testes.

7. Hvilken grunnleggende antakelse er basert på gyldigheten av Difference-in-Differences-designet?

  • A) Parallelle trendantakelse: grupper ville følge samme retning hvis det ikke var noen intervensjon ✔
  • B) Behandlings- og kontrollgruppene er helt like i begynnelsen
  • C) Normalfordeling av utvalget
  • D) Variabler inneholder ingen manglende data

Forklaring: DiD antar at i fravær av intervensjon ville utfallsvariabelen for behandlings- og kontrollgruppene ha forløpt parallelt over tid (parallell trendantakelse). Hvis denne forutsetningen ikke er oppfylt, er estimatet partisk. AI kan produsere DiD-koden, men det er forskerens jobb å forsvare og teste parallelle trender.

8. Hvilken av følgende er obligatorisk praksis for en reproduserbar analyse?

  • A) Feste frøet i tilfeldige trinn, registrere pakkeversjoner og kode ✔
  • B) Kopier resultatene manuelt til regnearket og slett koden
  • C) Det er normalt å se ulike resultater i hver kjøring.
  • D) Beholder kun endelig grafikk, ikke deler data og kode

Beskrivelse: Reproduserbarhet; Det samme resultatet kan oppnås igjen med samme data og kode. Å fikse frøet i tilfeldige trinn, lagre pakkeversjoner og utføre koden i dokumentet (literate programmering) er hjørnesteinene i dette. Kopiering av resultater manuelt eller klikkbaserte, ikke-loggingstrinn svekker reproduserbarheten.

9. Hva forvrenger heteroskedastisitet en lineær regresjon og hva er dens vanlige løsning?

  • A) Det forvrenger standardfeil; løsningen er robuste standardfeil eller passende transformasjon ✔
  • B) Det ugyldiggjør koeffisientestimatene fullstendig og har ingen løsning
  • C) Reduserer alltid R-kvadrat til null
  • D) Oppstår bare hvis utvalget er veldig lite og kan ignoreres

Forklaring: Heteroskedastisitet etterlater koeffisientestimater objektive, men feilberegner standardfeil; Dette gjør p-verdier og konfidensintervaller upålitelige. En vanlig løsning er å bruke robuste/HC-standardfeil eller passende konvertering. Det må verifiseres at løsningen foreslått av AI faktisk løser problemet i stedet for å skjule det.

10. En forsker laster opp mikrodata som inneholder identifiseringsinformasjon og inntekt på pasientnivå til et offentlig AI-chatverktøy og sier «gjør regresjon». Hva er hovedproblemet med denne oppførselen?

  • A) Opplasting av personlige/lisensierte data til et eksternt verktøy utgjør et brudd på konfidensialitet og kontrakt ✔
  • B) Regresjon kan ikke gjøres av kunstig intelligens i det hele tatt
  • C) Mikrodata er ikke egnet for regresjon i det hele tatt
  • D) AI feilberegner alltid regresjonen

Forklaring: Personlige/spesielle data som identitet og inntekt er beskyttet under KVKK/GDPR og de fleste databruksavtaler; Å laste dem opp til en ekstern enhet som kan lagre data er et brudd. Den rette måten; Anonymisere data, bruke lokale/institusjonelle sikre verktøy, eller rett og slett be om kode fra kunstig intelligens og kjøre koden i sitt eget miljø.

11. Hva observeres når multikollineariteten er høy?

  • A) Koeffisienter blir ustabile og standardfeil blir oppblåst; Individuelle koeffisienter kan vise seg å være meningsløse ✔
  • B) R-kvadrat reduseres alltid til null
  • C) Koeffisientestimater blir mer presise hele tiden
  • D) Skalaen til den avhengige variabelen endres

Forklaring: Ved høy multikollinearitet er uavhengige variabler sterkt korrelert med hverandre; Koeffisientestimater blir ustabile, standardfeil blir oppblåst, og individuelle koeffisienter kan vise seg å være ubetydelige, mens den samlede modellen kan være signifikant. Det diagnostiseres etter kriterier som VIF. Kunstig intelligens kan foreslå variabel eliminering, men det er opp til forskeren å bestemme hvilken variabel som skal forbli teoretisk.

12. Hva er statistisk makt og hva er risikoen ved en laveffektstudie?

  • A) Mulighet for å oppdage eksisterende effekt; lav effekt går glipp av sanne effekter og gjør funn upålitelige ✔
  • B) sannsynlighet for å redusere p-verdien; lavere effekt gir alltid mer pålitelige resultater
  • C) En konstant verdi uavhengig av prøvestørrelsen
  • D) Et begrep som kun er gyldig når kunstig intelligens brukes

Forklaring: Power er sannsynligheten for å oppdage en effekt som faktisk eksisterer (1 minus type II feil). Lavkraftige studier kan gå glipp av sanne effekter; I tillegg kan de få signifikante resultatene ha en overdreven effektstørrelse ('vinnerens forbannelse') og antallet falske positive øker. Derfor er effekt/prøveberegning viktig før analyse.

13. Hvorfor er det etisk nødvendig å avsløre bruken av kunstig intelligens i en artikkel?

  • A) For åpenhet og ansvarlighet; ✔ lesere og referenter kan evaluere prosessen og ansvaret forblir hos forfatteren
  • B) Bruk av kunstig intelligens ugyldiggjør automatisk resultatene
  • C) Forespurt av magasiner kun for reklameformål
  • D) Overføring av opphavsretten til forklaringen til kunstig intelligens

Avsløring: Åpenhet er nødvendig slik at leseren og anmelderne kan vurdere hvordan resultatene ble produsert; Mange tidsskrifter og institusjoner krever nå avsløring av AI-bruk. I tillegg, siden kunstig intelligens kan gi feil/hallusinasjoner, er det et spørsmål om ærlighet å si at ansvaret forblir hos forfatteren og hvilke trinn som ble revidert.

14. Hva krever "ekskluderingsbegrensningen" i Instrument Variable (IV)-metoden?

  • A) Verktøyet påvirker resultatet kun gjennom den interne variabelen, det er ingen annen direkte vei ✔
  • B) Instrumentet har ingen sammenheng med utfallsvariabelen.
  • C) Instrumentet er ikke relatert til den endogene variabelen.
  • D) Middel er alltid en binær (0/1) variabel

Forklaring: Ekskluderingsbegrensningen krever at instrumentet kun påvirker utfallsvariabelen gjennom den endogene forklaringsvariabelen og ikke gjennom andre direkte midler eller uobserverte faktorer. Denne antakelsen kan ikke testes fullstendig ut fra data; Det forsvares på teoretisk og institusjonelt grunnlag. AI kan skrive IV-koden, men det er forskerens jobb å forsvare gyldigheten til verktøyet.

15. Hva betyr problemstillingen 'Gaffelstier' i fleksible analyser uten forhåndsregistrering?

  • A) For mange fornuftige analysevalg gjort basert på dataene øker antallet falske positive, selv utilsiktet ✔
  • B) Analysemetoder skal være enkle og obligatoriske
  • C) Et problem som bare oppstår når forsettlig juks oppstår.
  • D) En situasjon som forsvinner spontant etter hvert som prøven vokser

Forklaring: Etter å ha sett på dataene kan forskeren ta mange fornuftige valg om hvilken variabel, undergruppe, transformasjon eller terskel som skal brukes. Selv om det ikke er noen enkelt "tilsiktet p-hacking", øker denne fleksibiliteten den falske positive raten fordi den signifikante er effektivt valgt fra et stort antall analyser. Forhåndsregistrering og en fast analyseplan begrenser denne fleksibiliteten.