Gevinster:
- Evne til å gjøre forskning sporbar ved å registrere metodiske beslutninger, spørsmål og modellinformasjon
- Evne til å skille rådata fra behandlede data og dokumentere alle konverteringstrinn
- Å være i stand til transparent å erklære rollen til kunstig intelligens i metodedelen og bruke "kan det være reproduserbar"-testen
Det mest grunnleggende ved vitenskapen er at et funn ikke er basert på en enkelt persons ord, men på en prosess som kan verifiseres av andre. Reproduserbarhet er evnen til en annen forsker, som tar dataene og metoden til en studie, til å nå det samme resultatet ved å følge de samme trinnene. Et lignende konsept er åpenhet: forskeren dokumenterer tydelig hva han gjorde og hvorfor han tok hvilken avgjørelse. I AI-tiden har disse to konseptene blitt både enklere og mer kritiske. Enkelt, fordi AI hjelper med å dokumentere prosesser; kritisk, for hvis du ikke etterlater spor av AIs avgjørelser, kan ingen – ikke engang du – reprodusere arbeidet ditt. I denne enheten lærer du hvordan du gjør forskningen din reproduserbar og gjennomsiktig.
Hjertet av problemet er dette: Når du jobber med AI, tar du mange små avgjørelser – hvilken prompt du brukte, hvilken modell, hvilke innstillinger, hvilken utgang du godtok og hvilken du avviste. Hvis disse avgjørelsene ikke er dokumentert, kan du få en annen utgang når du kjører samme forespørsel på en annen dag (språkmodeller gir ikke nøyaktig samme respons hver gang). Når en anmelder eller kollega spør "hvordan kom du frem til denne temaanalysen", er ikke "AIen sa det" et vitenskapelig svar. Åpenhet handler nettopp om å åpne denne «svarte boksen» og gjøre prosessen sporbar.
Trinn for trinn: etablere en sporbar forskning
1. Før beslutningsdagbok. Skriv ned alle viktige metodiske beslutninger – hvorfor denne prøven, hvorfor denne koden, hvorfor du godtok dette AI-forslaget – i en datert journal. AI hjelper til med å organisere denne loggen.
2. Lagre meldinger og modellinformasjon. Hold oversikt over hver forespørsel du brukte, hvilken AI-modell du kjørte den på, og på hvilken dato. Dette er "materiallisten" for arbeidet ditt.
3. Skille rådata fra behandlede data. Hold de opprinnelige dataene uendret; gjør alle konverteringer (rengjøring, koding) separat med dokumenterte trinn. Så alle kan se fra begynnelsen.
4. Skriv tydelig hvilken rolle AI har. I metodedelen, oppgi ærlig i hvilke oppgaver og hvordan du brukte AI. De fleste tidsskrifter og institusjoner krever nå dette.
5. Del data og kode hvis mulig. Når etikk og personvern tillater det, er deling av anonymiserte data og analysekode i åpne depoter toppen av åpenhet.
Tips: En enkel test: "Kan jeg gjøre denne forskningen selv igjen om 6 måneder?" Hvis du ikke har dokumentert forespørsler, beslutninger og trinn, er svaret mest sannsynlig "nei". Gjør det produserbart for deg selv; Da skjer det for noen andre også.
tre minisaker
Tilfelle 1 — Sporløs analyse kollapset. En forsker utførte en temaanalyse med AI, men registrerte ikke hvilken prompt han brukte. Da dommeren spurte "hvordan kom du frem til disse temaene?" han kunne ikke vise prosessen; Han måtte gjenta analysen på nytt, denne gangen føre dagbok. Han mistet to uker.
Sak 2 — Beslutningslogg avslutter diskusjonen. Det oppsto en uenighet i et team som spurte "hvorfor kombinerte vi disse kodene?" Men vedtaksloggen inneholdt dato og begrunnelse for hvert fusjonsvedtak. Argumentet ble løst i løpet av minutter da AI oppsummerte loggen og viste den kronologisk.
Case 3 – Transparent avsløring bygde tillit. I en artikkel skrev forfatterne eksplisitt at vi brukte AI "for transkripsjonsredigering og innledende kodeforslag, med to forskere som manuelt bekreftet alle koder." Anmeldere fant denne åpenheten positiv; Det ble funnet å være mye mer pålitelig enn å bruke en kappet AI.
Fire kopierbare maler
1) Mal for beslutningslogg:
Lag en metodisk beslutningsloggtabell. Kolonner: dato, beslutning, begrunnelse, alternativer, rollen til AI (hvis noen), hvem som godkjente den. Sett inn mine beslutningsnotater nedenfor i denne tabellen og merk eventuelle manglende begrunnelser som "må fullføres". Merknader: [her]
2) Utkast til AI-brukserklæring:
Lag et avsnitt som på en gjennomsiktig måte forklarer min bruk av AI for å sette inn i metodedelen. Jeg brukte det i disse oppgavene: [liste]. Jeg brukte den IKKE i følgende oppgaver: [liste]. Jeg verifiserte alle utganger manuelt. Modell og dato: [x]. Bruk ærlig, undervurdert, akademisk språk.
3) Reproduserbarhetsinspeksjon:
Jeg beskriver min forskningsprosess: [oppsummering]. Kan en annen forsker gjengi dette? List opp udokumenterte, uklare eller usporbare trinn: hvilke data, hvilken transformasjon, hvilken melding, hvilken beslutning mangler? Fortell meg hva jeg skal registrere for hver plass.
4) Dataherkomstkart:
List opp alle transformasjonstrinnene fra rådata til mitt endelige funn som en flyt: rådata → rengjøring → koding → analyse → funn. Vis hva som ble gjort på hvert trinn, med hvilket verktøy og med hvilken beslutning. Merk trinnet som ikke kan spores. Prosess: [her]
Svak forespørsel / Sterk forespørsel
Svak melding:
Skriv metoden for denne analysen i ett avsnitt.
AI produserer en generisk metodeparagraf uten å dokumentere prosessen; Hvordan avgjørelsen ble tatt og hvor AI ble brukt er fortsatt uklart. Dette kan ikke produseres.
Kraftig ledetekst:
Skriv en produserbar beskrivelse for metodedelen. Bruk følgende informasjon: datakilde [x], prøve [y], analysetrinn [z], AI-modellen jeg brukte og dens dato [t], den nøyaktige rollen til AI[r], den menneskelige verifiseringsprosessen [d]. Skriv så konkret at noen andre kan følge disse trinnene og gjengi dem. Spør meg om all informasjon jeg har utelatt.
Forskjellen: den andre tilnærmingen gjør prosessen konkret, sporbar og virkelig reproduserbar.
Gjennomsiktighetslag
lag
Hva er dokumentert
Hvorfor er det viktig?
beslutningsdagbok
Metodiske beslutninger + begrunnelse
forsvarer rettsvesenet
Rask registrering
Rask brukt, modell, dato
Gjør AI håndterbar
Dataopprinnelse
Rå → behandlede konverteringer
åpner trinn
AI-uttalelse
Rollen og grensen til AI
ærlighet
deling
Anonyme data + kode
Ultimate åpenhet
Vanlige feil
- Lagrer ikke forespørsler. Hvis du ikke beholder instruksjonen du brukte, kan du ikke demonstrere prosessen.
- Det betyr "AI-en sa det." Vitenskapelig begrunnelse er prosess og vurdering, ikke modellens ord.
- Overskriver rådataene. Behold originalen; Gjør konverteringer separate og dokumenterte.
- Skjuler bruken av AI. Gjennomsiktig uttalelse bygger tillit; Skjuling fører til tap av omdømme.
- La det være uproduserbart selv for deg selv. En jobb du ikke kan gjøre igjen etter 6 måneder er ikke vitenskap.
Oppsummert
Reproduserbarhet og åpenhet forvandler en studie fra én persons ord til en vitenskap som alle kan teste. Dette er enda mer kritisk når man jobber med AI, for hvis modellens beslutninger ikke følges, blir prosessen en svart boks. Hold en beslutningslogg, registrer forespørsler og modellinformasjon, separer rådata fra behandlet, erklær ærlig AIs rolle, og del data og kode når etikken tillater det. En studie som består testen "Kan jeg reprodusere meg selv etter 6 måneder" er også pålitelig for andre.
Søknadsoppgave
For en liten analyse du holder på med eller planlegger, noter minst 5 metodiske avgjørelser med begrunnelse med "beslutningsjournalmalen". Oppbevar ledetekstene du bruker, modell og dato i en egen fil. Bruk deretter malen "reproduserbarhetsrevisjon" for å få AI til å finne udokumenterte hull i prosessen din og lukke hvert gap. Skriv til slutt en oversikt over "AI use statement" og et gjennomsiktig avsnitt som skal plasseres i metodedelen.
sjekkliste
- [ ] Jeg skrev begrunnelsen for hver viktig metodisk beslutning i journalen.
- [ ] Jeg registrerte spørsmålene jeg brukte, modellen og datoen.
- [ ] Jeg beholdt rådataene uendret og dokumenterte transformasjonene.
- [ ] Jeg erklærte rollen til AI ærlig i metodedelen.
- [ ] Jeg brukte testen "Kan jeg reprodusere etter 6 måneder".