Gevinster:
- Evne til at gøre forskning sporbar ved at registrere metodiske beslutninger, prompter og modelinformation
- Mulighed for at adskille rådata fra behandlede data og dokumentere alle konverteringstrin
- At være i stand til transparent at erklære kunstig intelligenss rolle i metodeafsnittet og anvende 'kan det reproduceres'-testen
Det mest fundamentale træk ved videnskaben er, at en konstatering ikke er baseret på en enkelt persons ord, men på en proces, der kan verificeres af andre. Reproducerbarhed er muligheden for en anden forsker, der tager data og metode fra en undersøgelse, til at nå det samme resultat ved at følge de samme trin. Et lignende koncept er gennemsigtighed: Forskeren dokumenterer tydeligt, hvad han gjorde, og hvorfor han tog hvilken beslutning. I AIs tidsalder er disse to koncepter blevet både nemmere og mere kritiske. Nemt, fordi AI hjælper med at dokumentere processer; kritisk, for hvis du ikke efterlader spor af AI'ens beslutninger, er der ingen - ikke engang du - der kan gengive dit arbejde. I denne enhed lærer du, hvordan du gør din forskning reproducerbar og gennemsigtig.
Hjertet af problemet er dette: Når du arbejder med AI, træffer du mange små beslutninger - hvilken prompt du brugte, hvilken model, hvilke indstillinger, hvilket output du accepterede, og hvilket du afviste. Hvis disse beslutninger ikke er dokumenteret, kan du få et andet output, når du kører den samme prompt på en anden dag (sprogmodeller giver ikke nøjagtig samme respons hver gang). Når en anmelder eller kollega spørger "hvordan kom du frem til denne temaanalyse", er "AI’en sagde det" ikke et videnskabeligt svar. Gennemsigtighed handler netop om at åbne denne "sorte boks" og gøre processen sporbar.
Trin for trin: Etablering af en sporbar forskning
1. Før en beslutningsdagbog. Skriv alle vigtige metodiske beslutninger ned - hvorfor denne prøve, hvorfor denne kode, hvorfor du accepterede dette AI-forslag - i et dateret tidsskrift. AI hjælper med at organisere denne log.
2. Gem prompter og modeloplysninger. Hold et register over hver prompt, du brugte, hvilken AI-model du kørte den på, og på hvilken dato. Dette er "materialelisten" til dit arbejde.
3. Adskil rådata fra behandlede data. Hold de originale data uændrede; udføre alle konverteringer (rengøring, kodning) separat med dokumenterede trin. Så alle kan se med fra begyndelsen.
4. Skriv klart AI's rolle. Angiv ærligt i metodeafsnittet i hvilke opgaver og hvordan du brugte AI. Det kræver de fleste tidsskrifter og institutioner nu.
5. Del data og kode, hvis det er muligt. Når etik og privatliv tillader det, er deling af anonymiseret data og analysekode i åbne arkiver toppen af gennemsigtighed.
Tip: En simpel test: "Kan jeg selv lave denne forskning igen om 6 måneder?" Hvis du ikke har dokumenteret dine prompter, beslutninger og trin, er svaret højst sandsynligt "nej". Gør det producerbart for dig selv; Så sker det også for en anden.
tre minisager
Case 1 — Sporløs analyse kollapsede. En forsker udførte en temaanalyse med AI, men registrerede ikke, hvilken prompt han brugte. Da dommeren spurgte "hvordan kom du frem til disse temaer?" han kunne ikke vise processen; Han måtte gentage analysen igen, denne gang føre dagbog. Han mistede to uger.
Sag 2 — Beslutningslog afslutter diskussionen. Der opstod en uenighed i et team, der spurgte "hvorfor kombinerede vi disse koder?" Men beslutningsloggen indeholdt datoen og begrundelsen for hver fusionsbeslutning. Argumentet blev løst inden for få minutter, da AI opsummerede loggen og viste den kronologisk.
Case 3 — Gennemsigtig afsløring skabte tillid. I en artikel skrev forfatterne eksplicit, at vi brugte AI "til transskriptionsredigering og indledende kodeforslag, hvor to forskere manuelt verificerede alle koder." Anmeldere fandt denne gennemsigtighed positiv; Det viste sig at være meget mere pålideligt end at bruge en tilsløret AI.
Fire kopierbare skabeloner
1) Skabelon til beslutningslog:
Opret en metodisk beslutningslogtabel. Kolonner: dato, beslutning, begrundelse, alternativer, rolle for AI (hvis nogen), hvem godkendte den. Indsæt mine beslutningsnotater nedenfor i denne tabel og marker eventuelle manglende begrundelser som "skal udfyldes". Bemærkninger: [her]
2) Udkast til AI-brugserklæring:
Udarbejd et afsnit, der tydeligt forklarer min brug af AI til at indsætte i metodeafsnittet. Jeg brugte det i disse opgaver: [liste]. Jeg brugte det IKKE i følgende opgaver: [liste]. Jeg verificerede alle udgange manuelt. Model og dato: [x]. Brug ærligt, underspillet, akademisk sprog.
3) Reproducerbarhedsinspektion:
Jeg beskriver min forskningsproces: [resumé]. Kan en anden forsker gengive dette? Liste over udokumenterede, uklare eller usporbare trin: hvilke data, hvilken transformation, hvilken prompt, hvilken beslutning mangler? Fortæl mig, hvad jeg skal optage for hvert rum.
4) Dataherkomstkort:
List alle transformationstrinene fra rådata til mit endelige fund som et flow: rådata → rengøring → kodning → analyse → fund. Vis, hvad der blev gjort ved hvert trin, med hvilket værktøj og med hvilken beslutning. Marker det usporbare trin. Proces: [her]
Svag prompt / Stærk prompt
Svag prompt:
Skriv metoden til denne analyse i ét afsnit.
AI producerer et generisk metodeafsnit uden at dokumentere processen; Hvordan beslutningen blev truffet, og hvor AI blev brugt, er stadig uklart. Dette kan ikke fremstilles.
Kraftig prompt:
Skriv en fremstillelig beskrivelse til metodeafsnittet. Brug følgende oplysninger: datakilde [x], prøve [y], analysetrin [z], AI-modellen, jeg brugte og dens dato [t], den nøjagtige rolle for AI-[r], den menneskelige verifikationsproces [d]. Skriv så konkret, at en anden kan følge disse trin og gengive dem. Spørg mig om alle oplysninger, jeg har udeladt.
Forskellen: den anden tilgang gør processen konkret, sporbar og virkelig reproducerbar.
Gennemsigtighedslag
lag
Hvad er dokumenteret
Hvorfor er det vigtigt?
beslutningsdagbog
Metodiske beslutninger + begrundelse
forsvarer retsvæsenet
Hurtig registrering
Hurtig brugt, model, dato
Gør AI håndterbar
Dataoprindelse
Rå → behandlede konverteringer
åbner trin
AI-erklæring
AI's rolle og grænse
ærlighed
deling
Anonyme data + kode
Ultimativ gennemsigtighed
Almindelige fejl
- Ikke gemmer prompter. Hvis du ikke beholder den instruktion, du brugte, kan du ikke demonstrere processen.
- Det betyder "AI'en sagde det." Videnskabelig begrundelse er proces og dømmekraft, ikke modellens ord.
- Overskrivning af rådata. Behold originalen; Gør konverteringer adskilte og dokumenterede.
- Skjuler brugen af AI. Gennemsigtig erklæring bygger tillid; Skjulning forårsager tab af omdømme.
- Lad det være uproducerbart selv for dig selv. Et job, du ikke kan gøre igen efter 6 måneder, er ikke videnskab.
Sammenfattende
Reproducerbarhed og gennemsigtighed forvandler en undersøgelse fra én persons ord til en videnskab, som alle kan teste. Dette er endnu mere kritisk, når man arbejder med AI, for hvis modellens beslutninger ikke følges, bliver processen en sort boks. Før en beslutningslog, registrer prompter og modeloplysninger, adskil rådata fra behandlede, erklær ærligt AI'ens rolle, og del data og kode, når etikken tillader det. En undersøgelse, der består testen "Kan jeg reproducere mig selv efter 6 måneder" er også pålidelig for andre.
Ansøgningsopgave
For en lille analyse, du er i gang med eller planlægger, skal du notere mindst 5 metodebeslutninger med begrundelser med "beslutningsjournalskabelonen". Gem de prompter, du bruger, model og dato i en separat fil. Brug derefter skabelonen "reproducerbarhedsrevision" for at få AI til at finde udokumenterede huller i din proces og lukke hvert hul. Skriv endelig en oversigt over "AI-brugserklæringen" og et gennemsigtigt afsnit, der skal placeres i metodeafsnittet.
tjekliste
- [ ] Jeg skrev begrundelsen for hver vigtig metodologisk beslutning i journalen.
- [ ] Jeg registrerede de prompter, jeg brugte, modellen og datoen.
- [ ] Jeg holdt de rå data uændrede og dokumenterede transformationerne.
- [ ] Jeg erklærede ærligt AI's rolle i metodeafsnittet.
- [ ] Jeg anvendte testen "Kan jeg reproducere efter 6 måneder".