Ieguvumi:
- Spēja padarīt pētījumu izsekojamu, fiksējot metodiskos lēmumus, uzvednes un modeļu informāciju
- Spēja atdalīt neapstrādātus datus no apstrādātajiem datiem un dokumentēt visas konversijas darbības
- Spēja pārskatāmi deklarēt mākslīgā intelekta lomu metožu sadaļā un piemērot testu “vai tas var būt reproducējams”
Zinātnes fundamentālākā iezīme ir tāda, ka atradums nav balstīts uz viena cilvēka vārdiem, bet gan uz procesu, ko var pārbaudīt citi. Reproducējamība ir cita pētnieka spēja, izmantojot pētījuma datus un metodi, sasniegt to pašu rezultātu, veicot tās pašas darbības. Līdzīga koncepcija ir caurspīdīgums: pētnieks skaidri dokumentē, ko viņš darīja un kāpēc viņš kādu lēmumu pieņēma. AI laikmetā šie divi jēdzieni ir kļuvuši gan vienkāršāki, gan kritiskāki. Viegli, jo AI palīdz dokumentēt procesus; kritiski, jo, ja jūs neatstāsiet nekādas pēdas no AI lēmumiem, neviens — pat jūs — nevarēs reproducēt jūsu darbu. Šajā nodaļā jūs uzzināsit, kā padarīt savu pētījumu reproducējamu un pārredzamu.
Problēmas būtība ir šāda: strādājot ar AI, jūs pieņemat daudz mazu lēmumu — kuru uzvedni izmantojāt, kuru modeli, kādus iestatījumus, kuru izvadi pieņēmāt un kuru noraidījāt. Ja šie lēmumi nav dokumentēti, palaižot vienu un to pašu uzvedni citā dienā, iespējams, tiks iegūta cita izvade (valodas modeļi nesniedz tieši tādu pašu atbildi katru reizi). Kad recenzents vai kolēģis jautā "kā jūs nonācāt pie šīs tēmas analīzes", "AI teica" nav zinātniska atbilde. Caurspīdība ir tieši šīs “melnās kastes” atvēršana un procesa izsekojamības nodrošināšana.
Soli pa solim: izveidojiet izsekojamu pētījumu
1. Saglabājiet lēmumu dienasgrāmatu. Pierakstiet datētā žurnālā katru svarīgo metodisko lēmumu — kāpēc šis paraugs, kāpēc šis kods, kāpēc pieņēmāt šo AI priekšlikumu. AI palīdz sakārtot šo žurnālu.
2. Saglabājiet uzvednes un modeļa informāciju. Pierakstiet katru izmantoto uzvedni, kuru AI modeli izmantojāt un kurā datumā. Šis ir jūsu darba “materiālu saraksts”.
3. Atdaliet neapstrādātus datus no apstrādātajiem datiem. Saglabājiet sākotnējos datus nemainīgus; veiciet visas konversijas (tīrīšanu, kodēšanu) atsevišķi, veicot dokumentētus soļus. Tātad ikviens var skatīties no sākuma.
4. Skaidri uzrakstiet AI lomu. Metožu sadaļā godīgi norādiet, kuros uzdevumos un kā izmantojāt AI. Vairums žurnālu un iestāžu tagad to pieprasa.
5. Ja iespējams, kopīgojiet datus un kodu. Ja to atļauj ētika un privātums, anonimizētu datu un analītikas koda koplietošana atklātās krātuvēs ir pārredzamības virsotne.
Padoms. Vienkāršs tests: "Vai es varu pats veikt šo pētījumu pēc 6 mēnešiem?" Ja neesat dokumentējis savus norādījumus, lēmumus un darbības, atbilde, visticamāk, ir "nē". Padariet to ražojamu sev; Tad tas notiek arī kādam citam.
trīs mini futrāļi
1. gadījums — bezizsekojamības analīze sabruka. Viens pētnieks veica tēmas analīzi ar AI, bet nefiksēja, kuru uzvedni viņš izmantoja. Kad tiesnesis jautāja "kā jūs nonācāt pie šīm tēmām?" viņš nevarēja parādīt procesu; Viņam nācās atkārtot analīzi no jauna, šoreiz saglabājot dienasgrāmatu. Viņš zaudēja divas nedēļas.
2. gadījums — lēmumu žurnāls beidz diskusiju. Grupā radās domstarpības, jautājot "kāpēc mēs apvienojām šos kodus?" Taču lēmumu žurnālā bija katra apvienošanās lēmuma datums un pamatojums. Arguments tika atrisināts dažu minūšu laikā, kad AI apkopoja žurnālu un parādīja to hronoloģiski.
3. gadījums — caurspīdīga informācijas atklāšana radīja uzticību. Vienā rakstā autori skaidri rakstīja, ka mēs izmantojām AI "transkripta rediģēšanai un sākotnējai koda ierosināšanai, diviem pētniekiem manuāli pārbaudot visus kodus." Recenzenti uzskatīja, ka šī pārredzamība ir pozitīva; Tika konstatēts, ka tas ir daudz uzticamāks nekā slēpta AI izmantošana.
Četras kopējamas veidnes
1) Lēmumu žurnāla veidne:
Izveidojiet metodisko lēmumu žurnāla tabulu. Ailes: datums, lēmums, pamatojums, alternatīvas, AI loma (ja tāda ir), kas to apstiprināja. Ievietojiet manas piezīmes par lēmumu šajā tabulā un atzīmējiet trūkstošos pamatojumus kā "jāizpilda". Piezīmes: [šeit]
2) AI lietošanas paziņojuma projekts:
Uzrakstiet rindkopu, kurā skaidri izskaidrots, kā es izmantoju AI, lai to ievietotu metožu sadaļā. Es to izmantoju šajos uzdevumos: [saraksts]. Es to NEIZMANTOJU šādos uzdevumos: [saraksts]. Es pārbaudīju visas izejas manuāli. Modelis un datums: [x]. Izmantojiet godīgu, nepietiekamu, akadēmisku valodu.
3) Reproducējamības pārbaude:
Es aprakstu savu pētniecības procesu: [kopsavilkums]. Vai cits pētnieks var to atveidot? Uzskaitiet nedokumentētus, neskaidrus vai neizsekojamus soļus: kādi dati, kura transformācija, kura uzvedne, kāda lēmuma trūkst? Pastāstiet man, ko ierakstīt katrai vietai.
4) Datu izcelsmes karte:
Uzskaitiet visus transformācijas posmus no neapstrādātiem datiem līdz manam galīgajam atradumam kā plūsmu: neapstrādāti dati → tīrīšana → kodēšana → analīze → atrašana. Parādiet, kas tika darīts katrā solī, ar kādu rīku un ar kādu lēmumu. Atzīmējiet neizsekojamo soli. Process: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Vienā rindkopā ierakstiet šīs analīzes metodi.
AI izveido vispārīgas metodes rindkopu, nedokumentējot procesu; Joprojām nav skaidrs, kā tika pieņemts lēmums un kur tika izmantots AI. Tas nav ražojams.
Spēcīga uzvedne:
Uzrakstiet metodes sadaļai producējamu aprakstu. Izmantojiet šādu informāciju: datu avots [x], paraugs [y], analīzes soļi [z], manis izmantotais AI modelis un tā datums [t], precīza AI [r] loma, cilvēka verifikācijas process [d]. Uzrakstiet pietiekami konkrēti, lai kāds cits varētu veikt šīs darbības un tās atkārtot. Jautājiet man visu informāciju, ko es atstāju.
Atšķirība: otrā pieeja padara procesu konkrētu, izsekojamu un patiesi reproducējamu.
Caurspīdības slāņi
slānis
Kas ir dokumentēts
Kāpēc tas ir svarīgi?
lēmumu dienasgrāmata
Metodiskie lēmumi + pamatojums
aizstāv tiesu varu
Ātra reģistrācija
Uzvedne lietota, modelis, datums
Padara AI izsekojamu
Datu izcelsme
Neapstrādāti → apstrādāti reklāmguvumi
atver soļus
AI paziņojums
AI loma un ierobežojums
godīgums
koplietošana
Anonīmi dati + kods
Pilnīga caurspīdīgums
Biežas kļūdas
- Uzvednes netiek saglabātas. Ja jūs nesaglabājat izmantotās instrukcijas, jūs nevarat demonstrēt procesu.
- Tas nozīmē "AI tā teica." Zinātniskais pamatojums ir process un spriedums, nevis modeļa vārds.
- Neapstrādāto datu pārrakstīšana. Saglabājiet oriģinālu; Padariet reklāmguvumus atsevišķus un dokumentētus.
- AI izmantošanas slēpšana. Caurspīdīgs paziņojums veido uzticību; Slēpšanās izraisa reputācijas zaudēšanu.
- Atstājot to neražojamu pat sev. Darbs, ko pēc 6 mēnešiem vairs nevar izdarīt, nav zinātne.
Rezumējot
Reproducējamība un caurspīdīgums pārvērš pētījumu no viena cilvēka vārda par zinātni, ko ikviens var pārbaudīt. Tas ir vēl svarīgāk, strādājot ar AI, jo, ja modeļa lēmumi netiek ievēroti, process kļūst par melno kasti. Saglabājiet lēmumu žurnālu, ierakstiet uzvednes un modeļu informāciju, atdaliet neapstrādātus datus no apstrādātajiem, godīgi deklarējiet AI lomu un kopīgojiet datus un kodu, kad to atļauj ētika. Pētījums, kas iztur testu "Vai es varu atražot sevi pēc 6 mēnešiem", ir uzticams arī citiem.
Lietojumprogrammas uzdevums
Nelielai analīzei, ko veicat vai plānojat, ierakstiet vismaz 5 metodiskos lēmumus ar pamatojumu, izmantojot "lēmumu žurnāla veidni". Saglabājiet izmantotās uzvednes, modeli un datumu atsevišķā failā. Pēc tam izmantojiet “reproducējamības audita” veidni, lai AI atrastu jūsu procesā nedokumentētas nepilnības un novērstu katru. Visbeidzot uzrakstiet “AI lietošanas paziņojuma” izklāstu un caurspīdīgu rindkopu, kas jāievieto metožu sadaļā.
kontrolsaraksts
- [ ] Katra svarīgā metodiskā lēmuma pamatojumu rakstīju žurnālā.
- [ ] Es ierakstīju izmantotās uzvednes, modeli un datumu.
- [ ] Es saglabāju izejas datus nemainīgus un dokumentēju transformācijas.
- [ ] Metožu sadaļā es godīgi deklarēju AI lomu.
- [ ] Es izmantoju testu "Vai es varu pavairot pēc 6 mēnešiem".