Pelnas:
- Gebėjimas padaryti tyrimą atsekamu registruojant metodinius sprendimus, raginimus ir modelio informaciją
- Galimybė atskirti neapdorotus duomenis nuo apdorotų duomenų ir dokumentuoti visus konversijos veiksmus
- Gebėjimas metodų skyriuje skaidriai deklaruoti dirbtinio intelekto vaidmenį ir taikyti testą „ar jis gali būti atkuriamas“
Svarbiausias mokslo bruožas yra tas, kad radinys grindžiamas ne vieno žmogaus žodžiu, o procesu, kurį gali patikrinti kiti. Atkuriamumas – tai kito tyrėjo, pasinaudojant tyrimo duomenimis ir metodu, galimybė pasiekti tą patį rezultatą atliekant tuos pačius veiksmus. Panaši sąvoka yra ir skaidrumas: tyrėjas aiškiai dokumentuoja, ką padarė ir kodėl kokį sprendimą priėmė. AI amžiuje šios dvi sąvokos tapo lengvesnės ir kritiškesnės. Lengva, nes AI padeda dokumentuoti procesus; kritinis, nes jei nepaliksite AI sprendimų pėdsakų, niekas – net jūs – negalės atkurti jūsų darbo. Šiame skyriuje sužinosite, kaip padaryti savo tyrimą atkuriamą ir skaidrų.
Problemos esmė yra tokia: kai dirbate su AI, priimate daug mažų sprendimų – kurį raginimą naudojote, kurį modelį, kokius nustatymus, kurį išvestį priėmėte ir kurią atmetėte. Jei šie sprendimai nėra dokumentuoti, galite gauti skirtingą išvestį, kai paleidžiate tą patį raginimą kitą dieną (kalbos modeliai ne kiekvieną kartą pateikia tiksliai tą patį atsakymą). Kai recenzentas ar kolega klausia „kaip jūs priėjote prie šios temos analizės“, „AI taip pasakė“ nėra mokslinis atsakymas. Skaidrumas yra būtent šios „juodosios dėžės“ atidarymas ir proceso atsekimas.
Žingsnis po žingsnio: atsekamo tyrimo nustatymas
1. Veskite sprendimų dienoraštį. Užrašykite kiekvieną svarbų metodinį sprendimą – kodėl šis pavyzdys, kodėl šis kodas, kodėl priėmėte šį AI pasiūlymą – žurnale su data. AI padeda tvarkyti šį žurnalą.
2. Išsaugokite raginimus ir modelio informaciją. Užsirašykite kiekvieną raginimą, kurį naudojote, pagal kurį AI modelį jį paleidote ir kurią datą. Tai yra jūsų darbo „medžiagų sąrašas“.
3. Atskirkite neapdorotus duomenis nuo apdorotų duomenų. Išsaugoti originalius duomenis nepakeistus; atlikti visas konversijas (valymas, kodavimas) atskirai su dokumentuotais veiksmais. Taigi visi gali žiūrėti nuo pat pradžių.
4. Aiškiai parašykite AI vaidmenį. Metodų skiltyje sąžiningai nurodykite, kuriose užduotyse ir kaip naudojote AI. Dabar to reikalauja dauguma žurnalų ir institucijų.
5. Jei įmanoma, pasidalykite duomenimis ir kodu. Kai leidžia etika ir privatumas, dalijimasis anoniminiais duomenimis ir analizės kodu atvirose saugyklose yra skaidrumo viršūnė.
Patarimas: paprastas testas: „Ar galiu pats atlikti šį tyrimą po 6 mėnesių?“ Jei neužfiksavote savo raginimų, sprendimų ir veiksmų, atsakymas greičiausiai yra „ne“. Padarykite jį gaminamą patiems; Tada taip nutinka ir kam nors kitam.
trys mini dėklai
1 atvejis – be pėdsakų analizė žlugo. Vienas tyrėjas atliko temos analizę su AI, bet neįrašė, kurį raginimą naudojo. Kai teisėjas paklausė „kaip jūs atėjote į šias temas? jis negalėjo parodyti proceso; Jis turėjo kartoti analizę iš naujo, šį kartą rašydamas dienoraštį. Jis prarado dvi savaites.
2 atvejis – sprendimų žurnalas baigia diskusiją. Komandoje kilo nesutarimas, klausiant „kodėl mes sujungėme šiuos kodus? Tačiau sprendimų žurnale buvo nurodyta kiekvieno sprendimo dėl susijungimo data ir pagrindimas. Ginčas buvo išspręstas per kelias minutes, kai AI apibendrino žurnalą ir parodė jį chronologiškai.
3 atvejis. Skaidrus atskleidimas sukūrė pasitikėjimą. Viename straipsnyje autoriai aiškiai rašė, kad AI naudojome „nuorašo redagavimui ir pradiniam kodo pasiūlymui, o du tyrėjai rankiniu būdu patikrino visus kodus“. Recenzentai šį skaidrumą įvertino teigiamai; Buvo nustatyta, kad jis yra daug patikimesnis nei naudojant paslėptą AI.
Keturi kopijuojami šablonai
1) Sprendimų žurnalo šablonas:
Sukurkite metodinę sprendimų žurnalo lentelę. Stulpeliai: data, sprendimas, loginis pagrindas, alternatyvos, AI vaidmuo (jei yra), kas jį patvirtino. Į šią lentelę įterpkite mano sprendimo pastabas ir pažymėkite visus trūkstamus pagrindimus kaip „būtina užpildyti“. Pastabos: [čia]
2) AI naudojimo pareiškimo projektas:
Sukurkite pastraipą, kurioje aiškiai paaiškinama, kaip AI naudoju, kad įtraukčiau į metodų skyrių. Naudojau jį atliekant šias užduotis: [sąrašas]. Aš jo nenaudojau atliekant šias užduotis: [sąrašas]. Aš patikrinau visus išėjimus rankiniu būdu. Modelis ir data: [x]. Vartokite sąžiningą, neįvertintą, akademinę kalbą.
3) Atkuriamumo patikrinimas:
Aprašau savo tyrimo procesą: [santrauka]. Ar kitas tyrėjas gali tai atkurti? Išvardykite nedokumentuotus, neaiškius ar neatsekamus veiksmus: kokių duomenų, kurios transformacijos, kurios sufleruoja, kokio sprendimo trūksta? Pasakykite man, ką įrašyti kiekvienai erdvei.
4) Duomenų kilmės žemėlapis:
Išvardykite visus transformacijos etapus nuo neapdorotų duomenų iki mano galutinio atradimo kaip srautą: neapdoroti duomenys → valymas → kodavimas → analizė → radimas. Parodykite, kas buvo padaryta kiekviename žingsnyje, kokiu įrankiu ir kokiu sprendimu. Pažymėkite nesekamą žingsnį. Procesas: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Vienoje pastraipoje parašykite šios analizės metodą.
AI sukuria bendro metodo pastraipą nedokumentuodamas proceso; Kaip buvo priimtas sprendimas ir kur buvo panaudotas AI, lieka neaišku. Tai nėra gaminama.
Galingas raginimas:
Parašykite gamybinį metodo skyriaus aprašymą. Naudokite šią informaciją: duomenų šaltinis [x], pavyzdys [y], analizės žingsniai [z], mano naudojamas AI modelis ir jo data [t], tikslus AI [r] vaidmuo, žmogaus patikrinimo procesas [d]. Parašykite pakankamai konkrečiai, kad kas nors kitas galėtų atlikti šiuos veiksmus ir juos atkurti. Paklauskite manęs bet kokios informacijos, kurią praleidau.
Skirtumas: pagal antrąjį metodą procesas tampa konkretus, atsekamas ir tikrai atkuriamas.
Skaidrumo sluoksniai
sluoksnis
Kas yra dokumentuota
Kodėl tai svarbu?
sprendimų dienoraštis
Metodiniai sprendimai + pagrindimas
gina teismų sistemą
Greita registracija
Ragina naudota, modelis, data
Padaro AI kontroliuojamą
Duomenų kilmė
Neapdorotos → apdorotos konversijos
atidaro žingsnius
AI pareiškimas
AI vaidmuo ir riba
sąžiningumas
dalijimasis
Anoniminiai duomenys + kodas
Didžiausias skaidrumas
Dažnos klaidos
- Neišsaugomi raginimai. Jei nesilaikysite naudotos instrukcijos, negalėsite parodyti proceso.
- Tai reiškia "AI taip pasakė". Mokslinis pagrindimas yra procesas ir sprendimas, o ne modelio žodis.
- Neapdorotų duomenų perrašymas. Išsaugokite originalą; Konversijas padarykite atskirai ir dokumentuokite.
- AI naudojimo slėpimas. Skaidrus pareiškimas stiprina pasitikėjimą; Slapstymasis praranda reputaciją.
- Palikti negaminamą net sau. Darbas, kurio nebegali atlikti po 6 mėnesių, nėra mokslas.
Apibendrinant
Atkuriamumas ir skaidrumas paverčia tyrimą iš vieno žmogaus žodžio į mokslą, kurį gali išbandyti bet kas. Tai dar svarbiau dirbant su AI, nes jei nesilaikoma modelio sprendimų, procesas tampa juodąja dėže. Laikykite sprendimų žurnalą, įrašykite raginimus ir modelio informaciją, atskirkite neapdorotus duomenis nuo apdorotų, sąžiningai deklaruokite AI vaidmenį ir, kai leidžia etika, bendrinkite duomenis ir kodą. Tyrimas, kuris išlaiko testą „Ar galiu padauginti save po 6 mėnesių“, yra patikimas ir kitiems.
Taikymo užduotis
Nedidelei analizei, kurią atliekate ar planuojate, „sprendimų žurnalo šablonu“ įrašykite bent 5 metodinius sprendimus su pagrindimu. Išsaugokite naudojamus raginimus, modelį ir datą atskirame faile. Tada naudokite „atkuriamumo audito“ šabloną, kad dirbtinis intelektas surastų dokumentais nepatvirtintas jūsų proceso spragas ir pašalintų kiekvieną spragą. Galiausiai parašykite „AI naudojimo pareiškimo“ metmenis ir skaidrią pastraipą, kurią norite įdėti į metodų skyrių.
kontrolinis sąrašas
- [ ] Kiekvieno svarbaus metodinio sprendimo motyvus rašiau žurnale.
- [ ] Įrašiau naudotus raginimus, modelį ir datą.
- [ ] Aš nepakeitiau neapdorotų duomenų ir dokumentavau transformacijas.
- [ ] Metodų skiltyje sąžiningai deklaravau AI vaidmenį.
- [ ] Pritaikiau testą „Ar galiu daugintis po 6 mėnesių“.