Kasu:
- Oskus muuta uurimistöö jälgitavaks metoodiliste otsuste, viipade ja mudeliteabe salvestamise teel
- Võimalus eraldada töötlemata andmed töödeldud andmetest ja dokumenteerida kõik teisendusetapid
- Võimalus läbipaistvalt deklareerida tehisintellekti rolli meetodi jaotises ja rakendada testi "kas see on reprodutseeritav"
Teaduse kõige fundamentaalsem tunnus on see, et leid ei põhine üheainsa inimese sõnal, vaid protsessil, mida saavad kontrollida teised. Reprodutseeritavus on teise teadlase võime, võttes arvesse uuringu andmeid ja meetodit, jõuda samu samme järgides sama tulemuseni. Sarnane mõiste on läbipaistvus: uurija dokumenteerib selgelt, mida ta tegi ja miks ta millise otsuse tegi. AI ajastul on need kaks kontseptsiooni muutunud nii lihtsamaks kui ka kriitilisemaks. Lihtne, sest AI aitab protsesse dokumenteerida; kriitiline, sest kui te ei jäta AI otsustest jälgegi, ei saa keegi – isegi mitte teie – teie tööd reprodutseerida. Selles üksuses saate teada, kuidas muuta oma uurimused reprodutseeritavaks ja läbipaistvaks.
Probleemi tuum on järgmine: tehisintellektiga töötades teete palju väikeseid otsuseid – millist viipa kasutasite, millist mudelit, milliseid sätteid, millise väljundi aktsepteerisite ja mille tagasi lükkate. Kui neid otsuseid ei dokumenteerita, võite saada erineva väljundi, kui käivitate sama viipa teisel päeval (keelemudelid ei anna iga kord täpselt sama vastust). Kui arvustaja või kolleeg küsib "kuidas te selle teema analüüsini jõudsite", ei ole "AI ütles nii" teaduslik vastus. Läbipaistvus seisneb just selle "musta kasti" avamises ja protsessi jälgitavaks muutmises.
Samm-sammult: jälgitava uuringu loomine
1. Pea otsuste päevikut. Kirjutage kuupäevaga päevikusse kõik olulised metoodilised otsused – miks see näidis, miks see kood, miks võtsite selle tehisintellekti ettepaneku vastu. AI aitab seda logi korraldada.
2. Salvestage juhised ja mudeliteave. Pidage meeles iga kasutatud viip, millisel tehisintellekti mudelil seda kasutasite ja mis kuupäeval. See on teie töö materjalide loend.
3. Eraldage algandmed töödeldud andmetest. Hoidke algandmed muutmata; tehke kõik teisendused (puhastamine, kodeerimine) eraldi dokumenteeritud sammudega. Nii et kõik saavad vaadata algusest peale.
4. Kirjutage selgelt AI roll. Meetodi jaotises öelge ausalt, millistes ülesannetes ja kuidas kasutasite tehisintellekti. Enamik ajakirju ja asutusi nõuab seda nüüd.
5. Võimalusel jagage andmeid ja koodi. Kui eetika ja privaatsus seda võimaldavad, on anonüümsete andmete ja analüüsikoodi jagamine avatud hoidlates läbipaistvuse tipp.
Näpunäide: lihtne test: "Kas ma saan seda uuringut 6 kuu pärast uuesti teha?" Kui te pole oma juhiseid, otsuseid ja samme dokumenteerinud, on vastus tõenäoliselt "ei". Tehke see enda jaoks toodetavaks; Siis juhtub see ka kellegi teisega.
kolm minikarpi
Juhtum 1 – Traceless analüüs kukkus kokku. Üks teadlane tegi AI-ga teemaanalüüsi, kuid ei registreerinud, millist viipa ta kasutas. Kui kohtunik küsis "kuidas te nende teemadeni jõudsite?" ta ei saanud protsessi näidata; Ta pidi analüüsi uuesti kordama, seekord pidama päevikut. Ta kaotas kaks nädalat.
Juhtum 2 – otsuste logi lõpetab arutelu. Ühes meeskonnas tekkis lahkarvamus, mis küsis "miks me need koodid kombineerisime?" Kuid otsuste logis oli iga ühinemisotsuse kuupäev ja põhjendus. Vaidlus lahenes mõne minuti jooksul, kui AI tegi logist kokkuvõtte ja kuvas selle kronoloogiliselt.
Juhtum 3 – läbipaistev avalikustamine suurendas usaldust. Ühes artiklis kirjutasid autorid selgesõnaliselt, et kasutasime AI-d "transkriptsiooni redigeerimiseks ja esialgseks koodi soovitamiseks, kusjuures kaks teadlast kontrollisid kõiki koode käsitsi." Arvustajad leidsid, et see läbipaistvus on positiivne; Leiti, et see on palju usaldusväärsem kui varjatud AI kasutamine.
Neli kopeeritavat malli
1) Otsuste logi mall:
Koostage metoodiline otsuste logi tabel. Veerud: kuupäev, otsus, põhjendus, alternatiivid, tehisintellekti roll (kui on), kes selle heaks kiitis. Sisestage sellesse tabelisse minu allolevad otsused ja märkige puuduvad põhjendused kui "tuleb täita". Märkused: [siin]
2) AI kasutamise avalduse mustand:
Koostage lõik, mis selgitab läbipaistvalt AI kasutamist meetodite jaotisesse. Kasutasin seda järgmistes ülesannetes: [loend]. Ma EI kasutanud seda järgmistes ülesannetes: [loend]. Kontrollisin kõiki väljundeid käsitsi. Mudel ja kuupäev: [x]. Kasutage ausat, alahinnatud, akadeemilist keelt.
3) Reprodutseeritavuse kontroll:
Kirjeldan oma uurimisprotsessi: [kokkuvõte]. Kas teine teadlane suudab seda reprodutseerida? Loetlege dokumenteerimata, ebaselged või jälgimatud sammud: millised andmed, milline teisendus, milline viip, milline otsus puudub? Öelge mulle, mida iga ruumi jaoks salvestada.
4) Andmete päritolukaart:
Loetlege voona kõik teisenduse etapid algandmetest minu lõpliku leiuni: algandmed → puhastamine → kodeerimine → analüüs → leidmine. Näidake, mida igal sammul tehti, millise tööriistaga ja millise otsusega. Märkige jälgimatu samm. Protsess: [siin]
Nõrk viip / Tugev viip
Nõrk viip:
Kirjutage selle analüüsi meetod ühes lõigus.
AI koostab üldise meetodi lõigu ilma protsessi dokumenteerimata; Kuidas otsus tehti ja kus tehisintellekti kasutati, jääb ebaselgeks. Seda ei saa valmistada.
Võimas viip:
Kirjutage meetodi jaotise jaoks toodetav kirjeldus. Kasutage järgmist teavet: andmeallikas [x], proov [y], analüüsietapid [z], kasutatud tehisintellekti mudel ja selle kuupäev [t], tehisintellekti täpne roll [r], inimese kontrollimise protsess [d]. Kirjutage piisavalt täpselt, et keegi teine saaks neid samme järgida ja neid reprodutseerida. Küsige minult teavet, mille ma välja jätsin.
Erinevus: teine lähenemisviis muudab protsessi konkreetseks, jälgitavaks ja tõeliselt reprodutseeritavaks.
Läbipaistvuskihid
kiht
Mis on dokumenteeritud
Miks see oluline on?
otsuste päevik
Metoodilised otsused + põhjendus
kaitseb kohtusüsteemi
Kiire registreerimine
Viip kasutatud, mudel, kuupäev
Muudab AI jälgitavaks
Andmete päritolu
Toores → töödeldud konversioonid
avab sammud
AI avaldus
AI roll ja piir
ausus
jagamine
Anonüümsed andmed + kood
Ülim läbipaistvus
Levinud vead
- Viipasid ei salvestata. Kui te ei järgi kasutatud juhiseid, ei saa te protsessi demonstreerida.
- See tähendab "AI ütles nii." Teaduslik põhjendus on protsess ja otsustus, mitte mudeli sõna.
- Algandmete ülekirjutamine. Hoidke originaal; Muutke teisendused eraldi ja dokumenteerige.
- AI kasutamise peitmine. Läbipaistev avaldus suurendab usaldust; Varjamine põhjustab maine kaotust.
- Jättes selle isegi enda jaoks tootmatuks. Töö, mida te 6 kuu pärast enam teha ei saa, pole teadus.
Kokkuvõttes
Reprodutseeritavus ja läbipaistvus muudavad uuringu ühe inimese sõnast teaduseks, mida igaüks saab testida. Tehisintellektiga töötamisel on see veelgi kriitilisem, sest kui mudeli otsuseid ei järgita, muutub protsess mustaks kastiks. Pidage otsuste logi, salvestage viipasid ja mudeliteavet, eraldage töötlemata andmed töödeldud andmetest, deklareerige ausalt tehisintellekti rolli ning jagage andmeid ja koodi, kui eetika seda lubab. Uuring, mis läbib testi "Kas ma suudan end 6 kuu pärast paljundada", on usaldusväärne ka teiste jaoks.
Rakenduse ülesanne
Väikese analüüsi jaoks, mida teete või plaanite, salvestage "otsuste päeviku malliga" vähemalt 5 metoodilist otsust koos põhjendustega. Hoidke kasutatavad viibad, mudel ja kuupäev eraldi failis. Seejärel kasutage „reprodutseeritavuse auditi” malli, et tehisintellekt leiaks teie protsessis dokumenteerimata lüngad ja sulgeks kõik lüngad. Lõpuks kirjutage AI kasutamise avalduse ülevaade ja läbipaistev lõik, mis tuleb paigutada meetodite jaotisesse.
kontrollnimekiri
- [ ] Kirjutasin ajakirjasse iga olulise metoodilise otsuse põhjendused.
- [ ] Salvestasin kasutatud viipad, mudeli ja kuupäeva.
- [ ] Hoidsin algandmed muutmata ja dokumenteerisin teisendused.
- [ ] Deklareerisin tehisintellekti rolli ausalt meetodite osas.
- [ ] Rakendasin testi "Kas ma saan paljuneda 6 kuu pärast".