Voitot:
- Kyky tehdä tutkimusta jäljitettäväksi tallentamalla metodologiset päätökset, kehotteet ja mallitiedot
- Kyky erottaa raakadata käsitellyistä tiedoista ja dokumentoida kaikki muunnosvaiheet
- Kyky ilmoittaa avoimesti tekoälyn roolia menetelmäosiossa ja soveltaa "voiko se olla toistettava" -testiä
Tieteen perustavanlaatuisin piirre on, että havainto ei perustu yksittäisen henkilön sanaan, vaan prosessiin, jonka muut voivat todentaa. Uusittavuus on toisen tutkijan kykyä ottamalla tutkimuksen data ja menetelmä saavuttaa sama tulos samoilla vaiheilla. Samanlainen käsite on läpinäkyvyys: tutkija dokumentoi selkeästi, mitä hän teki ja miksi hän teki minkäkin päätöksen. Tekoälyn aikakaudella näistä kahdesta käsitteestä on tullut sekä helpompaa että kriittisempää. Helppoa, koska tekoäly auttaa dokumentointiprosesseja; kriittinen, sillä jos et jätä jälkeäkään tekoälyn päätöksistä, kukaan – et edes sinä – voi toistaa työtäsi. Tässä osiossa opit tekemään tutkimuksestasi toistettavan ja läpinäkyvän.
Ongelman ydin on tämä: Kun työskentelet tekoälyn kanssa, teet paljon pieniä päätöksiä – mitä kehotteita käytit, mitä mallia, mitkä asetukset, minkä lähdön hyväksyit ja mitkä hylkäsit. Jos näitä päätöksiä ei dokumentoida, saatat saada eri tulosteen, kun suoritat saman kehotteen eri päivänä (kielimallit eivät anna täsmälleen samaa vastausta joka kerta). Kun arvioija tai kollega kysyy "miten päädyit tähän teemaanalyysiin", "AI sanoi niin" ei ole tieteellinen vastaus. Avoimuus tarkoittaa nimenomaan tämän "mustan laatikon" avaamista ja prosessin jäljitettävyyttä.
Askel askeleelta: jäljitettävän tutkimuksen perustaminen
1. Pidä päätöspäiväkirjaa. Kirjoita kaikki tärkeät metodologiset päätökset - miksi tämä näyte, miksi tämä koodi, miksi hyväksyit tämän tekoälyehdotuksen - päivättyyn päiväkirjaan. AI auttaa järjestämään tämän lokin.
2. Tallenna kehotteet ja mallitiedot. Pidä kirjaa kaikista käyttämistäsi kehotteista, millä tekoälymallilla suoritit sen ja minä päivänä. Tämä on työsi "materiaaliluettelo".
3. Erota raakatiedot käsitellyistä tiedoista. Pidä alkuperäiset tiedot ennallaan; tee kaikki muunnokset (puhdistus, koodaus) erikseen dokumentoiduilla vaiheilla. Joten kaikki voivat katsoa alusta alkaen.
4. Kirjoita selvästi tekoälyn rooli. Kerro menetelmäosiossa rehellisesti, missä tehtävissä ja miten käytit tekoälyä. Useimmat lehdet ja laitokset vaativat nyt tätä.
5. Jaa tiedot ja koodi, jos mahdollista. Kun etiikka ja yksityisyys sen sallivat, anonymisoitujen tietojen ja analytiikkakoodin jakaminen avoimissa arkistoissa on läpinäkyvyyden huippu.
Vinkki: Yksinkertainen testi: "Voinko tehdä tämän tutkimuksen itse uudelleen 6 kuukauden kuluttua?" Jos et ole dokumentoinut kehotuksiasi, päätöksiäsi ja vaiheitasi, vastaus on todennäköisesti "ei". Tee siitä itse tuotettava; Sitten se tapahtuu myös jollekin muulle.
kolme minilaukkua
Tapaus 1 – Traceless-analyysi romahti. Yksi tutkija teki teema-analyysin tekoälyllä, mutta ei kirjannut, mitä kehotetta hän käytti. Kun erotuomari kysyi "miten päädyit näihin teemoihin?" hän ei voinut näyttää prosessia; Hänen täytyi toistaa analyysi uudestaan ja tällä kertaa pitää päiväkirjaa. Hän menetti kaksi viikkoa.
Tapaus 2 – Päätösloki päättää keskustelun. Ryhmässä syntyi erimielisyyttä, joka kysyi "miksi yhdistimme nämä koodit?" Mutta päätösloki sisälsi jokaisen sulautumispäätöksen päivämäärän ja perustelun. Väite ratkesi muutamassa minuutissa, kun tekoäly teki yhteenvedon lokista ja näytti sen kronologisesti.
Tapaus 3 – Läpinäkyvä julkistaminen loi luottamusta. Yhdessä artikkelissa kirjoittajat kirjoittivat nimenomaisesti, että käytimme tekoälyä "transkription muokkaukseen ja alkuperäiseen koodiehdotukseen, kun kaksi tutkijaa varmisti manuaalisesti kaikki koodit". Arvostelijat pitivät tätä läpinäkyvyyttä myönteisenä; Sen havaittiin olevan paljon luotettavampi kuin peitetyn tekoälyn käyttäminen.
Neljä kopioitavaa mallia
1) Päätöslokimalli:
Luo metodologinen päätöslokitaulukko. Sarakkeet: päivämäärä, päätös, perustelut, vaihtoehdot, tekoälyn rooli (jos sellainen on), sen hyväksyjä. Lisää alla olevat päätökseni tähän taulukkoon ja merkitse puuttuviin perusteluihin "täytyttävä". Huomautuksia: [täällä]
2) AI-käyttölausunto:
Laadi kappale, joka selittää avoimesti tekoälyn käytön menetelmäosaan. Käytin sitä näissä tehtävissä: [lista]. EN käyttänyt sitä seuraavissa tehtävissä: [luettelo]. Tarkistin kaikki lähdöt manuaalisesti. Malli ja päivämäärä: [x]. Käytä rehellistä, hillittyä, akateemista kieltä.
3) Uusittavuuden tarkastus:
Kuvailen tutkimusprosessiani: [yhteenveto]. Voiko toinen tutkija toistaa tämän? Listaa dokumentoimattomat, epäselvät tai jäljittämättömät vaiheet: mitkä tiedot, mikä muunnos, mikä kehote, mikä päätös puuttuu? Kerro minulle, mitä kuhunkin tilaan tallennetaan.
4) Tietojen alkuperäkartta:
Listaa kaikki muunnosvaiheet raakatiedoista lopulliseen löydööni virtana: raakadata → puhdistus → koodaus → analyysi → etsintä. Näytä, mitä jokaisessa vaiheessa tehtiin, millä työkalulla ja millä päätöksellä. Merkitse jäljittämätön vaihe. Prosessi: [täällä]
Heikko kehote / Vahva kehote
Heikko kehote:
Kirjoita tämän analyysin menetelmä yhteen kappaleeseen.
AI tuottaa yleisen menetelmäkappaleen dokumentoimatta prosessia; Miten päätös tehtiin ja missä tekoälyä käytettiin, on edelleen epäselvä. Tämä ei ole valmistettava.
Tehokas kehotus:
Kirjoita menetelmäosalle tuotekuvaus. Käytä seuraavia tietoja: tietolähde [x], näyte [y], analyysivaiheet [z], käyttämäni tekoälymalli ja sen päivämäärä [t], tekoälyn tarkka rooli [r], ihmisen varmistusprosessi [d]. Kirjoita tarpeeksi konkreettisesti, jotta joku muu voi seurata näitä vaiheita ja toistaa ne. Kysy minulta tietoja, jotka jätin pois.
Ero: toinen lähestymistapa tekee prosessista konkreettisen, jäljitettävän ja todella toistettavan.
Läpinäkyvyyskerrokset
kerros
Mikä on dokumentoitu
Miksi se on tärkeää?
päätöspäiväkirja
Metodologiset päätökset + perustelut
puolustaa oikeuslaitosta
Nopea rekisteröinti
Käytetty, malli, päivämäärä
Tekee tekoälystä selvitettävän
Tietojen alkuperä
Raaka → käsitellyt konversiot
avaa portaat
AI lausunto
Tekoälyn rooli ja raja
rehellisyys
jakaminen
Anonyymit tiedot + koodi
Äärimmäistä läpinäkyvyyttä
Yleisiä virheitä
- Ei tallenneta kehotteita. Jos et säilytä käyttämääsi ohjetta, et voi esitellä prosessia.
- Se tarkoittaa "AI sanoi niin." Tieteellinen perustelu on prosessia ja tuomiota, ei mallin sanaa.
- Raakatietojen päällekirjoittaminen. Säilytä alkuperäinen; Tee muunnokset erillisiksi ja dokumentoiduiksi.
- Tekoälyn käytön piilottaminen. Läpinäkyvä lausunto rakentaa luottamusta; Piilostuminen johtaa maineen menettämiseen.
- Jättää sen tuottamattomaksi jopa itsellesi. Työ, jota et voi tehdä uudelleen 6 kuukauden jälkeen, ei ole tiedettä.
Yhteenvetona
Uusittavuus ja läpinäkyvyys muuttavat tutkimuksen yhden henkilön sanasta tieteeksi, jota kuka tahansa voi testata. Tämä on vielä tärkeämpää tekoälyn kanssa työskennellessä, koska jos mallin päätöksiä ei noudateta, prosessista tulee musta laatikko. Pidä päätöslokia, tallenna kehotteita ja mallitietoja, erota raakadata käsitellyistä, ilmoita tekoälyn rooli rehellisesti ja jaa tietoja ja koodia, kun etiikka sen sallii. Tutkimus, joka läpäisee "Voinko lisääntyä 6 kuukauden jälkeen" -testin, on luotettava myös muille.
Sovellustehtävä
Kirjoita tekemäsi tai suunnittelemasi pieneen analyysiin vähintään 5 metodologista päätöstä perusteluineen "päätöspäiväkirjamallilla". Säilytä käyttämäsi kehotteet, malli ja päivämäärä erillisessä tiedostossa. Käytä sitten "toistettavuustarkastus" -mallia saadaksesi tekoälyn löytämään dokumentoimattomat aukot prosessissasi ja sulkemaan jokainen aukko. Kirjoita lopuksi ääriviivat "AI use -lauseesta" ja läpinäkyvä kappale, joka sijoitetaan menetelmäosaan.
tarkistuslista
- [ ] Kirjoitin jokaisen tärkeän metodologisen päätöksen syyt päiväkirjaan.
- [ ] Tallensin käyttämäni kehotteet, mallin ja päivämäärän.
- [ ] Pidin raakatiedot ennallaan ja dokumentoin muunnokset.
- [ ] Ilmoitin tekoälyn roolin rehellisesti menetelmäosiossa.
- [ ] Käytin "Voinko lisääntyä 6 kuukauden kuluttua" -testiä.