Üksus 1 / 11

Tehisintellekt akadeemilises uurimistöös: rollid, piirid, valideerimine ja akadeemiline terviklikkus

Kasu:

  • Võimalus eristada, kus tehisintellekt säästab reaalaega akadeemilise uurimistöö töövoos (kirjandus, disain, analüüs, kirjutamine) ning kus teaduslik hinnang ja vastutus jääb teadlasele vastavalt ülesande riskitasemele
  • Oskus rakendada distsipliini, mis seob ja kontrollib iga tehisintellekti väljundit allikaga ning mõista hallutsinatsioonide (fabritseeritud) omistamise probleemi, mis on akadeemia kõige kriitilisem risk.
  • Võimalus võtta kasutusele kasutusraamistik, mis on kooskõlas institutsionaalsete ja ajakirjade tehisintellekti kasutamise põhimõtetega, akadeemilise aususe ja läbipaistvuse põhimõtetega.

Teadlase töö hõlmab palju rohkem kirjutamist, lugemist ja toimetamist, kui tundub: sadade artiklite skannimine, kokkuvõtete tegemine, uurimisküsimuse lihvimine, meetodite kujundamine, andmete analüüsimine, tulemuste transkribeerimine, tsitaatide vormistamine, ajakirjade valimine, retsensendi kommentaaridele vastamine. Suur osa sellest tööst on korduv, aeganõudev ja häirib; See varastab tõeliselt väärtuslikku, originaalset mõtlemist ja tõlgendusi. Tehisintellekt (AI) – arvutiprogrammid, mis suudavad mõista inimkeelt ja toota väljundit, nagu tekst, kokkuvõtted, kood, mustandid jne – on võimas abivahend selle korduva koormuse kiirendamiseks. Kogu selles moodulis ei pea me tehisintellekti maagiliseks teabeallikaks; Õpime seda kasutama uurimisassistendina, kavandite tegemisel, ideede andmisel ja toimetamisel.

Aga paneme kohe algusest peale kõige olulisem akadeemilisele ringkonnale omane lause: AI ei tee uurija asemel teaduslikke otsuseid; koostab eelnõu, teaduslik hinnang ja vastutus on teadlasel. Akadeemilistes ringkondades on see reegel isegi karmim kui teistel erialadel, sest teaduse valuuta on usaldus ja selle usalduse aluseks on see, et iga väide on seotud kontrollitava allikaga.

See esimene üksus loob kolm alust: teha vahet, kus tehisintellekt töötab ja kuhu see peaks jääma teadustöö töövoos; iga väljundi kontrollimine; Võtta omaks akadeemilise aususe ja läbipaistvuse põhimõte. Need kolm on kõigi järgnevate üksuste turvalisuse alus.

Kust hoiab tehisintellekt aega kokku, kus langeb otsus teadlasele?

See aitab mõelda uurimisülesannetele riskitasemest lähtuvalt. Riskitase on see, kui palju kahju see valesti tehes teaduslikele andmetele põhjustaks.

Madala riskiga ülesanded, mida tehisintellekt oluliselt kiirendab: Otsingustrateegia genereerimine (märksõna, sünonüüm), pika teksti esialgse kokkuvõtte tegemine, lõigu keele lihtsustamine, tabeli pealkirja soovitamine, ajurünnak, kontseptsiooni erineval viisil selgitamine, konspekti struktuuri väljamõtlemine. Siin lahendab AI "tühja lehe" probleemi; parandate, kontrollite ja rikastate.

Keskmise riskiga tehisintellekti loodud ülesanded, mis nõuavad ranget kontrollimist: statistilise testi valiku soovitus, koodi mustand, tsitaadi vorming, leiu tõlgenduse mustand, meetodi valikute võrdlus. Siin annab AI kiiruse, kuid iga number, iga silt, iga loogikasamm tuleb käsitsi kinnitada.

Kõrge riskiga ülesanded, mille puhul otsustamine on jäetud ainult uurijale: hüpoteesi ja meetodi lõplik kindlaksmääramine, andmete tähenduse üle otsustamine, leidu mõttekuse üle otsustamine, eetikakomitee (IRB) otsused, allika tegeliku olemasolu ja väidet toetava allika otsustamine, autorsuse ja panuse avaldus. Need otsused määravad kindlaks teadusliku dokumendi usaldusväärsuse; Vastutus ja viimane sõna kuulub alati uurijale.

Ettevaatust: "AI ütles" ei ole õigustus. Ajakirja toimetaja või lõputöö žürii ei aktsepteeri väidet "minu mudel valmistas selle niimoodi". Kontrollimata AI väljund on nagu kontrollimata kuulujutt.

Miks on kontrollimine vajalik? Hallutsinatsioonid ja väljamõeldud omistamine

AI loob teksti mitte "teadmise", vaid "võimaliku sõna ennustamise" kaudu. Seetõttu annab see mõnikord äärmiselt ladusat, kuid tegelikult ebaõiget teavet. Seda nimetatakse hallutsinatsiooniks (fabritseering). Selle kõige ohtlikum vorm akadeemilistes ringkondades on vale omistamine: AI genereerib autori nime, aasta, ajakirja või isegi DOI (digitaalse objekti identifikaator - väljaande püsiaadress), mis näib olevat tõeline, kuid seda allikat pole kunagi eksisteerinud. Kui teadlane kasutab seda kontrollimata, esitab ta väite, mis põhineb uuringul, mida pole olemas; See toob kaasa lõputöö tagasilükkamise, artikli tagasivõtmise ja maine kaotuse.

Teine probleem on moonutamine: paberi kokkuvõtte tegemisel võib tehisintellekt leiuga liialdada, võttes kokku uuringu, milles öeldakse, et "olulist erinevust ei olnud" kui "leiti oluline erinevus". Kolmas on eelarvamus: tehisintellekt kordab suundumusi andmetes, mille järgi seda koolitatakse; See võib esile tuua teatud koolkonna, keele või vaatenurga ja muuta kirjanduse moonutatud.

Nende piirangute tõttu pakume igale väljundile lihtsat valideerimisdistsipliini:

  1. Ühendage see allikaga. Otsige üles ja kontrollige iga fakti, kuupäeva, numbri, tsitaadi ja eriti iga tsitaadi tegelik allikas (artikkel, andmebaas, DOI).
  2. Kontrollige uuesti. Kontrollige käsitsi numbrilisi või loogilisi väljundeid (statistiline tulemus, näidisarvutus).
  3. Teaduslik filter. "Kas see väide on kooskõlas minu valdkonna tuntud kirjandusega?" tegelege sellega oma teadmistega.
  4. Võtke vastutus. Hetkel, kui paned selle oma väljaandesse või lõputöösse, on see lause sinu oma; Kõik vead on teie vastutusel.

Akadeemiline ausus ja läbipaistvus

Akadeemiline ausus tagab, et töö on tõesti teie algne panus ja et kõik allikad on ausalt viidatud. AI kasutamine seda põhimõtet ei kaota, vaid pigem lisab uue vastutuse: läbipaistvuse. Enamik ajakirju ja ülikoole nõuavad nüüd AI kasutamise selgesõnalist deklaratsiooni. Ühine toimetusliin (näiteks avaldamiseetikaorganite nagu ICMJE ja COPE põhimõtted) ütleb selgelt kaks asja: AI ei saa olla autor (sest ta ei saa võtta vastutust, ei saa kuulutada huvide konflikti) ning tehisintellekti kasutamist ei peideta, vaid avalikustatakse meetodi või tunnustuste rubriigis.

Näpunäide. Enne teksti kleepimist mis tahes tööriista, esitage kaks küsimust: (1) Kuidas see tööriist andmeid salvestab, kas seda kasutatakse hariduses? (2) Mida ütleb minu asutuse ja sihtajakirja tehisintellekti poliitika? Ärge alustage neid kahte teadmata.

kolm minikarpi

Juhtum 1 – väljamõeldud omistamine kahjustas väitekirja. Üks magistrant küsis YZ-lt oma lõputöö sissejuhatuseks 12 allikat ja sai need kõik koos tsitaatidega. Tema nõustaja otsis neist Google Scholarist juhuslikult 4; 2 neist ei eksisteerinud üldse, 1 neist oli DOI teise artikli juurde minemas. Õpilane pidi kogu nimekirja ükshaaval kontrollima ja kasutas ainult 7 autentset allikat. Kontrollimine võttis aega 40 minutit; aga kui see oleks välja antud fiktiivse viitega, oleks žürii usaldus täiesti kõigutatud.

Juhtum 2 – aja kokkuhoid. Järeldoktor kulutas 6 tundi iga nädal 15-20 uue artikli skaneerimisele ja kokkuvõtte tegemisele. Ta hakkas kasutama tehisintellekti oma esimese kokkuvõtete koostajana: lasi tehisintellektil teha kokkuvõtte iga artikli abstraktsest ja sissejuhatusest, süvendas seda oma kriitilise lugemisega ja kontrollis algteksti leide. Aeg vähenes 6 tunnilt nädalas ~2,5 tunnini; Ta pühendas teenitud aja originaalsünteesi kirjutamisele.

Juhtum 3 – vargsi tagasitulek. Sotsiaalteadlane kavatses AI-sse analüüsimiseks kleepida avaldamata väliandmed ja osalejate tunnistused. Ta mõistis, et see sisaldab volitusi; Algandmete jagamise asemel küsis ta ainult anonüümseks muudetud, kokkuvõtlikku proovi- ja analüüsiplaani. Ta sai väärtusliku meetodi soovituse, kuid tundlikke andmeid ei saanud välja.

Kopeeritavad mallid

1) Ülesande eraldamine riskitaseme järgi:

Sinu roll: teadlast abistav akadeemiline assistent. Jagage järgmised uurimisülesanded kolme loendisse: (A) madala riskitasemega ülesanded, mille jaoks tehisintellekt saab ohutult käsikirja koostada, (B) keskmise riskiga ülesanded, mille jaoks tehisintellekt võib koostada käsikirja ja nõuavad ranget kontrolli, (C) kõrge riskiga ülesanded, mille puhul peab lõpliku otsuse tegema uurija. Kirjuta iga ülesande juurde ühelauseline põhjendus. Ülesanded: [kleebi enda ülesanded]

2) Valideerimiskontrolli viip:

Märkige allolevas tekstis iga lause, mis sisaldab fakti, kuupäeva, numbrit, tsitaati või omistamist, ja märkige see kui "vajab kinnitamist". Öelge selgelt, kus te pole kindel. ÄRGE moodustage allikat ega numbrit; Kui te ei tea, kirjutage "Ma ei tea".Tekst: [kleebi mustand]

3) AI kasutamise deklaratsiooni kavand:

Artikli meetodite/kinnituste jaotise jaoks kirjutage 2–3-lauseline mustand "AI kasutusavaldus", mis selgitab läbipaistvalt, millistel etappidel ma tehisintellekti kasutasin (nt keeleparandus, mustand). Kasutamine: [selgitada]

4) Allika kinnitusloend:

Looge kontrollimisleht iga järgmise tsitaadiloendi allika kohta: [autor, aasta, pealkiri, DOI, kinnitatud?]. Te ei saa kontrollida; Andke mulle tühi tabel, mida ma käsitsi kontrollin. Loend: [kleebi tsitaadid]

Nõrk viip / Tugev viip

Nõrk viip:

Leia mulle oma lõputöö sissejuhatuseks allikad.

Kontekstita ja ohtlik: AI sülitab välja võltsitud ID-sid ja te arvate, et need on tõelised.

Võimas viip:

Sinu roll: metoodikakonsultant. Asukoht: "õpilase motivatsioon kaugõppes". ÄRA LEIA MIND ALLIKAT; Selle teema otsimiseks Scopuses soovitage selle asemel 8 märksõna, 3 sünonüümirühma ja Boole'i ​​otsingustringi. Tõeline artikkel reale FAKE. Ma kontrollin ise leitud allikaid.

Quest

Riski tase

AI roll

lõplik otsus

Otsingustrateegia loomine

madal

Soovitab märksõna/stringi

uurija

Artikli abstraktne kavand

Madal-Keskmine

Loob mustandi

Uurija kinnitab

Statistika testi soovitus

keskmine

Pakub valikuid

Uurija valib/kinnitab

Tsitaatnimekiri

kõrge

Vormingu assistent

Iga jäljend kontrollitakse käsitsi

Tõlgenduse/hüpoteesi leidmine

kõrge

annab ideid

üksik uurija

Levinud vead

  • Tsitaatide kasutamine ilma kinnitamiseta. Väljamõeldud omistamine on akadeemiliste ringkondade kõige sagedasem ja laastavam viga; viib tagasitõmbumiseni.
  • Allika asendamine kokkuvõttega. AI kokkuvõte võib leidu moonutada; Ilma algteksti juurde tagasi pöördumata ei viidata.
  • Läbipaistvuse vahelejätmine. Kasutamise varjamine on avastamisel eetiline rikkumine.
  • Laske tehisintellektil teha teaduslikke otsuseid. Hüpotees, tõlgendus ja meetodiotsused kuuluvad uurijale.
  • Konfidentsiaalsete andmete üleslaadimine avatud tööriista. Avaldamata andmed ja osalejate teave ei ole teie kontrolli all.
Näpunäide. Mõelge igale tehisintellekti seansile nagu töötamine kogenud, kuid ebausaldusväärse praktikandiga: ta on kiire ja hoolas, kuid enne allkirjastamist kontrollite kõike, mida ta ütleb.

Kokkuvõttes

AI on võimas assistent, mis kergendab uurija korduva lugemise ja kirjutamise koormust; kuid hallutsinatsioonide, moonutuste ja eelarvamuste tõttu vajab iga väljund kontrollimist. Kõige kriitilisem risk akadeemilistes ringkondades on võlts viitamine: iga allikat tuleb kontrollida DOI ja andmebaasi kaudu. Eraldage ülesanded riskitaseme järgi, kaitske andmeid, deklareerige kasutus läbipaistvalt. Lühim rusikareegel: plaan on tehisintellektilt, teaduslik vastutus on teadlasel.

Rakenduse ülesanne

Loetlege 8 ülesannet oma praegusest uurimisprojektist ja märkige igaüks madala/keskmise/kõrge riskiga. Seejärel valige madala riskiga ülesanne ja kirjutage kontekstiga viip, nagu ülal "Võimas viip". Märkige väljundis vähemalt 3 elementi (number, jäljend, väide), mida peate kontrollima, ja kirjutage, kuidas te seda kontrollite.

kontrollnimekiri

  • [ ] Kas olen ülesanded riskitaseme järgi eraldanud?
  • [ ] Kas ma kavatsen kontrollida iga tsitaati ja loendamist tehisintellekti väljundis?
  • [ ] Kas ma tean kasutatava sõiduki andmete säilitamise poliitikat?
  • [ ] Kas ma olen lugenud oma asutuse ja sihtajakirja AI poliitikat?
  • [ ] Kas ma olen kindel, et säilitan lõpliku teadusliku hinnangu?