Kirjanduse ülevaade, allikate kontrollimine ja hallutsinatsioonide vastu võitlemine

Kasu:

• Võimalus kasutada tehisintellekti tegelike allikate kokkuvõtmiseks ja võrdlemiseks, välistades väljamõeldud omistamise aluse piiranguga „ainult antud allika põhjal”
• Võimalus rakendada distsipliini, mille kohaselt kontrollitakse tegelikus kataloogis iga tsitaati, kontrollitakse iga abstrakti tagasi allika juurde ja püütakse kinni DOI/jäljendi hallutsinatsioonid
• Suuda mõista, kuidas ajakohasus, mitmekeelsus ja hall kirjandus määravad tehisintellekti teadmiste piirid ja miks on vaja originaalset kirjutamist.

Arheoloogia ja kultuuripärand on kumulatiivne teadus: iga uus uurimus tugineb varasematele sajandeid hõlmanud publikatsioonidele. Piirkonna, leiutüübi või perioodi kirjanduse (sellel teemal avaldatud artiklite, raamatute, aruannete ja teeside kogumi) skaneerimine on iga teadusliku uurimuse esimene ja kõige väsitavam samm. Selles tükis näeme põhjalikult, kuidas tehisintellekt kiirendab kirjanduse läbivaatamist, kuid miks on allikate kontrollimine selles valdkonnas ülimalt tähtis ja kuidas võidelda tehisintellekti kõige ohtlikuma veaga: hallutsinatsioonidega (väljamõeldud allikad, tsitaadid ja teave).

Põhiprintsiip: AI aitab kirjandust kokku võtta, võrrelda ja korrastada; Kuid ühtegi tsitaati ei saa kasutada ilma kinnituseta tõelises kataloogis ja ükski kokkuvõte ei saa muutuda teaduslikuks väiteks ilma allikat ennast lugemata. Humanitaarteadustes hävitab üks valeallikas kogu teose usaldusväärsuse.

Miks on hallutsinatsioonid selles valdkonnas nii kriitiline?

Avalike vestlustööriistade kõige levinum viga on akadeemiliste ressursside tootmine, mida pole olemas, kuid mis tunduvad väga realistlikud. Tehisintellekt võib luua "täiusliku" välimusega tsitaadi, kombineerides tõelise autori nime, tõelise ajakirja nime ja usutava pealkirja. kust?

• AI toodab "järgmise kõige tõenäolisema sõna"; see ei vaata tegelikku andmebaasi (kui pole ühendatud spetsiaalset tööriista).
• Kuna akadeemilised tsitaadid on mustrilised, oskab tehisintellekt väga "hea" luua tsitaati, mis sobib mustriga, kuid mille sisu on välja mõeldud.
• Humanitaarteadustes ei kontrolli lugeja sageli kohe allikat; See võimaldab võltsitud omistusel märkamatult levida.

Järeldus: arheoloogi jaoks tuleks AI väljundis iga autoriaasta pealkirja kolmikut pidada kahtlaseks, kuni pole tõestatud vastupidist.

Näpunäide: kasutage AI-d mitte "ressursside leidjana", vaid assistendina, mis "töötleb teie tegelikke ressursse". Otsige üles tegelikud artiklid ise, andke PDF-id tehisintellektile ja öelge siis "toetuge lihtsalt nendele tekstidele, mille ma teile andsin". Seega on hallutsinatsioonide alus suures osas elimineeritud.

Kirjanduse ülevaate etapid

1. Ulatus ja küsimus. Mida sa otsid? Tee selgeks teema, perioodi, piirkonna ja keelepiirid.
2. Reaalsete ressursside kogumine. Otsige autentseid väljaandeid raamatukogude kataloogidest, institutsionaalsetest andmebaasidest ja usaldusväärsetest kataloogidest. Selles etapis on tehisintellekti jaoks ressursse "leida" riskantne.
3. Kokkuvõtete tegemine ja kaardistamine. Andke kogutud tekstid tehisintellektile teemade ja arutelude kokkuvõtmiseks ja kaardistamiseks.
4. Võrdlus ja lünkade analüüs. Võrrelge erinevate autorite seisukohti, leidke vastuolusid ja uurimata lünki.
5. Õigekiri ja omistamine. Kirjutage oma argument kinnitatud tsitaatidega. AI annab mustandit; kirjutate oma analüüsi ja tegelike tsitaatidega ümber.

Allika kontrollimise distsipliin

Iga tsitaadi puhul kontrollige:

• Kas on? Kas autor, aasta, pealkiri, ajakiri/väljaandja asuvad tegelikus kataloogis (raamatukogus, DOI-s, registris)?
• Kas ta ütleb, mida ta ütleb? Kas allikas ütleb tõesti seda, mida AI väidab? Avage allikas ja lugege vastavat jaotist.
• Kas kontekst on õige? Kas tsitaat on võetud autori kavatsusest? Kas vastupidine seisukoht omistatakse autorile?
• Kas see on ajakohane ja usaldusväärne? Kas väljaanne on eelretsenseeritud, ajakohane või peegeldab see aegunud vaadet?

Ettevaatust. See, et tehisintellekti pakutav DOI või laonumber kuvatakse "õiges vormingus", ei viita selle kirje olemasolule. Otsige numbrit pärissüsteemist. Olematu DOI on üks levinumaid hallutsinatsioonide tunnuseid.

kolm minikarpi

Juhtum 1 – kokkuvõttes säästetud aeg. Doktorant andis tehisintellektile 60 reaalset artiklit (kõik need leidis ja laadis alla) ning koostas teemakaardi; Ta koostas tabeli, milles võrreldi erinevate autorite seisukohti leiutüübi kohta kahe päevaga, mitte nädalatega. Iga kokkuvõte on hangitud ja kinnitatud.

Juhtum 2 – võltskeevitusõnnetus välditi. Üks kraadiõppur palus tehisintellektil "selle teema kohta allikaid soovitada" ja sai 15 tsitaadiga vahva nimekirja. Kui ta seda raamatukogus kontrollis, avastas ta, et 9 nimekirjast polnud kunagi olemas – pärisautoreid, väljamõeldud pealkirju. Kui see loetelu kanti lõputöö bibliograafiasse, kukuks kaitsmise usaldusväärsus kokku ja seda võiks pidada isegi teaduslikuks väärkäitumiseks.

3. juhtum – parandatud vale omistamine. Üks meeskond teatab, et AI ütles kirjanikule, et "ta dateeris selle saidi Rooma perioodiga"; Kui pöördusime allika poole, oli näha, et autor väitis vastupidist, et sait oli Rooma eelne. AI oli vaate vastupidiseks muutnud. Allika lugemine hoidis ära tõsise vea.

Neli kopeeritavat malli

1) Tuginedes ainult antud allikale:

Sinu roll: kirjanduse kokkuvõtte assistent. Toetuge AINULT nendele tekstidele, mille ma allpool kleebin. ÄRGE LISAGE teavet, allikaid ega viiteid väljaspool neid tekste. Kirjutage üles kõik oma väited, näidates, millisel osal teie esitatud tekstist põhineb. Kui teilt küsitakse millegi kohta, mida tekstis ei ole, siis öelge "seda pole antud allikates".

2) Teemakaart ja võrdlus:

Allpool esitan kokkuvõtted [N] allikast. Rühmitage need teemade kaupa ja koostage võrdlustabel: iga teema kohta, millised autorid ütlevad mida, kus nad nõustuvad, kus on vastuolus. Kasutage minu esitatud tekstides ainult vaateid; kommentaaride lisamine.

3) Tsitaadi kontrollimise kontroll-loend:

Alltoodud tsitaatide loendi KONTROLLIMISE ajal tehke toimingud, mida pean iga jaoks kontrollima (otsing kataloogist, DOI kinnitus, vastava lehe lugemine, kontekstikontroll). Te EI KINNITA omistuste täpsust; ütle mulle, mida ma peaksin kontrollima. Allika väljamõeldis.

4) Lünkade analüüs:

Loetlege minu esitatud kirjanduse kokkuvõtete põhjal küsimused/lüngad, mis tunduvad olevat sellel teemal alauuritud. Näidake iga tühimiku puhul, milline allikas jättis selle avatuks. Toetuge ainult nendele tekstidele, mis ma teile olen andnud; Ärge spekuleerige.

Nõrk viip / Tugev viip

Nõrk viip:

Esitage 15 kõige olulisemat selleteemalist akadeemilist allikat ja nende kokkuvõtted.

AI koostab realistliku, kuid tõenäoliselt osaliselt väljamõeldud loendi ilma tõelist andmebaasi vaatamata; See on vale omistamise lõks ise.

Võimas viip:

Allpool kleebin leitud 12 tõelise artikli täielikud tsitaadid ja kokkuvõtted. AINULT nende põhjal tekib teemakaart ja võrdlustabel. LISA uus ressurss. Märkige, millisest artiklist iga rida pärineb. Märkige puuduvad teemad kui "selles ressursikomplektis ei käsitleta".

Erinevus: esimene on täis fabritseeritud allikate ohtu; viimane käsitleb reaalseid ressursse usaldusväärselt.

Aktuaalsus, keel ja hall kirjandus

Kolm arheoloogilise kirjanduse tunnust muudavad tehisintellekti kasutamise eriti riskantseks. Esimene on aktuaalsus: teadmised mudelist on kindlal kuupäeval tardunud ning sealt puuduvad väljakaevamised, uued dateeringud ja parandused pärast seda kuupäeva. AI võib esitada asendatud vaate endiselt kehtivana; Seetõttu peaksite skannima praeguseid väljaandeid. Teiseks mitmekeelsus: arheoloogiat kirjutatakse saksa, prantsuse, itaalia, türgi ja paljudes kohalikes keeltes peale inglise keele. Oluline kaevamisaruanne võis avaldada ainult ühes keeles; Ainuüksi ingliskeelsetele allikatele tuginemine tähendab suure osa kirjandusest puudumist. AI aitab neid võõrkeelseid allikaid skannida, kuid jällegi peab teil olema tegelik allikas käepärast.

Kolmandaks, hall kirjandus: valdav osa arheoloogiateadmistest peitub dokumentides, mida ametlikes ajakirjades ei ilmu, näiteks kommertskaevamiste aruanded, institutsionaalsed arhiivid ja avaldamata teesid. Halli kirjandus (kommerts- või korporatiivkanalites toodetud aruanded, mis ei ole traditsioonilistes väljaannete kataloogides kergesti kättesaadavad) kas puuduvad või puuduvad tehisintellekti koolitusandmetes; Seetõttu AI kas ei tea seda teavet või mõtleb selle välja. Regiooni tõeline arheoloogiline lugu on sageli selles hallis kirjanduses ja selleni pääseb tõelise käega vaid institutsionaalsest arhiivist.

Näpunäide. Kui teema kohta öeldakse "AI ei leidnud midagi" või "ressursse on vähe", ei tähenda see, et sellel teemal on vähe tööd. Sageli on allikas hallis kirjanduses, võõrkeeles või mudeli teabejaotises. Küsige ressursside puudumise kohta tõelisest arhiivist, mitte AI-st.

Kirjanduse ülesannete tabel

Quest

AI roll

inimlik otsus

kontrollimine

hankimine

Nõrk/ohus

Valik päris kataloogist

Kataloogi kinnitus

kokkuvõtteid tehes

Tugev (antud teksti suhtes)

täpsus, valik

Lugege allikat

Võrdlus

Teema/vastuolukaart

Kommentaar, kaal

allika kontekst

Tsitaadi kirjutamine

vormingu kontuur

sisu, täpsus

Kas on/kas on kirjas

Lünkade analüüs

Kandidaadi küsimused

Uurimisväärtus

Domeeni tundmine

Levinud vead

• AI ressursside leidmine. Esitab vale omistamise; Otsige ressursse ise.
• DOI/jäljevormingule tuginemine. Kuigi formaat näib olevat õige, võib plaat olla fabritseeritud; Otsige süsteemist.
• Kokkuvõtte kasutamine ilma allikat lugemata. AI võib autori vaate ümber pöörata.
• AI teksti avaldamine sellisel kujul. Originaalsus ja plagiaadioht; Kirjutage oma analüüsiga.
• "Ainult antud ressurss" piirangut ei panda. Ilma piiranguteta lisab tehisintellekt väljastpoolt valmistatud teavet.

Kokkuvõttes

Kirjanduse ülevaates säästab tehisintellekt palju aega faktiallikate kokkuvõtete tegemisel, võrdlemisel ja analüüsimisel. Kuid humanitaarteadustes ei ole allika kontrollimine läbiräägitav: otsige ise allikad, kontrollige iga tsitaat tegelikus kataloogis, kontrollige tagasi iga abstrakti, kehtestage piirang "ainult viidatud allikas" ja kirjutage lõplik tekst oma esialgse analüüsiga. Võltsallikas hävitab teie töö.

Rakenduse ülesanne

Valige teema, leidke raamatukogust/registrist 8-10 tõelist väljaannet ja koguge nende tsitaadid. Koostage võrdlustabel mallidega „Ainult allika põhjal” ja „Teemakaart”. Eraldi katses öelge tehisintellektile "soovitage allikat" (ilma piiranguteta) ja kontrollige kataloogis ükshaaval pakutavaid tsitaate ja märkige, kui paljud neist on tõelised.

kontrollnimekiri

• [ ] Allikad leidsin ise päris kataloogidest.
• [ ] Panin tehisintellektile piirangu "ainult tugineda antud allikale".
• [ ] Olen kinnitanud iga tsitaadi kataloogi/DOI-ga.
• [ ] Olen kontrollinud iga kokkuvõtet, pöördudes tagasi allika juurde.
• [ ] Lõpliku teksti kirjutasin oma algse analüüsi ja kinnitatud viidetega.