Vienība 7 / 11

Literatūras apskats, avotu pārbaude un cīņa ar halucinācijām

Ieguvumi:

  • Spēja izmantot mākslīgo intelektu, lai apkopotu un salīdzinātu reālus avotus, novēršot safabricēta attiecinājuma pamatu ar ierobežojumu “balstīts tikai uz doto avotu”
  • Spēja piemērot disciplīnu, lai pārbaudītu katru citātu faktiskajā katalogā, pārbaudītu katru abstraktu atpakaļ uz avotu un uztvertu DOI/nospiedumu halucinācijas
  • Spēja saprast, kā aktualitāte, daudzvalodība un pelēkā literatūra nosaka mākslīgā intelekta zināšanu robežas un kāpēc ir nepieciešama oriģināla rakstīšana.

Arheoloģija un kultūras mantojums ir kumulatīva zinātne: katrs jauns pētījums balstās uz iepriekšējām publikācijām, kas aptver gadsimtus. Literatūras (par šo tēmu publicēto rakstu, grāmatu, ziņojumu un tēžu kopuma) skenēšana par kādu reģionu, atraduma veidu vai periodu ir jebkura zinātniskā pētījuma pirmais un nogurdinošākais solis. Šajā nodaļā mēs padziļināti redzēsim, kā AI paātrina literatūras pārskatīšanu, bet kāpēc avotu pārbaude ir vissvarīgākā šajā jomā un kā cīnīties ar visbīstamāko AI kļūdu: halucinācijām (safabricēti avoti, citāti un informācija).

Pamatprincips: AI palīdz apkopot, salīdzināt un sakārtot literatūru; Bet nevienu citātu nevar izmantot bez apstiprinājuma reālā katalogā, un neviens kopsavilkums nevar pārvērsties par zinātnisku apgalvojumu, neizlasot pašu avotu. Humanitārajās zinātnēs viens viltus avots sagrauj visa darba ticamību.

Kāpēc halucinācijas šajā jomā ir tik kritiskas?

Visizplatītākā publiskās tērzēšanas rīku kļūda ir akadēmisko resursu radīšana, kas neeksistē, bet šķiet ļoti reālistiski. AI var izveidot “perfekta” izskata citātu, apvienojot īsta autora vārdu, īsta žurnāla nosaukumu un ticamu nosaukumu. No kurienes?

  • AI rada "nākamo visticamāko vārdu"; tas neskatās faktisko datu bāzi (ja vien nav pievienots īpašs rīks).
  • Tā kā akadēmiskajiem citātiem ir raksts, AI ļoti "labi" veido citātu, kas atbilst modelim, bet kura saturs ir izdomāts.
  • Humanitārajās zinātnēs lasītājs nereti uzreiz nepārbauda avotu; Tas ļauj nepamanīt viltus attiecinājumu.

Secinājums: arheologam katrs autorgada trīnītais mākslīgā intelekta izvadē jāuzskata par aizdomīgu, kamēr nav pierādīts pretējais.

Padoms. Izmantojiet AI nevis kā “resursu meklētāju”, bet gan kā palīgu, kas “apstrādā reālos resursus, kas jums ir”. Atrodiet īstos rakstus pats, nododiet PDF failus AI, pēc tam sakiet "vienkārši paļaujieties uz šiem tekstiem, kurus es jums iedevu". Tādējādi halucināciju pamats lielā mērā tiek novērsts.

Literatūras apskata soļi

  1. Darbības joma un jautājums. Ko tu meklē? Noskaidrojiet tēmas, perioda, reģiona un valodu robežas.
  2. Reālu resursu vākšana. Atrodiet autentiskas publikācijas no bibliotēku katalogiem, iestāžu datu bāzēm un uzticamiem direktorijiem. Šajā posmā ir riskanti "atrast" resursus AI.
  3. Apkopojot un kartējot. Nododiet faktiskos apkopotos tekstus AI, lai apkopotu un kartētu tēmas un diskusijas.
  4. Salīdzinājums un nepilnību analīze. Salīdziniet dažādu autoru uzskatus, atrodiet pretrunas un neizpētītās nepilnības.
  5. Pareizrakstība un attiecināšana. Uzrakstiet savu argumentu ar pārbaudītiem citātiem. AI dod melnrakstu; jūs pārrakstāt ar savu analīzi un faktiskajiem citātiem.

Avota pārbaudes disciplīna

Par katru citātu pārbaudiet:

  • Vai ir? Vai autors, gads, nosaukums, žurnāls/izdevējs atrodas faktiskā katalogā (bibliotēkā, DOI, rādītājā)?
  • Vai viņš saka, ko viņš saka? Vai avots tiešām saka to, ko apgalvo AI? Atveriet avotu un izlasiet attiecīgo sadaļu.
  • Vai konteksts ir pareizs? Vai citāts ņemts no autora nodoma? Vai pretējais viedoklis tiek attiecināts uz autoru?
  • Vai tas ir atjaunināts un uzticams? Vai publikācija ir recenzēta, aktuāla vai atspoguļo novecojušu skatījumu?
Uzmanību: tas, ka AI nodrošinātais DOI vai inventāra numurs parādās "pareizā formātā", nenozīmē, ka šis ieraksts pastāv. Meklējiet numuru reālajā sistēmā. Neesošs DOI ir viena no visizplatītākajām halucināciju pazīmēm.

trīs mini futrāļi

1. gadījums — Kopsavilkums ietaupītais laiks. Doktorants iedeva 60 reālus rakstus (visus viņš atrada un lejupielādēja) AI un izveidoja tēmu karti; Viņš sastādīja tabulu, kurā tika salīdzināti dažādu autoru viedokļi par atraduma veidu divās dienās, nevis nedēļās. Katrs kopsavilkums ir iegūts un pārbaudīts.

2. gadījums — viltus metināšanas katastrofa novērsta. Kāds absolvents lūdza AI "ieteikt avotus par šo tēmu" un ieguva lielisku sarakstu ar 15 citātiem. Pārbaudot to bibliotēkā, viņš atklāja, ka 9 no saraksta nekad nav pastāvējuši — īsti autori, izdomāti nosaukumi. Ja šis saraksts tiktu iekļauts darba bibliogrāfijā, aizstāvības ticamība sabruktu un to pat varētu uzskatīt par zinātnisku pārkāpumu.

3. gadījums — izlabots nepareizs attiecinājums. Viena komanda ziņoja, ka mākslīgais intelekts kādam rakstniekam ir teicis "viņš šo vietni datējis ar romiešu periodu"; Kad pievērsāmies avotam, bija redzams, ka autors apgalvoja pretējo, ka vietne bija pirms romiešu laikmeta. AI bija mainījis skatu. Izlasot avotu, tika novērsta nopietna kļūda.

Četras kopējamas veidnes

1) Paļaujoties tikai uz norādīto avotu:

Jūsu loma: literatūras apkopojuma asistents. Paļaujieties TIKAI uz tiem tekstiem, kurus es ielīmēšu zemāk. NEPIEVIENOJIET nekādu informāciju, avotus vai atsauces no ārpus šiem tekstiem. Pierakstiet katru savu apgalvojumu, norādot, uz kuru teksta daļu, kuru es jums sniedzu, ir balstīta. Ja jums jautā par kaut ko, kas nav tekstā, sakiet: "Tas nav norādītajos avotos".

2) Tēmu karte un salīdzinājums:

Tālāk es sniegšu [N] avotu kopsavilkumus. Grupējiet tos pēc tēmām un izveidojiet salīdzināšanas tabulu: katrai tēmai, kuri autori ko saka, kur piekrīt, kur ir pretrunā. Izmantojiet tikai uzskatus manis sniegtajos tekstos; pievienojot komentārus.

3) Citātu pārbaudes kontrolsaraksts:

PĀRBAUDOT tālāk norādīto citātu sarakstu, veiciet darbības, kas man jāpārbauda katram (meklēšana katalogā, DOI apstiprinājums, attiecīgās lapas lasīšana, konteksta pārbaude). Jūs NEAPSTIPRINAT attiecinājumu precizitāti; pasakiet man, kas man jāpārbauda. Avota izgatavošana.

4) Atšķirību analīze:

Pamatojoties uz manis sniegtajiem literatūras kopsavilkumiem, uzskaitiet jautājumus/trūkumus, kas, šķiet, nav pietiekami izpētīti par šo tēmu. Katrai atstarpei parādiet, kurš avots to atstāja atvērtu. Paļaujieties tikai uz tiem tekstiem, kurus esmu jums devis; Nevajag spekulēt.

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne:

Sniedziet 15 svarīgākos akadēmiskos avotus par šo tēmu un to kopsavilkumus.

AI izveido reālistisku, bet, iespējams, daļēji izdomātu sarakstu, neapskatot reālu datu bāzi; Tas ir pats viltus attiecinājuma slazds.

Spēcīga uzvedne:

Zemāk es ielīmēju pilnus 12 atrasto rakstu citātus un kopsavilkumus. Balstoties TIKAI uz tiem, parādās tēmu karte un salīdzināšanas tabula. PIEVIENOT jaunu resursu. Norādiet, no kura raksta nāk katra rinda. Atzīmējiet trūkstošās tēmas kā "nav ietvertas šajā resursu kopā".

Atšķirība: pirmais ir saistīts ar safabricētu avotu risku; pēdējā uzticami rīkojas ar reāliem resursiem.

Aktualitāte, valoda un pelēkā literatūra

Trīs arheoloģiskās literatūras iezīmes padara mākslīgā intelekta izmantošanu īpaši riskantu. Pirmā ir aktualitāte: zināšanas par modeli ir iesaldētas noteiktā datumā, un tajā nav izrakumu, jaunu datējumu un labojumu pēc šī datuma. AI var parādīt aizstātu skatu kā joprojām derīgu; Tāpēc jums vajadzētu skenēt pašreizējās publikācijas. Otrkārt, daudzvalodība: arheoloģija ir rakstīta vācu, franču, itāļu, turku un daudzās vietējās valodās, izņemot angļu valodu. Svarīgs izrakumu ziņojums var būt publicēts tikai vienā valodā; Paļauties tikai uz avotiem angļu valodā nozīmē izlaist lielu daļu literatūras. AI palīdz skenēt šos svešvalodu avotus, taču atkal jums ir jābūt pieejamam patiesajam avotam.

Treškārt, pelēkā literatūra: lielākā daļa arheoloģisko zināšanu ir dokumentos, kas neparādās oficiālajos žurnālos, piemēram, komerciālo izrakumu ziņojumos, iestāžu arhīvos un nepublicētās tēzēs. Pelēkās literatūras (pārskati, kas sagatavoti komerciālos vai korporatīvajos kanālos, kas nav viegli pieejami tradicionālajos publikāciju katalogos) AI apmācības datos vai nu nav, vai tās ir maz; Tāpēc AI vai nu nezina šo informāciju, vai arī to izdomā. Reālais reģiona arheoloģiskais stāsts bieži ir šajā pelēkajā literatūrā, un to var sasniegt tikai ar īstu roku no iestāžu arhīviem.

Padoms. Sakot "AI neko nevarēja atrast" vai "ir maz resursu" par tēmu, tas nenozīmē, ka par šo tēmu ir maz darba. Bieži vien avots ir pelēkā literatūrā, svešvalodā vai aiz modeļa informācijas sadaļas. Par resursu trūkumu jautājiet īstajam arhīvam, nevis AI.

Literatūras uzdevumu tabula

Meklējumi

AI loma

cilvēka lēmums

verifikācija

iegūšanu

Vājš/apdraudēts

Izlase no īsta kataloga

Kataloga apstiprinājums

apkopojot

Spēcīgs (atbilstoši dotajam tekstam)

precizitāte, izvēle

Izlasiet avotu

Salīdzinājums

Tēma/pretrunu karte

Komentārs, svars

avota konteksts

Citātu rakstīšana

formāta kontūra

saturs, precizitāte

Vai ir/ir teikts

Atšķirību analīze

Kandidātu jautājumi

Pētījuma vērtība

Domēna zināšanas

Biežas kļūdas

  • Likt AI “atrast” resursus. Rada nepatiesu attiecinājumu; Atrodiet resursus pats.
  • Paļaušanās uz DOI/nospieduma formātu. Lai gan formāts šķiet pareizs, ieraksts var būt izdomāts; Meklēt sistēmā.
  • Kopsavilkuma izmantošana, neizlasot avotu. AI var mainīt autora viedokli.
  • AI teksta publicēšana tādu, kāds tas ir. Oriģinalitāte un plaģiāta risks; Rakstiet ar savu analīzi.
  • Neizvietojot ierobežojumu “tikai dots resurss”. AI bez ierobežojumiem pievieno ārēji izdomātu informāciju.

Rezumējot

Literatūras apskatā AI ietaupa daudz laika, apkopojot, salīdzinot un analizējot faktu avotus. Bet humanitārajās zinātnēs avota pārbaude nav apspriežama: atrodiet avotus pats, pārbaudiet katru citātu faktiskajā katalogā, pārbaudiet atpakaļ katru kopsavilkumu, uzliekiet ierobežojumu "tikai citēts avots" un uzrakstiet galīgo tekstu ar savu sākotnējo analīzi. Viltus avots iznīcinās jūsu darbu.

Lietojumprogrammas uzdevums

Izvēlieties tēmu, atrodiet bibliotēkā/rādītājā 8-10 reālas publikācijas un savāciet to citātus. Izveidojiet salīdzināšanas diagrammu, izmantojot veidnes “Tikai pamatojoties uz avotu” un “Motīvu karti”. Atsevišķā eksperimentā sakiet AI “ieteikt avotu” (bez jebkādiem ierobežojumiem) un katalogā pa vienam pārbaudiet tā ieteiktos citātus un atzīmējiet, cik tie ir patiesi.

kontrolsaraksts

  • [ ] Pats atradu avotus no īstiem katalogiem.
  • [ ] Es piemēroju AI ierobežojumu "tikai paļauties uz doto avotu".
  • [ ] Esmu apstiprinājis katru citātu ar katalogu/DOI.
  • [ ] Esmu pārbaudījis katru kopsavilkumu, atgriežoties pie avota.
  • [ ] Es uzrakstīju galīgo tekstu, izmantojot savu sākotnējo analīzi un apstiprinātās atsauces.