Jedinica 7 / 11

Pregled literature, provjera izvora i borba protiv halucinacija

Dobici:

  • Sposobnost korištenja umjetne inteligencije za sažimanje i usporedbu stvarnih izvora, eliminirajući osnovu za izmišljeno pripisivanje s ograničenjem 'samo na temelju danog izvora'
  • Sposobnost primjene discipline provjere svakog citata u stvarnom katalogu, provjere svakog sažetka natrag do izvora i hvatanja halucinacija DOI/impresuma
  • Biti u stanju razumjeti kako aktualnost, višejezičnost i siva literatura određuju granice znanja umjetne inteligencije i zašto je potrebno originalno pisanje.

Arheologija i kulturna baština kumulativna je znanost: svaka se nova studija nadovezuje na prethodne publikacije koje obuhvaćaju stoljeća. Skeniranje literature (sveukupnosti članaka, knjiga, izvješća i teza objavljenih na tu temu) nekog kraja, vrste nalaza ili razdoblja prvi je i najumorniji korak svakog znanstvenog istraživanja. U ovoj ćemo jedinici detaljno vidjeti kako umjetna inteligencija ubrzava pregled literature, ali zašto je provjera izvora najvažnija u ovom području i kako se boriti protiv najopasnije pogreške umjetne inteligencije: halucinacije (izmišljeni izvori, citati i informacije).

Osnovno načelo: umjetna inteligencija pomaže u sažimanju, usporedbi i organiziranju literature; Ali niti jedan citat ne može se koristiti bez potvrde u pravom katalogu, niti se sažetak može pretvoriti u znanstvenu tvrdnju bez čitanja samog izvora. U humanističkim znanostima jedan lažni izvor ruši vjerodostojnost cijelog djela.

Zašto su halucinacije tako kritične u ovom polju?

Najčešća pogreška alata za javni chat je stvaranje akademskih resursa koji ne postoje, ali se čine vrlo realističnima. AI može napraviti citat "savršenog" izgleda kombinirajući ime pravog autora, ime pravog časopisa i uvjerljivi naslov. Odakle?

  • AI proizvodi "sljedeću najvjerojatniju riječ"; ne gleda stvarnu bazu podataka (osim ako nije povezan poseban alat).
  • Budući da su akademski citati šablonski, umjetna inteligencija je vrlo "dobra" u stvaranju citata koji odgovara šablonu, ali čiji je sadržaj izmišljen.
  • U humanističkim znanostima čitatelj često ne provjerava odmah izvor; To omogućuje da se lažna atribucija objavi nezapaženo.

Zaključak: za arheologa, svaki triplet autor-godina-naslov u AI izlazu treba smatrati sumnjivim dok se ne dokaže suprotno.

Savjet: koristite AI ne kao "pronalazač resursa", već kao pomoćnika koji "obrađuje stvarne resurse koje imate". Sami pronađite stvarne članke, dajte PDF-ove umjetnoj inteligenciji, a zatim recite "samo se oslonite na ove tekstove koje sam vam dao". Time je osnova za halucinacije uglavnom eliminirana.

Koraci pregleda literature

  1. Opseg i pitanje. Što tražite? Pojasnite temu, razdoblje, regiju i jezične granice.
  2. Zbirka stvarnih izvora. Pronađite autentične publikacije iz knjižničnih kataloga, institucionalnih baza podataka i pouzdanih imenika. Rizično je "pronaći" resurse za AI u ovom koraku.
  3. Sažimanje i mapiranje. Dajte stvarne tekstove koje ste prikupili AI-ju da sažme i mapira teme i rasprave.
  4. Usporedba i analiza nedostataka. Usporedite stavove različitih autora, pronađite proturječnosti i neistražene praznine.
  5. Pravopis i atribucija. Napišite vlastiti argument s provjerenim citatima. AI daje gaz; prepisujete svojom analizom i stvarnim citatima.

Disciplina provjere izvora

Za svaki citat provjerite:

  • postoji li Jesu li autor, godina, naslov, časopis/izdavač smješteni u stvarnom katalogu (knjižnici, DOI, indeksu)?
  • Govori li ono što govori? Govori li izvor stvarno ono što AI tvrdi? Otvorite izvor i pročitajte odgovarajući odjeljak.
  • Je li kontekst točan? Je li citat preuzet iz autorove namjere? Pripisuje li se suprotno mišljenje autoru?
  • Je li ažuran i pouzdan? Je li publikacija recenzirana, aktualna ili odražava zastarjelo gledište?
Oprez: samo zato što se DOI ili inventarni broj koji daje AI pojavljuje u "ispravnom formatu" ne znači da taj zapis postoji. Potražite broj u stvarnom sustavu. Nepostojeći DOI jedan je od najčešćih znakova halucinacija.

tri mini kućišta

Slučaj 1 — Sažetak ušteđenog vremena. Doktorand je dao 60 stvarnih članaka (koje je sve pronašao i preuzeo) AI-u i napravio mapu tema; Napravio je tablicu uspoređujući poglede različitih autora na vrstu nalaza u dva dana umjesto tjedana. Svaki sažetak ima izvore i provjeren.

Slučaj 2 — Izbjegnuta lažna katastrofa zavarivanja. Student diplomskog studija zamolio je AI da "predloži izvore o ovoj temi" i dobio izvrstan popis od 15 citata. Kad ga je provjerio u knjižnici, otkrio je da 9 s popisa nikada nije postojalo — pravi autori, izmišljeni naslovi. Kad bi se taj popis uvrstio u bibliografiju doktorskog rada, urušio bi se vjerodostojnost obrane, pa bi se to čak moglo smatrati znanstvenim nedostatkom.

Slučaj 3 — Ispravljeno netočno pripisivanje. Jedan bi tim izvijestio da je AI rekao piscu "datira to mjesto u rimsko razdoblje"; Kad smo se obratili izvoru, vidjelo se da autor tvrdi suprotno, da je lokalitet predrimski. AI je promijenio pogled. Čitanjem izvora spriječena je ozbiljna pogreška.

Četiri predloška za kopiranje

1) Oslanjanje isključivo na navedeni izvor:

Vaša uloga: asistent za sažetak literature. SAMO se oslanjajte na tekstove koje ću zalijepiti ispod. NEMOJTE DODAVATI nikakve informacije, izvore ili reference izvan ovih tekstova. Napiši svaku svoju tvrdnju, naznačivši na kojem se dijelu teksta temeljiš. Ako vas pitaju o nečemu čega nema u tekstu, recite "nema u navedenim izvorima".

2) Mapa teme i usporedba:

U nastavku ću dati sažetke [N] izvora. Grupirajte ih po temama i napravite usporednu tablicu: za svaku temu koji autori što govore, gdje se slažu, gdje proturječe. Koristite samo stavove u tekstovima koje sam naveo; dodavanje komentara.

3) Kontrolni popis za provjeru citata:

Prilikom PROVJERE donjeg popisa citata, poduzmite korake koje trebam provjeriti za svaki (pretraživanje u katalogu, potvrda DOI-ja, čitanje relevantne stranice, provjera konteksta). NE potvrđujete točnost atribucija; reci mi što da provjerim. Izmišljanje izvora.

4) Analiza nedostataka:

Na temelju sažetaka literature koje sam dao, navedite pitanja/praznine za koje se čini da su nedovoljno istraženi o ovoj temi. Za svaku prazninu pokažite koji je izvor ostavio otvorenu. Oslonite se samo na tekstove koje sam vam dao; Ne špekulirajte.

Slab upit / Jak upit

Slab upit:

Navedite 15 najvažnijih akademskih izvora o ovoj temi i njihove sažetke.

AI proizvodi realan, ali vjerojatno djelomično izmišljen popis bez gledanja u pravu bazu podataka; Ovo je sama zamka lažnog pripisivanja.

Snažan upit:

U nastavku lijepim pune citate i sažetke 12 stvarnih članaka koje sam pronašao. SAMO na temelju njih nastaje tematska karta i tablica za usporedbu. DODAJ novi resurs. Označite iz kojeg članka dolazi svaki redak. Označite teme koje nedostaju kao "nisu obuhvaćene ovim skupom izvora."

Razlika: prva je prepuna rizika lažiranih izvora; potonji pouzdano rukuje stvarnim resursima.

Aktualnost, jezik i siva književnost

Tri značajke arheološke literature čine korištenje umjetne inteligencije posebno riskantnim. Prvi je aktualnost: znanje o modelu zamrznuto je na određenom datumu, a iz njega izostaju iskapanja, nova datacija i ispravci nakon tog datuma. AI može prikazati zamijenjeni pogled kao još uvijek važeći; Zato biste trebali skenirati trenutne publikacije. Drugo, višejezičnost: arheologija je napisana na njemačkom, francuskom, talijanskom, turskom i mnogim lokalnim jezicima osim engleskog. Važan izvještaj o iskapanju možda je objavljen samo na jednom jeziku; Oslanjati se samo na izvore na engleskom jeziku znači propustiti veliki dio literature. AI pomaže u skeniranju tih izvora na stranim jezicima, ali opet morate imati pravi izvor pri ruci.

Treće, siva literatura: velika većina arheološkog znanja leži u dokumentima koji se ne pojavljuju u službenim časopisima, poput komercijalnih izvješća o iskapanjima, institucionalnih arhiva i neobjavljenih teza. Siva literatura (izvještaji proizvedeni u komercijalnim ili korporativnim kanalima koji nisu lako dostupni u tradicionalnim imenicima publikacija) je ili odsutna ili je oskudna u podacima o obuci AI; Stoga AI ili ne zna te informacije ili ih izmišlja. Prava arheološka priča nekog kraja često je u toj sivoj literaturi, a do nje možete doći samo pravom rukom iz institucionalnih arhiva.

Savjet: Reći "AI nije mogao ništa pronaći" ili "ima malo resursa" o nekoj temi ne znači da je malo posla na toj temi; Često je izvor u sivoj literaturi, na stranom jeziku ili nakon informativnog dijela modela. O nedostatku resursa pitajte pravu arhivu, a ne AI.

Tablica zadataka iz književnosti

Potraga

Uloga umjetne inteligencije

ljudska odluka

provjera

izvorište

Slab/rizičan

Izbor iz stvarnog kataloga

Potvrda kataloga

sažimajući

Jako (na dati tekst)

točnost, izbor

Pročitajte izvor

Usporedba

Mapa tema/kontradikcija

Komentar, težina

izvorni kontekst

Pisanje citata

obris formata

sadržaj, točnost

Ima li/kaže li se

Gap analiza

Pitanja kandidata

Istraživačka vrijednost

Znanje o domeni

Uobičajene greške

  • Natjerati AI da "pronađe" resurse. Proizvodi lažno pripisivanje; Pronađite resurse sami.
  • Oslanjajući se na format DOI/impresum. Iako se format čini ispravnim, zapis je možda lažiran; Traži u sustavu.
  • Korištenje sažetka bez čitanja izvora. AI može preokrenuti autorov pogled.
  • Objavljivanje AI teksta kakav jest. Originalnost i rizik od plagijata; Pišite s vlastitom analizom.
  • Ne postavlja se ograničenje "samo dati resurs". Bez ograničenja, AI dodaje izvana proizvedene informacije.

Ukratko

U pregledu literature AI štedi mnogo vremena u sažimanju, usporedbi i analizi činjeničnih izvora. Ali u humanističkim znanostima o provjeri izvora nema pregovaranja: sami pronađite izvore, provjerite svaki citat u stvarnom katalogu, provjerite svaki sažetak, nametnite ograničenje "samo citirani izvor" i napišite konačni tekst s vlastitom izvornom analizom. Lažni izvor uništit će vaš rad.

Zadatak aplikacije

Odaberite temu, pronađite 8-10 pravih publikacija u knjižnici/indeksu i prikupite njihove citate. Napravite usporednu tablicu s predlošcima "Samo na temelju izvora" i "Tematska karta". U zasebnom eksperimentu, recite umjetnoj inteligenciji da "predloži izvor" (bez ikakvih ograničenja) i provjeri citate koje predlaže jedan po jedan u katalogu i zabilježite koliko ih je stvarnih.

popis za provjeru

  • [ ] Sam sam pronašao izvore iz pravih kataloga.
  • [ ] Stavio sam ograničenje "oslanjati se samo na dati izvor" na AI.
  • [ ] Svaki citat sam potvrdio katalogom/DOI.
  • [ ] Provjerio sam svaki sažetak vraćajući se na izvor.
  • [ ] Napisao sam konačni tekst s vlastitom izvornom analizom i potvrđenim referencama.