Jedinica 7 / 12

Provjera izvora, anahronizam i halucinacije

Dobici:

  • Sposobnost da se objasni zašto su halucinacije (izmišljeni izvor, citat, događaj) i anahronizam najopasnije greške u istoriji
  • Sposobnost primjene discipline provjere svake reference u katalogu, poređenja sadržaja sa dokumentom i unakrsnog potvrđivanja kritičnih činjenica.
  • Sposobnost preispitivanja pristranosti i glasova koji nedostaju u izvorima tako što ćete umjetnu inteligenciju pitati gdje tražiti umjesto pravog izvora

Postoji upozorenje koje se ponavlja u svakoj jedinici ovog modula: izlaz AI je tvrdnja, a ne činjenica, dok se ne potvrdi. Ova jedinica pretvara to upozorenje u disciplinu. Istorija i arhiviranje su inherentno oblasti zasnovane na dokazima; Najosnovnija vještina istoričara je kritika izvora (pitanje od koga, kada, u koju svrhu je izvor proizveden i koliko je pouzdan). U doba umjetne inteligencije, ova vještina je postala još kritičnija jer je izvor sam možda izmišljen.

Ovdje ćemo detaljno pokriti tri opasnosti: halucinaciju (AI proizvodi izmišljene informacije, izvore ili citate), anahronizam (periodični elementi se pomjeraju u pogrešan period) i općenito disciplinu provjere izvora. Također ćemo vidjeti kako AI uči iz izvora koji su u prošlosti bili netačni ili pristrasni, tako da može reprodukovati pristrasnost.

Halucinacije: najopasnija greška

Halucinacija je kada AI pouzdano predstavlja nešto što zapravo ne postoji. Istorijski gledano, najčešće se viđa u sljedećim oblicima:

  • Izrađen izvor/referenca: Nepostojeći arhivski fond, broj datoteke, knjiga ili članak.
  • Izmišljeni citat: Riječ koja zapravo nije izgovorena, rečenica koja nije u dokumentu.
  • Izmišljeni događaj/datum/osoba: Događaj koji se nije dogodio, lažni datum, osoba koja ne postoji.
  • Fiktivna veza: Nepostojeći uzročno-posledični odnos između dva stvarna događaja.

Ono što halucinaciju čini opasnom je to što se čini vjerodostojnom. Izmišljena referenca ima isti format kao i prava referenca: naziv fonda, broj, datum. Dakle, "format izgleda ispravno" nikada ne znači "ispravno".

Pažnja: Nijedan izvor koji proizvodi YZ ne može se koristiti bez provjere i pronalaženja u katalogu ili na pouzdanom mjestu. Jedini način da se dokaže da referenca postoji je da je vidite gdje se nalazi izvorni izvor (arhivski katalog, biblioteka, publikacija). "AI je dao" nije dokaz.

Anahronizam: naočare tog perioda

Anahronizam je gledanje na prošlost kroz današnje naočale. Budući da je AI obučena na današnjem jeziku, ima jaku tendenciju da:

  • Pojam anahronizam: korištenje riječi, institucije ili koncepta koji ne pripadaju periodu.
  • Anahronizam koncepta: Projektovanje ideje sadašnjosti (npr. moderne ideologije ili identiteta) u prošlost.
  • Vrednosni anahronizam: prosuđivanje ponašanja u prošlosti samo prema današnjim standardima.

Posao istoričara je da shvati prošlost u njenom kontekstu. AI nedostaje ova kontekstna osjetljivost; Morate ga sami obezbijediti.

Razumijevanje zašto se halucinacije tako često dešavaju olakšava zaštitu od njih. AI je sistem koji radi na stvaranju „sljedeće najvjerovatnije riječi“; Nema svrhe kao što je "znanje istine". Kada mu se postavi pitanje, zna li odgovor ili ne, proizvede tekst koji izgleda statistički uvjerljivo. Format arhivske reference (naziv fonda, broj, datum) je naučeni obrazac; AI može ispuniti ovaj obrazac bez prave reference. Pa "zašto AI to izmišlja?" Odgovor na pitanje je jednostavan: lakše mu je da se pomiri nego da "ne zna". Na vama je odgovornost da ispunite ove kalupe stvarnim resursima.

Disciplina provjere izvora: korak po korak

1. Provjerite postojanje resursa. Pronađite svaku referencu koju daje AI u katalogu/publikaciji. Ako ga ne možete pronaći, nemojte ga koristiti.

2. Uporedite sadržaj sa izvorom. Da li informacije koje AI pripisuje dokumentu zaista postoje u dokumentu? Da li je citat potpuno isti?

3. Unakrsna potvrda. Za kritičnu činjenicu, pogledajte najmanje dva nezavisna pouzdana izvora.

4. Primijenite kritiku izvora. Da li je sam izvor pouzdan? Ko ga je proizveo, kada i za koju svrhu? Da li je to pristrasno?

5. Provucite ga kroz filter anahronizma. Postoje li termini, koncepti ili vrijednosni sudovi koji se ne uklapaju u period u izlazu?

6. Pitanje predrasuda. Da li je AI mogla reprodukovati pristranosti u istorijskim izvorima (ignorisanje jedne grupe, favorizovanje jedne tačke gledišta)?

Sloj za autentifikaciju

Pitanje

ko zna

entiteta

Da li ovaj resurs zaista postoji?

Ti u katalogu.

Sadržaj

Da li to zaista piše u dokumentu?

Vi u dokumentu

Potvrda

Da li neki drugi izvor to podržava?

ti, krst

pouzdanost

Da li je izvor pouzdan?

stručna prosudba

Period

Ima li anahronizama?

stručna prosudba

predrasude

Čiji glas nedostaje/iskrivljen?

stručna prosudba

tri mini kofera

Slučaj 1 — Šest izmišljenih referenci. Istraživač je od AI tražio listu izvora o nekoj temi. YZ je pružio 6 arhivskih referenci sa savršenim formatiranjem. U kataloškoj pretrazi nedostajalo je 4 od 6, a 2 su imala pogrešan broj. Da istraživač nije potvrdio, pojavila bi se studija koja bi citirala nepostojeće izvore. Pouka: svaka referenca je provjerena u katalogu.

Slučaj 2 — Izmišljeni citat. Pisac bi koristio upečatljiv citat koji AI pripisuje istorijskoj ličnosti. Kada je istražio izvor, vidio je da ne postoji dokument koji dokazuje da je ta osoba tako nešto rekla, te da je izjavu "izmislila" AI. Pouka: citati se ne mogu koristiti bez provjere iz primarnog ili pouzdanog izvora.

Slučaj 3 — Reprodukcija predrasuda. Učenik je imao AI da objasni istoriju regiona. Rezultat je potpuno ignorirao određenu zajednicu u tom području jer su ih izvori iz kojih je AI naučila također ignorirali. Učenik je uočio i ispravio ovu prazninu unakrsnim referencama. Lekcija: AI reprodukuje tišine i predrasude u izvorima; Mora se pitati čiji glas nedostaje.

Četiri šablona za kopiranje

1) Referentna lista za verifikaciju:

SVI izvori, reference, citati, datumi i imena osoba u tekstu ispod pojavljuju se u posebnoj listi. Za svaku dodajte napomenu: "zatraženo u ovom tekstu, mora biti nezavisno provjereno." Ako ne odaberete ništa, "provjeri"; Samo napravite listu za provjeru kako bih je mogao provjeriti iz kataloga/izvora. Tekst: [ovdje]

2) Anahronizam skeniranje:

Proučite tekst o [periodu] ispod. Istaknite pojmove, institucije, koncepte i vrijednosti koji MOŽDA NE pripadaju ovom periodu. Za svaki ukratko napišite zašto ste sumnjivi. Donošenje konačne presude; Napravite listu sumnji koje će stručnjak provjeriti. Tekst: [ovdje]

3) Okvir za kritiku izvora:

Kritika izvora se sastavlja o sljedećem izvoru: (1) Ko ju je mogao proizvesti, (2) Kada, (3) U koju svrhu, (4) Koje su moguće predrasude, (5) Kojim pitanjima treba vjerovati, a kojima treba biti oprezan. Izricanje konačne presude; Navedite pitanja i moguće opcije odgovora. Izvor: [ovdje]

4) Nedostaje kontrola jačine zvuka/pristranosti:

ČIJI bi glas i iskustvo koje grupe moglo nedostajati ili je jednostrano u sljedećem istorijskom sažetku? Koja je perspektiva dominantna, a koja nevidljiva? Napravite ovo kao listu pitanja; Popuniću ga unakrsnim referencama. Sažetak: [ovdje]

Slaba prompt / Jaka prompt

slaba:

Dajte mi pouzdane istorijske izvore i citate na ovu temu.

AI je vrlo sklona stvaranju referenci koje su ispravne po formi, ali izmišljene u sadržaju kada se traži "izvor" i "citat". Ovaj poziv je direktan poziv na halucinaciju.

Jaka:

Predložite koje VRSTE izvora (vrsta arhivskog fonda, vrsta publikacije, institucija) da tražim u svom istraživanju na ovu temu. POSTAVLJANJE određene reference, broja datoteke ili ponude; Samo mi reci gde da tražim. Tada ću pronaći prave izvore iz kataloga.

Razlika: od AI se traži "gdje tražiti", a ne "stvarna referenca"; Rizik od halucinacija je radikalno smanjen, a provjera je prepuštena čovjeku.

Uobičajene greške

  • Oslanjajući se na tačnu referencu. Izmišljena referenca također izgleda besprijekorno; mora biti ovjerena u katalogu.
  • Uzimajući direktan citat od AI. Citati se ne mogu koristiti bez potvrde iz primarnog/pouzdanog izvora.
  • Previdjeti anahronizam. Današnji termini i koncepti nečujno prodiru u prošlost.
  • Reproduciranje predrasuda. AI kopira šutnje iz izvora; Neophodno je pitati za zvuk koji nedostaje.
  • Oslanjajući se na jedan izvor. Kritične činjenice moraju potvrditi najmanje dva nezavisna izvora.

Ukratko

Provera izvora je u srcu istorije i arhiviranja, a još je važnija u doba veštačke inteligencije. Halucinacija proizvodi izvore, citate i događaje čiji je oblik savršen, ali sadržaj fiktivan; anahronizam iskrivljuje prošlost kroz današnja sočiva; a AI reprodukuje pristranosti u izvorima. Odbrana je disciplina: provjerite svaku referencu u katalogu, uporedite sadržaj sa dokumentom, unakrsno provjerite kritične činjenice, filtrirajte period i pristrasnost. Pitajte AI za "gdje tražiti", a ne "stvarni izvor". Čuvar istine je uvijek stručnjak.

Zadatak aplikacije

Neka AI izradi listu resursa o temi na kojoj radite (sa namjerno "slabim upitom"). Zatim izdvojite sve reference iz ovog izlaza pomoću predloška "liste validacije referenci" i pretražite svaku od njih u katalogu. Prebrojite koliko ih stvarno postoji, a koliko je izmišljenih ili netačnih. Ponovite istu temu sa "jakim upitom" ("gdje da pogledam") i osjetite razliku.

kontrolna lista

  • [ ] Provjerio sam svaku referencu u katalogu/pouzdanom izvoru.
  • [ ] Provjerio sam svaki citat sa primarnim/pouzdanim izvorom.
  • [ ] Unakrsno sam provjerio kritične činjenice s najmanje dva nezavisna izvora.
  • [ ] Filtrirao sam izlaz za anahronizme.
  • [ ] Ispitivao sam nestale/iskrivljene glasove i pristrasnost.