Enhet 7 / 12

Kildeverifisering, anakronisme og hallusinasjon

Gevinster:

  • Evne til å forklare hvorfor hallusinasjon (fabrikkert kilde, sitat, hendelse) og anakronisme er de farligste feilene i historien
  • Evne til å bruke disiplinen med å verifisere hver referanse i katalogen, sammenligne innhold med dokumentet og kryssbekrefte kritiske fakta.
  • Evne til å stille spørsmål ved skjevheter og manglende stemmer i kilder ved å spørre kunstig intelligens hvor man skal lete i stedet for den virkelige kilden

Det er en advarsel som gjentas i hver enhet av denne modulen: utgangen fra AI er en påstand, ikke et faktum, inntil den er bekreftet. Denne enheten gjør den advarselen til en disiplin. Historie og arkivering er iboende bevisbaserte felt; Den mest grunnleggende ferdigheten til en historiker er kildekritikk (spørsmål av hvem, når, for hvilket formål en kilde ble produsert og hvor pålitelig den er). I AI-tiden har denne ferdigheten blitt enda mer kritisk fordi selve kilden nå kan være fabrikkert.

Her vil vi dekke tre farer i dybden: hallusinasjon (AI som produserer fabrikkert informasjon, kilder eller sitater), anakronisme (periodiske elementer flyttes til feil periode), og disiplinen kildeverifisering generelt. Vi vil også se AI lære fra kilder som var unøyaktige eller partiske tidligere, slik at den kan reprodusere skjevhet.

Hallusinasjon: den farligste feilen

En hallusinasjon er når en kunstig intelligens selvsikkert presenterer noe som faktisk ikke eksisterer. Historisk sett er det oftest sett i følgende former:

  • Fabrisert kilde/referanse: Et ikke-eksisterende arkivfond, filnummer, bok eller artikkel.
  • Oppdiktet sitat: Et ord som faktisk ikke ble sagt, en setning som ikke er i dokumentet.
  • Oppdiktet hendelse/dato/person: En hendelse som ikke skjedde, en falsk dato, en person som ikke eksisterer.
  • Fiktiv sammenheng: Et ikke-eksisterende årsak-virkningsforhold mellom to virkelige hendelser.

Det som gjør en hallusinasjon farlig er at den virker troverdig. En oppdiktet referanse har samme format som en reell referanse: fondsnavn, nummer, dato. Så "format ser riktig ut" betyr aldri "riktig".

OBS: Ingen ressurs produsert av YZ kan brukes uten å være verifisert og funnet i katalogen eller på et pålitelig sted. Den eneste måten å bevise at en referanse eksisterer på er å se den der den opprinnelige kilden er plassert (arkivkatalog, bibliotek, publikasjon). "AI ga det" er ikke bevis.

Anakronisme: periodens briller

Anakronisme er å se fortiden gjennom dagens briller. Fordi AI er trent i dagens språk, har den en sterk tendens til å:

  • Begrepsanakronisme: Bruke et ord, institusjon eller begrep som ikke tilhører perioden.
  • Konseptanakronisme: Projisere en idé om nåtiden (f.eks. en moderne ideologi eller identitet) inn i fortiden.
  • Verdianakronisme: Bedømme tidligere atferd kun etter dagens standarder.

Historikerens jobb er å forstå fortiden i sin sammenheng. AI mangler denne kontekstsensitiviteten; Du må sørge for det selv.

Å forstå hvorfor hallusinasjoner skjer så ofte gjør det lettere å beskytte seg mot det. AI er et system som jobber for å produsere det "neste mest sannsynlige ordet"; Det har ingen hensikt som å "kjenne sannheten". Når han får et spørsmål, enten han vet svaret eller ikke, produserer han tekst som ser statistisk overbevisende ut. Formatet til en arkivreferanse (fondsnavn, nummer, dato) er et innlært mønster; AI kan fylle dette mønsteret uten en reell referanse. Så "hvorfor gjør AI det opp?" Svaret på spørsmålet er enkelt: det er lettere for ham å gjøre opp enn å "ikke vite". Ansvaret faller på deg for å fylle disse formene med reelle ressurser.

Disiplin for kildebekreftelse: trinn for trinn

1. Bekreft eksistensen av ressursen. Finn hver referanse gitt av AI i katalogen/publikasjonen. Hvis du ikke finner den, ikke bruk den.

2. Sammenlign innholdet med kilden. Finnes faktisk informasjonen som AI tilskriver et dokument i dokumentet? Er sitatet akkurat det samme?

3. Kryssbekreft. For et kritisk faktum, se på minst to uavhengige pålitelige kilder.

4. Bruk kildekritikk. Er selve kilden pålitelig? Hvem produserte den, når og til hvilket formål? Er det partisk?

5. Før den gjennom anakronismefilteret. Er det noen termer, begreper eller verdivurderinger som ikke passer til perioden i produksjonen?

6. Spørsmål fordommer. Kunne AI ha gjengitt skjevhetene i historiske kilder (ignorerer én gruppe, favoriserer ett synspunkt)?

Autentiseringslag

Spørsmål

hvem gjør det

enhet

Finnes denne ressursen virkelig?

Du i katalogen.

Innhold

Står dette virkelig i dokumentet?

Du i dokumentet

Bekreftelse

Er det noen annen kilde som støtter det?

du, kors

pålitelighet

Er kilden pålitelig?

ekspertvurdering

Periode

Er det noen anakronismer?

ekspertvurdering

fordommer

Hvem sin stemme mangler/forvrengt?

ekspertvurdering

tre minisaker

Sak 1 – Seks fabrikerte referanser. En forsker ba AI om en liste over kilder om et emne. YZ ga 6 arkivreferanser med perfekt formatering. I katalogsøket manglet 4 av de 6, 2 av dem hadde feil nummer. Hvis forskeren ikke hadde verifisert, ville en studie som siterte ikke-eksisterende kilder ha dukket opp. Leksjon: hver referanse er verifisert i katalogen.

Case 2 — Sammendiktet sitat. En forfatter vil bruke et slående sitat som AI tilskriver en historisk figur. Da han undersøkte kilden, så han at det ikke var noe dokument som beviste at personen sa noe slikt, og at uttalelsen var "diktet opp" av AI. Leksjon: sitater kan ikke brukes uten bekreftelse fra en primær eller pålitelig kilde.

Sak 3 – Gjengivelse av fordommer. En student fikk AI til å forklare historien til en region. Utdataene ignorerte fullstendig et spesifikt fellesskap i det området fordi kildene AI hadde lært fra også hadde ignorert dem. Eleven la merke til og korrigerte dette gapet med kryssreferanser. Leksjon: AI gjengir stillhet og skjevheter i kilder; Man må spørre hvem sin stemme mangler.

Fire kopierbare maler

1) Referansebekreftelsesliste:

ALLE kilde-, referanse-, sitat-, dato- og personnavn i teksten under vises i en egen liste. Legg til en merknad for hver: "hevdet i denne teksten, må verifiseres uavhengig." Hvis du ikke velger noen, "bekreft"; Bare lag en liste for å bekrefte slik at jeg kan sjekke den fra katalogen/kilden. Tekst: [her]

2) Anakronismeskanning:

Undersøk teksten om [periode] nedenfor. Fremhev termer, institusjoner, konsepter og verdier som KANSKJE IKKE tilhører denne perioden. For hver, skriv kort hvorfor du er mistenksom. Foreta en endelig dom; Lag en liste over mistanker som eksperten vil sjekke. Tekst: [her]

3) Rammeverk for kildekritikk:

En kildekritikk er utarbeidet om følgende kilde: (1) Hvem kan ha produsert den, (2) Når, (3) For hvilket formål, (4) Hva er dens mulige skjevheter, (5) Hvilke saker bør man stole på og hvilke bør være forsiktige. Pålegge endelig dom; Gi spørsmål og mulige svaralternativer. Kilde: [her]

4) Manglende volum/biaskontroll:

HVENS stemme og hvilken gruppes opplevelse kan mangle eller ensidig i følgende historiske oppsummering? Hvilket perspektiv er dominerende, hvilket er usynlig? Lag dette som en liste med spørsmål; Jeg vil fylle den med kryssreferanser. Sammendrag: [her]

Svak forespørsel / Sterk forespørsel

Svak:

Gi meg pålitelige historiske kilder og sitater om dette emnet.

AI er veldig tilbøyelig til å produsere referanser som er korrekte i form, men fabrikkerte i innhold når de blir spurt om "kilde" og "sitering". Denne oppfordringen er en direkte invitasjon til hallusinasjon.

Sterk:

Foreslå hva SLAGS kilder (arkivfondstype, publikasjonstype, institusjon) jeg bør se etter i min forskning på dette emnet. TILPASSE en spesifikk referanse, filnummer eller tilbud; Bare fortell meg hvor jeg skal se. Da vil jeg finne de virkelige kildene fra katalogene.

Forskjell: AI blir spurt om "hvor du skal se", ikke "faktisk referanse"; Risikoen for hallusinasjoner reduseres radikalt og verifisering overlates til mennesket.

Vanlige feil

  • Stoler på riktig referanse. Den oppdiktede referansen fremstår også feilfri; må verifiseres i katalogen.
  • Tar et direkte sitat fra AI. Sitater kan ikke brukes uten bekreftelse fra primær/pålitelig kilde.
  • Med utsikt over anakronismen. Dagens termer og begreper siver stille inn i fortiden.
  • Reproduserer fordommer. AI kopierer stillheter fra kilder; Det er nødvendig å spørre om den manglende lyden.
  • Stoler på en enkelt kilde. Kritiske fakta må bekreftes av minst to uavhengige kilder.

Oppsummert

Kildeverifisering er kjernen i historie og arkivering, og er enda mer kritisk i AI-tiden. Hallusinasjon produserer kilder, sitater og hendelser hvis form er perfekt, men hvis innhold er fiktivt; anakronisme forvrenger fortiden gjennom dagens linser; og AI gjengir skjevheter i kilder. Forsvar er en disiplin: verifiser hver referanse i katalogen, sammenlign innhold med dokument, krysssjekk kritiske fakta, filtrer gjennom periode og skjevhet. Spør AI om "hvor du skal lete", ikke "den faktiske kilden." Sannhetens vokter er alltid eksperten.

Søknadsoppgave

La AI produsere en liste over ressurser om et emne du jobber med (med en bevisst "svak ledetekst"). Trekk deretter ut alle referansene fra denne utgangen med malen "referansevalideringsliste" og søk i hver og en i en katalog. Tell hvor mange som faktisk finnes og hvor mange som er oppdiktet eller unøyaktige. Gjenta det samme emnet med en "sterk oppfordring" ("hvor skal jeg se") og opplev forskjellen.

sjekkliste

  • [ ] Jeg bekreftet hver referanse i katalogen/den pålitelige kilden.
  • [ ] Jeg har verifisert hvert sitat med den primære/pålitelige kilden.
  • [ ] Jeg har krysssjekket kritiske fakta med minst to uavhengige kilder.
  • [ ] Jeg filtrerte utgangen for anakronismer.
  • [ ] Jeg stilte spørsmål ved manglende/forvrengte stemmer og partiskhet.