Enhet 7 / 11

Litteraturgjennomgang, kildebekreftelse og bekjempelse av hallusinasjoner

Gevinster:

  • Evne til å bruke kunstig intelligens til å oppsummere og sammenligne virkelige kilder, og eliminere grunnlaget for fabrikkert attribusjon med "bare basert på den gitte kilden"-begrensningen
  • Evne til å bruke disiplinen med å verifisere hver sitering i den faktiske katalogen, verifisere hvert abstrakt tilbake til kilden og fange DOI/avtrykkshallusinasjoner
  • Å kunne forstå hvordan aktualitet, flerspråklighet og grå litteratur bestemmer grensene for kunstig intelligenss kunnskap og hvorfor originalskriving kreves.

Arkeologi og kulturarv er en kumulativ vitenskap: hver nye studie bygger på tidligere publikasjoner som strekker seg over århundrer. Å skanne litteraturen (totaliteten av artikler, bøker, rapporter og avhandlinger publisert om det emnet) i en region, en type funn eller en periode er det første og mest slitsomme trinnet i enhver vitenskapelig studie. I denne enheten vil vi se i dybden hvordan AI fremskynder litteraturgjennomgangen, men hvorfor kildeverifisering er viktig på dette feltet og hvordan man kan bekjempe den farligste feilen til AI: hallusinasjon (fabrikerte kilder, siteringer og informasjon).

Grunnleggende prinsipp: AI hjelper med å oppsummere, sammenligne og organisere litteraturen; Men ingen sitering kan brukes uten bekreftelse i en ekte katalog, og ingen oppsummering kan bli til en vitenskapelig påstand uten å lese selve kilden. I humaniora ødelegger én falsk kilde troverdigheten til hele verket.

Hvorfor er hallusinasjon så kritisk på dette feltet?

Den vanligste feilen med offentlige chat-verktøy er å produsere akademiske ressurser som ikke eksisterer, men som virker veldig realistiske. AI kan utgjøre et "perfekt" utseende sitat ved å kombinere navnet på en ekte forfatter, navnet på et ekte tidsskrift og en plausibel tittel. Hvorfra?

  • AI produserer det "neste mest sannsynlige ordet"; den ser ikke på en faktisk database (med mindre et spesialverktøy er tilkoblet).
  • Fordi akademiske sitater er mønstret, er AI veldig "flink" til å lage en sitering som passer til mønsteret, men hvis innhold er fabrikkert.
  • I humaniora sjekker leseren ofte ikke umiddelbart kilden; Dette lar den falske attribusjonen gå live ubemerket.

Konklusjon: For en arkeolog bør hver forfatter-årstittel-triplett i AI-utdata betraktes som mistenkelig inntil det motsatte er bevist.

Tips: Bruk AI ikke som en "ressursfinner", men som en assistent som "behandler de virkelige ressursene du har." Finn de faktiske artiklene selv, gi PDF-ene til AI-en, og si "bare stol på disse tekstene jeg ga deg". Dermed er grunnlaget for hallusinasjon i stor grad eliminert.

Trinn for litteraturgjennomgang

  1. Omfang og spørsmål. Hva leter du etter? Avklare tema, periode, region og språkgrenser.
  2. Samling av reelle ressurser. Finn autentiske publikasjoner fra bibliotekskataloger, institusjonelle databaser og pålitelige kataloger. Det er risikabelt å "finne" ressurser for AI på dette trinnet.
  3. Oppsummering og kartlegging. Gi de faktiske tekstene du har samlet til AI for å oppsummere og kartlegge temaer og diskusjoner.
  4. Sammenligning og gapanalyse. Sammenlign synspunktene til forskjellige forfattere, finn motsetninger og uutforskede hull.
  5. Stavemåte og attribusjon. Skriv din egen argumentasjon med bekreftede sitater. AI gir utkast; du omskriver med din analyse og faktiske siteringer.

Disiplin for kildeverifisering

For hver sitering, sjekk:

  • Er det? Finnes forfatteren, året, tittelen, tidsskriftet/utgiveren i en faktisk katalog (bibliotek, DOI, indeks)?
  • Sier han det han sier? Sier kilden virkelig det AI hevder? Åpne kilden og les den relevante delen.
  • Er konteksten riktig? Er sitatet hentet fra forfatterens hensikt? Tilskrives forfatteren det motsatte synet?
  • Er den oppdatert og pålitelig? Er publikasjonen fagfellevurdert, aktuell, eller gjenspeiler den et utdatert syn?
Forsiktig: Bare fordi et DOI- eller inventarnummer gitt av AI vises i "riktig format", indikerer ikke at denne posten eksisterer. Søk etter tallet i det virkelige systemet. En ikke-eksisterende DOI er et av de vanligste tegnene på hallusinasjoner.

tre minisaker

Tilfelle 1 — Sammendrag spart tid. En doktorgradsstudent ga 60 virkelige artikler (alle han fant og lastet ned) til AI og laget et temakart; Han utarbeidet en tabell som sammenlignet forskjellige forfatteres syn på en funntype på to dager i stedet for uker. Hvert sammendrag er hentet og verifisert.

Tilfelle 2 — Falsk sveisekatastrofe avverget. En doktorgradsstudent ba AI om å "foreslå kilder om dette emnet" og fikk en kjekk liste med 15 sitater. Da han sjekket det på biblioteket, fant han ut at 9 av listen aldri eksisterte - ekte forfattere, oppdiktede titler. Hvis denne listen ble inkludert i avhandlingens bibliografi, ville troverdigheten til forsvaret kollapse og det kunne til og med betraktes som vitenskapelig uredelighet.

Sak 3 – Feil attribusjon rettet. Et team ville rapportere at AI fortalte en forfatter "han daterte det stedet til den romerske perioden"; Da vi henvendte oss til kilden, så man at forfatteren hevdet det motsatte, at siden var førromersk. AI hadde snudd visningen. Å lese kilden forhindret en alvorlig feil.

Fire kopierbare maler

1) Utelukkende stole på kilden som er gitt:

Din rolle: litteraturoppsummeringsassistent. Stol KUN på tekstene jeg vil lime inn nedenfor. IKKE LEGG TIL informasjon, kilder eller referanser utenfor disse tekstene. Skriv ned hver av påstandene dine, og angi hvilken del av teksten jeg ga deg er basert på. Hvis du blir spurt om noe som ikke står i teksten, si «det står ikke i kildene som er oppgitt».

2) Temakart og sammenligning:

Jeg vil gi sammendrag av [N] kilder nedenfor. Grupper dem etter temaer og lag en sammenligningstabell: for hvert tema, hvilke forfattere sier hva, hvor de er enige, hvor de motsier dem. Bruk kun synspunktene i tekstene jeg har gitt; legge til kommentarer.

3) Sjekkliste for sitatbekreftelse:

Når du VERIFISERER sitatlisten nedenfor, ta ut trinnene jeg må sjekke for hver (søk i katalogen, DOI-bekreftelse, les den relevante siden, kontekstsjekk). Du bekrefter IKKE nøyaktigheten av attribusjonene; fortell meg hva jeg bør sjekke. Kildefabrikasjon.

4) Gapanalyse:

Basert på litteratursammendragene jeg har gitt, liste opp spørsmål/hull som ser ut til å være undersøkt om dette emnet. For hvert gap, vis hvilken kilde som lot den være åpen. Stol bare på tekstene jeg har gitt deg; Ikke spekuler.

Svak forespørsel / Sterk forespørsel

Svak melding:

Gi de 15 viktigste akademiske kildene om dette emnet og deres sammendrag.

AI produserer en realistisk, men sannsynligvis delvis fabrikkert liste uten å se på en ekte database; Dette er selve den falske attribusjonsfellen.

Kraftig ledetekst:

Nedenfor limer jeg inn de fullstendige sitatene og sammendragene av de 12 virkelige artiklene jeg fant. Basert KUN på disse kommer det fram et temakart og sammenligningstabell. LEGG TIL ny ressurs. Angi hvilken artikkel hver linje kommer fra. Merk manglende emner som «ikke dekket i dette ressurssettet».

Forskjellen: den første er full av risikoen for fabrikkerte kilder; sistnevnte håndterer reelle ressurser pålitelig.

Aktualitet, språk og grå litteratur

Tre trekk ved den arkeologiske litteraturen gjør bruken av AI spesielt risikabel. Den første er aktualitet: kunnskapen om en modell fryses på en bestemt dato, og utgravninger, ny datering og korreksjoner etter den datoen er fraværende i den. AI kan presentere en erstattet visning som fortsatt gyldig; Derfor bør du skanne aktuelle publikasjoner. For det andre, flerspråklighet: arkeologi er skrevet på tysk, fransk, italiensk, tyrkisk og mange andre lokale språk enn engelsk. En viktig graverapport kan ha blitt publisert på bare ett språk; Å stole utelukkende på engelskspråklige kilder betyr å gå glipp av en stor del av litteraturen. AI hjelper med å skanne disse fremmedspråkskildene, men igjen, du må ha den faktiske kilden for hånden.

For det tredje, grå litteratur: det store flertallet av arkeologisk kunnskap ligger i dokumenter som ikke vises i offisielle tidsskrifter, som kommersielle utgravningsrapporter, institusjonelle arkiver og upubliserte avhandlinger. Grå litteratur (rapporter produsert i kommersielle eller bedriftskanaler som ikke er lett tilgjengelig i tradisjonelle publikasjonskataloger) er enten fraværende eller knappe i AI-treningsdata; Derfor kjenner AI ikke denne informasjonen eller finner den opp. Den virkelige arkeologiske historien om en region er ofte i denne grå litteraturen, og du kan bare nå den med den virkelige hånden fra de institusjonelle arkivene.

Tips: Å si "AI kunne ikke finne noe" eller "det er få ressurser" om et emne betyr ikke at det er lite arbeid med det emnet; Ofte er kilden i grå litteratur, på et fremmedspråk, eller etter informasjonsdelen av modellen. Spør det virkelige arkivet om mangelen på ressurser, ikke AI.

Litteraturoppgavetabell

Quest

Rollen til AI

menneskelig avgjørelse

verifisering

innkjøp

Svak/risiko

Utvalg fra ekte katalog

Katalogbekreftelse

oppsummering

Sterk (til gitt tekst)

nøyaktighet, valg

Les kilden

Sammenligning

Tema/motsigelseskart

Kommentar, vekt

kildekontekst

Sitatskriving

format omriss

innhold, nøyaktighet

Er det/står det

Gap analyse

Kandidatspørsmål

Forskningsverdi

Domenekunnskap

Vanlige feil

  • Få AI til å "finne" ressurser. Gir falsk attribusjon; Finn ressursene selv.
  • Stoler på DOI/imprint-formatet. Selv om formatet virker riktig, kan posten være fabrikkert; Søk i systemet.
  • Bruke sammendraget uten å lese kilden. AI kan snu forfatterens syn.
  • Publiserer AI-teksten som den er. Originalitet og risiko for plagiering; Skriv med din egen analyse.
  • Ikke plassere "bare gitt ressurs"-begrensningen. Uten begrensninger legger AI til eksternt fabrikkert informasjon.

Oppsummert

I litteraturgjennomgang sparer AI mye tid på å oppsummere, sammenligne og analysere faktakilder. Men i en humaniora er kildeverifisering ikke omsettelig: finn kildene selv, verifiser hver sitering i den faktiske katalogen, sjekk tilbake hvert abstrakt, pålegg "bare sitert kilde"-begrensningen, og skriv den endelige teksten med din egen originale analyse. En falsk kilde vil ødelegge arbeidet ditt.

Søknadsoppgave

Velg et emne, finn 8-10 virkelige publikasjoner i biblioteket/indeksen og samle sitatene deres. Lag et sammenligningsdiagram med malene "Basert på kilde" og "Temakart". I et eget eksperiment, be AI om å "foreslå en kilde" (uten noen begrensninger) og sjekk sitatene den foreslår en etter en i katalogen og legg merke til hvor mange som er ekte.

sjekkliste

  • [ ] Jeg fant kildene selv fra ekte kataloger.
  • [ ] Jeg legger begrensningen "bare stol på den gitte kilden" på AI.
  • [ ] Jeg har bekreftet hver sitering med katalogen/DOI.
  • [ ] Jeg har verifisert hvert sammendrag ved å gå tilbake til kilden.
  • [ ] Jeg skrev den endelige teksten med min egen originale analyse og bekreftede referanser.