Hallusinasjoner og grensene for troverdighet

Gevinster:

Kan forklare hva en hallusinasjon er og hvorfor den oppstår
Kan bestemme når AI-utgang må valideres
Kan anvende praktiske teknikker som øker påliteligheten

Det kanskje mest kritiske temaet for AI-kompetanse er i denne enheten: Modellbygging, det vil si hallusinasjon. Å forstå dette begrepet er den mest grunnleggende sikkerhetsforanstaltningen for alle som bruker AI. Fordi en bruker som ikke gjenkjenner hallusinasjonen kan forveksle falsk informasjon som sann og overføre den til en forretningsbeslutning, kundekommunikasjon eller et offisielt dokument. I denne enheten vil du lære hva en hallusinasjon er, hvorfor den er uunngåelig, og hvordan du kan beskytte deg mot den.

Hva er en hallusinasjon?

En hallusinasjon er når en språkmodell produserer informasjon som faktisk ikke eksisterer i et flytende og selvsikkert språk, akkurat som om det var sant. Modellen har ikke tenkt å lyve; Ved å produsere bare den "mest sannsynlige fortsettelsen", skaper den en tekst som virker sannsynlig, men som faktisk er falsk.

Eksempel: Hvis du forteller en modell "Anbefal en akademisk kilde om emnet Alt vises i riktig format og overbevisende; Men kilden er helt imaginær. Dette er et klassisk eksempel på hallusinasjon.

Hvorfor skjer det? (Husk enhet to)

Kilden til hallusinasjonen ligger i arbeidsprinsippet til modellen. Modellen er ikke et «faktaleksikon»; Det er en "sannsynlighetsmaskin". Dens jobb er å produsere en jevnest mulig fortsettelse av spørsmålet ditt; Det handler ikke om å bringe den mest nøyaktige informasjonen. Modell:

Han vet ikke det han ikke vet; Når han står overfor et tomt, har han en tendens til å fylle ut et mulig svar i stedet for å si «jeg vet ikke».
Den har ingen mekanisme for å kontrollere virkeligheten; Den sjekker ikke om teksten den produserer samsvarer med verden.
Flytende og nøyaktighet er to forskjellige ting for ham; Bare fordi det er flytende betyr ikke det at det er riktig.

Forsiktig: Hallusinasjon er ikke en "feil"; Det er et iboende trekk ved teknologi. Nye modeller reduserer dette, men kan ikke eliminere det helt. Derfor, i stedet for å vente på en "ikke-hallusinasjonsmodell", er det nødvendig å lære å leve med hallusinasjoner.

Hvor er risikoen for hallusinasjoner høy?

Ikke alle utfall er like risikabelt. Risikoen øker når:

Høy risiko

Lav risiko

Nøyaktige tall, datoer, statistikk

Generer generelle ideer, brainstorming

Be om kilder, sitater, referanser

Endre tonen i en tekst

Nisje, spesialiserte emner

Vanlige, generelle emner

Aktuelle hendelser og personer

Oppsummer teksten din

Innsideinformasjon som er spesifikk for din bedrift

Grammatikkretting

Tre minivesker

Sak 1 — En falsk figur kom inn i presentasjonen. En ansatt spurte AI om «2023 e-commerce growth rate and source in Türkiye» for bransjerapporten. Modellen ga en overbevisende prosentandel (48%) og et institusjonsnavn. Den ansatte la det inn i presentasjonen uten å verifisere det; Da det på møtet ble avslørt at figuren var fabrikkert, ble både presentasjonen og selskapets omdømme skadet. Hvis samme ansatt hadde fått tallet fra den offisielle kilden, ville det ikke vært noe problem.

Sak 2 — Ikke-eksisterende lovverk. En assistent ba AI om den "relevante lovartikkelen" for en begjæring. Modellen produserte et realistisk utseende varenummer og tekst; men den varen var ikke der. Heldigvis la juridisk avdeling merke til det før levering. Leksjon: juridiske henvisninger bekreftes alltid fra primærkilden.

Tilfelle 3 — Riktig metode, sikkert resultat. En annen ansatt i det samme teamet fikk bare AI til å utarbeide rapporten, la inn alle tallene selv fra offisielle data og instruerte ham om å "legge til ingen tall som ikke er i denne teksten." Resultatet ble både raskt og nøyaktig. Forskjell: AI skrev utkast, fakta matet av mennesker.

Svak forespørsel / sterk forespørsel

Svak oppfordring: Gi de 3 viktigste akademiske kildene om dette emnet med forfatter og årstall.

Resultat: Modellen kan trygt passe til ikke-eksisterende kilder.

Kraftig ledetekst: Skriv et sammendrag basert på teksten jeg limte inn nedenfor. Bruk kun informasjonen i denne teksten. Ikke legg til navn, tall eller kilder som ikke er i teksten. Hvis du ikke er sikker, skriv "ikke spesifisert i teksten".<text>[lim inn her]</text>

Resultat: Siden modellen får kilden fra deg, blir monteringsplassen smalere.

Praktiske teknikker som øker påliteligheten

Merk hver verifiserbar påstand i svaret ditt (nummer, dato, navn, kilde) og sett dem på en egen "må sjekke"-liste.

Svar på dette spørsmålet. Hvis du ikke er sikker, ikke gjett; Si "Jeg er ikke sikker" og forklar at du ikke vet hva. Emne: [emne]

Svar på det samme spørsmålet på to forskjellige måter og marker motsetningene mellom de to svarene. Så la meg se hvilke punkter som er tvilsomme. Spørsmål: [spørsmål]

Jeg vil bekrefte teksten nedenfor. List opp de risikable påstandene jeg bør sjekke i rekkefølge etter viktighet og foreslå hvor jeg kan bekrefte hver enkelt. Tekst: [lim inn her]

I tillegg, adopter disse vanene:

Du oppgir kilden. Lim inn det aktuelle dokumentet i teksten og si «svar basert på dette alene».
Sjekk alltid verifiserbare fakta. Bekreft tall, datoer, navn, sitater og kilder fra en uavhengig, pålitelig kilde.
Be ham angi at han ikke er sikker på modellen. Dette reduserer risikoen, men eliminerer den ikke helt.
For høyrisikojobber, få en ekspert til å inspisere produksjonen. Juridiske, økonomiske og helserelaterte resultater må passere gjennom filteret til menneskelige eksperter.
Bruk AI som et «utgangspunkt», ikke som et «sluttord». Utkastet er fra ham; Bekreftelsen og avgjørelsen er din.

Advarsel: "Modellen sa det to ganger, så er det sant"-logikken er feil. Kan gjenta samme feil med selvtillit. Repetisjon er ikke bevis på nøyaktighet.

Vanlige feil

Bruke kilder uten å verifisere dem. Den kan lage modellbøker, artikler, lovartikler og lenker; Hver referanse må bekreftes.
Tar feil av den selvsikre tonen for nøyaktighet. Det farligste med en hallusinasjon er nettopp at den virker selvsikker.
Bare å la modellen si "du bekrefter" er nok. Selvvalidering av modellen er ikke uavhengig validering.
Bruke høyrisikoutdata uten å vise det til en ekspert. Menneskelig kontroll er avgjørende for penger, lov og helse.

Oppsummert

Hallusinasjon er når modellen produserer ikke-eksisterende informasjon på en flytende og selvsikker måte som om den var sann.
Årsaken er ikke en funksjonsfeil, men modellens sannsynlighetspredikerende natur; kan ikke elimineres helt.
Risikoen er spesielt høy når det gjelder presise tall, kilder, oppdatert informasjon og nisjespørsmål.
For å beskytte deg selv: gi kilden, verifiser fakta, si "hvis du ikke er sikker, fortell meg", få høyrisikoutdata sjekket av en ekspert.
Bruk AI som utgangspunkt; Den endelige bekreftelsen og ansvaret forblir alltid hos deg.

Søknadsoppgave

Fortell AI-verktøyet ditt å "foreslå 3 akademiske kilder" om et emne som krever ekspertise og prøv å bekrefte kildene det foreslår på internett; Legg merke til hvor mange som er ekte. Gjenta deretter den samme oppgaven med "du gir kilden"-metoden og observer forskjellen.

Sjekkliste

[ ] Jeg kan forklare hva en hallusinasjon er og hvorfor den oppstår.
[ ] Jeg kan skille mellom oppgaver med høy og lav hallusinasjonsrisiko.
[ ] Jeg kan redusere risikoen for fabrikasjon ved å gi kilden til modellen.
[ ] Jeg bekrefter uavhengig tall, datoer, navn og kilder.
[ ] Jeg anser ikke den trygge tonen som bevis på nøyaktighet.