Halucinacije i granice vjerodostojnosti

Dobici:

• Može objasniti što su halucinacije i zašto se javljaju
• Može odrediti kada AI izlaz treba potvrditi
• Može primijeniti praktične tehnike koje povećavaju pouzdanost

Možda je najkritičnija tema AI pismenosti u ovoj jedinici: Izmišljanje modela, odnosno halucinacije. Razumijevanje ovog izraza najosnovnija je sigurnosna mjera za svakoga tko koristi AI. Jer korisnik koji ne prepoznaje halucinaciju može lažnu informaciju zamijeniti istinitom i prenijeti je na poslovnu odluku, komunikaciju s klijentom ili službeni dokument. U ovoj cjelini naučit ćete što su halucinacije, zašto su neizbježne i kako se zaštititi od njih.

Što je halucinacija?

Halucinacija je kada jezični model proizvodi informacije koje zapravo ne postoje u tečnom i samouvjerenom jeziku, baš kao da su istinite. Manekenka nema namjeru lagati; Proizvodeći samo "najvjerojatniji nastavak", stvara tekst koji se čini vjerojatnim, ali je zapravo lažan.

Primjer: Ako modelu kažete "Preporučite akademski izvor o temi. Sve se pojavljuje u ispravnom formatu i uvjerljivo; Ali izvor je potpuno imaginaran. Ovo je klasičan primjer halucinacije.

Zašto se to događa? (Zapamtite drugu jedinicu)

Izvor halucinacije leži u principu rada modela. Model nije "enciklopedija činjenica"; To je "stroj vjerojatnosti". Njegov je posao proizvesti najskladniji mogući nastavak vašeg pitanja; Ne radi se o donošenju najtočnijih informacija. Model:

• Ne zna što ne zna; Kada se suoči s prazninom, nastoji ispuniti mogući odgovor umjesto da kaže "ne znam".
• Nema mehanizam za kontrolu stvarnosti; Ne provjerava odgovara li tekst koji proizvodi svijetu.
• Tečnost i točnost dvije su različite stvari za njega; Samo zato što je tečno ne znači da je ispravno.

Oprez: Halucinacija nije "kvar"; To je inherentna značajka tehnologije. Novi modeli to smanjuju, ali ne mogu potpuno eliminirati. Stoga, umjesto čekanja na „nehalucinacijski model“, potrebno je naučiti živjeti s halucinacijama.

Gdje je visok rizik od halucinacija?

Nije svaki ishod jednako rizičan. Rizik se povećava kada:

Visoki rizik

Nizak rizik

Točne brojke, datumi, statistika

Generiranje općih ideja, brainstorming

Traženje izvora, citata, referenci

Promijenite ton teksta

Niše, specijalizirane teme

Uobičajene, općenite teme

Aktualni događaji i ljudi

Sažmite svoj tekst

Povlaštene informacije specifične za vašu tvrtku

Ispravak gramatike

Tri mini kućišta

Slučaj 1 — Lažna figura ušla je u prezentaciju. Zaposlenik je zatražio od AI-ja "stopu rasta e-trgovine 2023. i izvor u Turskoj" za industrijsko izvješće. Model je vratio uvjerljiv postotak (48%) i naziv ustanove. Zaposlenik ga je stavio u prezentaciju bez provjere; Kada se na sastanku otkrilo da je brojka izmišljena, narušena je i prezentacija i ugled tvrtke. Da je isti zaposlenik dobio brojku iz službenog izvora, problema ne bi bilo.

Slučaj 2 — Nepostojeći dio zakona. Pomoćnik je zatražio od AI-a "relevantni član zakona" za peticiju. Model je proizveo broj stavke i tekst realističnog izgleda; ali tog predmeta nije bilo. Srećom, pravni odjel je to uočio prije isporuke. Lekcija: pravni citati uvijek se provjeravaju iz primarnog izvora.

Slučaj 3 — Ispravna metoda, siguran rezultat. Drugi zaposlenik u istom timu jednostavno je dao AI-u da izradi nacrt izvješća, sam upisujući sve brojeve iz službenih podataka i dajući mu upute da "ne doda brojke koje nisu u ovom tekstu." Rezultat je bio brz i točan. Razlika: AI je napisao nacrt, ljudi hranili činjenicama.

Slab upit / Jak upit

Slab upit: Navedite 3 najvažnija akademska izvora o ovoj temi s autorom i godinom.

Rezultat: Model može sigurno odgovarati nepostojećim izvorima.

Snažan upit: Napišite sažetak na temelju teksta koji sam zalijepio ispod. Koristite samo informacije iz ovog teksta. Nemojte dodavati imena, brojeve ili izvore koji nisu u tekstu. Ako niste sigurni, napišite "nije navedeno u tekstu".<text>[zalijepite ovdje]</text>

Rezultat: Budući da model dobiva izvor od vas, prostor za ugradnju postaje uži.

Praktične tehnike koje povećavaju pouzdanost

Označite svaku tvrdnju koja se može provjeriti u vašem odgovoru (broj, datum, ime, izvor) i stavite ih na zasebnu listu "obavezno provjeriti".

Odgovorite na ovo pitanje. Ako niste sigurni, nemojte nagađati; Recite "Nisam siguran" i objasnite da ne znate što. Predmet: [predmet]

Odgovorite na isto pitanje na dva različita načina i označite proturječnosti između ta dva odgovora. Pa da vidim koje su točke upitne.Pitanje: [pitanje]

Ovjerit ću tekst ispod. Navedite rizične tvrdnje koje bih trebao provjeriti po važnosti i predložite gdje mogu provjeriti svaku od njih. Tekst: [zalijepite ovdje]

Osim toga, usvojite ove navike:

1. Vi navedite izvor. Zalijepite relevantni dokument u tekst i recite "odgovori samo na temelju ovoga."
2. Uvijek provjerite provjerljive činjenice. Provjerite brojeve, datume, imena, citate i izvore iz neovisnog, pouzdanog izvora.
3. Zamolite ga da naznači da nije siguran za model. To smanjuje rizik, ali ga ne eliminira u potpunosti.
4. Za visokorizične poslove neka stručnjak pregleda proizvod. Pravni, financijski i zdravstveni rezultati moraju proći kroz filter ljudskih stručnjaka.
5. Koristite umjetnu inteligenciju kao "polazište", a ne kao "završnu riječ". Nacrt je od njega; Provjera i odluka je vaša.

Oprez: "model je rekao dva puta, onda je istina" logika je pogrešna. Može samouvjereno ponoviti istu grešku. Ponavljanje nije dokaz točnosti.

Uobičajene greške

Uobičajene greške

• Korištenje izvora bez provjere istih. Može stvoriti modele knjiga, članaka, članaka zakona i poveznica; Svaka referenca mora biti potvrđena.
• Miješajući samopouzdani ton s točnošću. Najopasnija stvar kod halucinacije je upravo to što se čini samouvjerenom.
• Dovoljno je samo da model kaže "vi potvrdite". Samopotvrda modela nije neovisna potvrda.
• Korištenje visokorizičnog izlaza bez pokazivanja stručnjaku. Ljudska kontrola je neophodna u novcu, zakonu i zdravlju.

Ukratko

• Halucinacija je kada model proizvodi nepostojeću informaciju na tečan i samouvjeren način kao da je istinita.
• Uzrok nije kvar, već priroda modela koja predviđa vjerojatnost; ne može u potpunosti eliminirati.
• Rizik je posebno visok kada se radi o preciznim brojkama, izvorima, ažurnim informacijama i pitanjima vezanim uz nišu.
• Da biste se zaštitili: navedite izvor, provjerite činjenice, recite "ako niste sigurni, recite mi", neka visokorizični izlaz provjeri stručnjak.
• Koristite AI kao početnu točku; Konačna provjera i odgovornost uvijek ostaje na vama.

Zadatak primjene

Recite svom AI alatu da "predloži 3 akademska izvora" o temi koja zahtijeva stručnost i pokušajte potvrditi izvore koje predlaže na internetu; Zabilježite koliko ih je pravih. Potom ponovite isti zadatak metodom "vi dajte izvor" i uočite razliku.

Kontrolni popis

• [ ] Mogu objasniti što je halucinacija i zašto se javlja.
• [ ] Mogu razlikovati zadatke visokog i niskog rizika od halucinacija.
• [ ] Mogu smanjiti rizik od izmišljanja davanjem izvora modelu.
• [ ] Neovisno provjeravam brojeve, datume, imena i izvore.
• [ ] Samopouzdani ton ne smatram dokazom točnosti.