Halucinația și limitele credibilității

Câștiguri:

• Poate explica ce este o halucinație și de ce apare
• Poate determina când ieșirea AI trebuie validată
• Poate aplica tehnici practice care sporesc fiabilitatea

Poate cel mai critic subiect al alfabetizării AI este în această unitate: alcătuirea modelului, adică halucinația. Înțelegerea acestui termen este cea mai elementară măsură de siguranță pentru oricine folosește AI. Pentru că un utilizator care nu recunoaște halucinația poate greși informațiile false ca fiind adevărate și le poate transfera într-o decizie de afaceri, comunicare cu clientul sau un document oficial. În această unitate, veți afla ce este o halucinație, de ce este inevitabilă și cum să vă protejați împotriva acesteia.

Ce este o halucinație?

O halucinație este atunci când un model de limbaj produce informații care nu există de fapt într-un limbaj fluent și încrezător, ca și cum ar fi adevărat. Modelul nu intenționează să mintă; Producând doar „cea mai probabilă continuare”, creează un text care pare probabil, dar este de fapt fals.

Exemplu: Dacă îi spui unui model „Recomandă o sursă academică pe subiect Totul apare în formatul corect și convingător; Dar sursa este complet imaginară. Acesta este un exemplu clasic de halucinație.

De ce se întâmplă? (Amintiți-vă de unitatea a doua)

Sursa halucinației constă în principiul de funcționare al modelului. Modelul nu este o „enciclopedie a faptelor”; Este o „mașină de probabilitate”. Sarcina sa este de a produce cea mai lină continuare posibilă a întrebării tale; Nu este vorba de a aduce cele mai exacte informații. Model:

• El nu știe ce nu știe; Când se confruntă cu un gol, el tinde să completeze un posibil răspuns în loc să spună „Nu știu”.
• Nu are niciun mecanism care să controleze realitatea; Nu verifică dacă textul pe care îl produce se potrivește cu lumea.
• Fluența și acuratețea sunt două lucruri diferite pentru el; Doar pentru că este fluent nu înseamnă că este corect.

Atenție: halucinația nu este o „defecțiune”; Este o caracteristică inerentă a tehnologiei. Noile modele reduc acest lucru, dar nu îl pot elimina complet. Prin urmare, în loc să așteptați un „model non-halucinație”, este necesar să învățați să trăiți cu halucinații.

Unde este riscul de halucinații ridicat?

Nu orice rezultat este la fel de riscant. Riscul crește atunci când:

Risc ridicat

Risc scăzut

Cifre exacte, date, statistici

Generarea de idei generale, brainstorming

Cerere surse, citate, referințe

Schimbați tonul unui text

Nișă, subiecte de specialitate

Subiecte comune, generale

Evenimente curente și oameni

Rezumați-vă textul

Informații interne specifice companiei dvs

Corecție gramaticală

Trei mini carcase

Cazul 1 — O figură falsă a intrat în prezentare. Un angajat a cerut AI „rata de creștere a comerțului electronic în 2023 și sursa în Türkiye” pentru raportul industriei. Modelul a returnat un procent convingător (48%) și un nume de instituție. Angajatul a introdus-o în prezentare fără să o verifice; Când s-a dezvăluit la ședință că cifra a fost fabricată, atât prezentarea, cât și reputația companiei au fost afectate. Dacă același angajat ar fi primit cifra de la sursa oficială, nu ar fi nicio problemă.

Cazul 2 – Act legislativ inexistent. Un asistent a cerut AI „articolul relevant de lege” pentru o petiție. Modelul a produs un număr și un text cu aspect realist; dar acel obiect nu era acolo. Din fericire, departamentul juridic a observat-o înainte de livrare. Lecție: citările legale sunt întotdeauna verificate din sursa primară.

Cazul 3 — Metoda corectă, rezultat sigur. Un alt angajat din aceeași echipă a pus pur și simplu AI să redacteze raportul, introducând el însuși toate numerele din datele oficiale și instruindu-i să „nu adauge cifre care nu sunt în acest text”. Rezultatul a fost atât rapid, cât și precis. Diferență: AI a scris schiță, fapte alimentate uman.

Solicitare slabă / Solicitare puternică

Prompt slab: oferiți cele mai importante 3 surse academice pe acest subiect cu autorul și anul.

Rezultat: modelul se poate potrivi în siguranță surselor inexistente.

Solicitare puternică: scrieți un rezumat pe baza textului pe care l-am lipit mai jos. Utilizați numai informațiile din acest text. Nu adăugați nume, numere sau surse care nu sunt în text. Dacă nu sunteți sigur, scrieți „nespecificat în text”.<text>[paste here]</text>

Rezultat: Deoarece modelul primește sursa de la dvs., spațiul de montare devine mai îngust.

Tehnici practice care măresc fiabilitatea

Marcați fiecare revendicare verificabilă în răspunsul dvs. (număr, dată, nume, sursă) și puneți-le într-o listă separată de „trebuie verificată”.

Răspunde la această întrebare. Dacă nu ești sigur, nu ghici; Spune „Nu sunt sigur” și explică că nu știi ce. Subiect: [subiect]

Răspunde la aceeași întrebare în două moduri diferite și marchează contradicțiile dintre cele două răspunsuri. Deci, permiteți-mi să văd ce puncte sunt discutabile. Întrebare: [întrebare]

Voi verifica textul de mai jos. Enumerați afirmațiile riscante pe care ar trebui să le verific în ordinea importanței și sugerați unde le pot verifica pe fiecare.Text: [inserați aici]

În plus, adoptați aceste obiceiuri:

1. Dumneavoastră furnizați sursa. Lipiți documentul relevant în text și spuneți „răspuns bazat numai pe aceasta”.
2. Verificați întotdeauna faptele verificabile. Verificați numerele, datele, numele, citatele și sursele dintr-o sursă independentă și de încredere.
3. Rugați-l să indice că nu este sigur de model. Acest lucru reduce riscul, dar nu îl elimină complet.
4. Pentru lucrări cu risc ridicat, solicitați un expert să inspecteze rezultatul. Rezultatele juridice, financiare și legate de sănătate trebuie să treacă prin filtrul experților umani.
5. Folosiți inteligența artificială ca „punct de plecare”, nu ca „cuvânt final”. Proiectul este de la el; Verificarea și decizia vă aparțin.

Atenție: „Modelul a spus-o de două ori, atunci este adevărat” logica este greșită. Poate repeta aceeași greșeală cu încredere. Repetarea nu este o dovadă de acuratețe.

Greșeli comune

Greșeli comune

• Utilizarea surselor fără a le verifica. Poate crea cărți model, articole, articole de lege și link-uri; Fiecare referință trebuie confirmată.
• Confundând tonul încrezător cu acuratețe. Cel mai periculos lucru la o halucinație este tocmai că pare încrezătoare.
• Este suficient ca modelul să spună „verificați”. Autovalidarea modelului nu este o validare independentă.
• Utilizarea rezultatelor cu risc ridicat fără a le arăta unui expert. Controlul uman este esențial în bani, drept și sănătate.

Pe scurt

• Halucinația este atunci când modelul produce informații inexistente într-o manieră fluentă și încrezătoare, ca și cum ar fi adevărată.
• Cauza nu este o defecțiune, ci natura de predicție a probabilității a modelului; nu poate fi eliminat complet.
• Riscul este deosebit de mare când vine vorba de cifre precise, surse, informații actualizate și probleme de nișă.
• Pentru a vă proteja: dați sursa, verificați faptele, spuneți „dacă nu sunteți sigur, spuneți-mi”, faceți verificarea rezultatelor cu risc ridicat de către un expert.
• Utilizați AI ca punct de plecare; Verificarea și responsabilitatea supremă rămân întotdeauna cu dvs.

Sarcina de aplicare

Spune instrumentului tău AI să „sugereze 3 surse academice” pe un subiect care necesită expertiză și încearcă să confirme sursele pe care le sugerează pe internet; Observați câte sunt reale. Apoi repetați aceeași sarcină cu metoda „dați sursa” și observați diferența.

Lista de verificare

• [ ] Pot să explic ce este o halucinație și de ce apare.
• [ ] Pot distinge între sarcinile cu risc de halucinație ridicat și scăzut.
• [ ] Pot reduce riscul de fabricație oferind sursa modelului.
• [ ] Verific independent numerele, datele, numele și sursele.
• [ ] Nu consider tonul încrezător drept o dovadă de acuratețe.