Haliucinacijos ir patikimumo ribos

Pelnas:

• Gali paaiškinti, kas yra haliucinacijos ir kodėl ji atsiranda
• Gali nustatyti, kada AI išvestį reikia patvirtinti
• Gali taikyti praktinius metodus, didinančius patikimumą

Ko gero, svarbiausia AI raštingumo tema yra šiame skyriuje: modelio kūrimas, tai yra haliucinacijos. Šio termino supratimas yra pagrindinė saugos priemonė visiems, naudojantiems AI. Nes vartotojas, neatpažįstantis haliucinacijos, klaidingą informaciją gali pripažinti tiesa ir perkelti ją į verslo sprendimą, bendravimą su klientais ar oficialų dokumentą. Šiame skyriuje sužinosite, kas yra haliucinacijos, kodėl jos neišvengiamos ir kaip nuo jos apsisaugoti.

Kas yra haliucinacija?

Haliucinacija yra tada, kai kalbos modelis sklandia ir pasitikinčia kalba sukuria informaciją, kurios iš tikrųjų nėra, tarsi ji būtų tiesa. Modelis neketina meluoti; Sukurdamas tik „labiausiai tikėtiną tęsinį“, jis sukuria tekstą, kuris atrodo tikėtinas, bet iš tikrųjų yra klaidingas.

Pavyzdys: Jei pasakysite modeliui „Rekomenduokite akademinį šaltinį šia tema Viskas rodoma teisingu formatu ir įtikinamai; Tačiau šaltinis yra visiškai įsivaizduojamas. Tai klasikinis haliucinacijų pavyzdys.

Kodėl taip nutinka? (Prisiminkite antrąjį skyrių)

Haliucinacijų šaltinis yra modelio veikimo principas. Modelis nėra „faktų enciklopedija“; Tai „tikimybių mašina“. Jos užduotis yra pateikti kuo sklandžiau jūsų klausimo tęsinį; Tai nėra tiksliausios informacijos pateikimas. Modelis:

• Jis nežino, ko nežino; Atsidūręs tuščioje vietoje, jis linkęs užpildyti galimą atsakymą, o ne pasakyti „nežinau“.
• Ji neturi tikrovės valdymo mechanizmo; Ji netikrina, ar jos sukurtas tekstas atitinka pasaulį.
• Sklandumas ir tikslumas jam yra du skirtingi dalykai; Tai, kad kalba sklandžiai, dar nereiškia, kad tai teisinga.

Atsargiai: haliucinacijos nėra „gedimas“; Tai neatskiriama technologijos ypatybė. Nauji modeliai tai sumažina, bet negali visiškai pašalinti. Todėl, užuot laukus „nehaliucinacijos modelio“, reikia išmokti gyventi su haliucinacijomis.

Kur yra didelė haliucinacijų rizika?

Ne kiekvienas rezultatas yra vienodai rizikingas. Rizika padidėja, kai:

Didelė rizika

Maža rizika

Tikslūs skaičiai, datos, statistika

Bendrų idėjų generavimas, minčių šturmas

Prašymas šaltinių, citatų, nuorodų

Pakeiskite teksto toną

Niša, specializuotos temos

Bendros, bendros temos

Dabartiniai įvykiai ir žmonės

Apibendrinkite savo tekstą

Jūsų įmonei būdinga vidinė informacija

Gramatikos taisymas

Trys mini dėklai

1 atvejis – į pristatymą pateko netikra figūra. Darbuotojas paprašė AI pateikti „2023 m. el. prekybos augimo tempą ir šaltinį Turkijoje“, skirtą pramonės ataskaitai. Modelis pateikė įtikinamą procentą (48 %) ir institucijos pavadinimą. Darbuotojas įdėjo jį į pristatymą nepatikrinęs; Posėdyje paaiškėjus, kad figūra buvo išgalvota, buvo sugadintas ir pristatymas, ir įmonės reputacija. Jei tas pats darbuotojas būtų gavęs skaičių iš oficialaus šaltinio, problemų nebūtų.

2 atvejis – neegzistuojantis teisės aktas. Asistentas paprašė AI pateikti „atitinkamą įstatymo straipsnį“ peticijai. Modelis sukūrė tikroviškai atrodantį prekės numerį ir tekstą; bet to daikto ten nebuvo. Laimei, teisės skyrius tai pastebėjo prieš pristatydamas. Pamoka: teisinės citatos visada tikrinamos iš pirminio šaltinio.

3 atvejis – teisingas metodas, saugus rezultatas. Kitas tos pačios komandos darbuotojas tiesiog leido dirbtiniam intelektui parengti ataskaitos projektą, pats įvesdamas visus skaičius iš oficialių duomenų ir nurodydamas „nepridėti skaičių, kurių nėra šiame tekste“. Rezultatas buvo greitas ir tikslus. Skirtumas: AI parašė juodraštį, žmonių maitinamus faktus.

Silpnas raginimas / stiprus raginimas

Silpnas raginimas: pateikite 3 svarbiausius akademinius šaltinius šia tema kartu su autoriumi ir metais.

Rezultatas: modelis gali saugiai tilpti į neegzistuojančius šaltinius.

Galingas raginimas: parašykite santrauką pagal toliau įklijuotą tekstą. Naudokite tik šiame tekste pateiktą informaciją. Nepridėkite vardų, skaičių ar šaltinių, kurių tekste nėra. Jei nesate tikri, parašykite „tekste nenurodyta“.<text>[įklijuoti čia]</text>

Rezultatas: kadangi modelis gauna šaltinį iš jūsų, montavimo vieta tampa siauresnė.

Praktiniai metodai, kurie padidina patikimumą

Atsakyme pažymėkite kiekvieną patikrinamą teiginį (numerį, datą, pavadinimą, šaltinį) ir įtraukite juos į atskirą „privaloma patikrinti“ sąrašą.

Atsakykite į šį klausimą. Jei nesate tikri, nespėkite; Pasakykite „aš nesu tikras“ ir paaiškinkite, kad nežinote, ką. Tema: [subject]

Atsakykite į tą patį klausimą dviem skirtingais būdais ir pažymėkite dviejų atsakymų prieštaravimus. Taigi leiskite man pamatyti, kurie punktai kelia abejonių. Klausimas: [klausimas]

Aš patikrinsiu toliau pateiktą tekstą. Išvardykite rizikingus teiginius, kuriuos turėčiau patikrinti pagal svarbą, ir pasiūlykite, kur galiu juos patikrinti. Tekstas: [įklijuokite čia]

Be to, laikykitės šių įpročių:

1. Jūs pateikiate šaltinį. Įklijuokite atitinkamą dokumentą į tekstą ir pasakykite „atsakyti remiantis vien tuo“.
2. Visada patikrinkite patikrinamus faktus. Patikrinkite numerius, datas, vardus, citatas ir šaltinius iš nepriklausomo, patikimo šaltinio.
3. Paprašykite jo nurodyti, kad jis nėra tikras dėl modelio. Tai sumažina riziką, bet nepašalina jos visiškai.
4. Didelės rizikos darbų atveju paprašykite eksperto patikrinti produkciją. Teisiniai, finansiniai ir su sveikata susiję rezultatai turi praeiti per žmogiškųjų ekspertų filtrą.
5. Naudokite AI kaip „pradžios tašką“, o ne kaip „paskutinį žodį“. Juodraštis yra iš jo; Patikrinimas ir sprendimas priklauso jums.

Atsargiai: „Modelis pasakė du kartus, tada tai tiesa“ logika klaidinga. Gali drąsiai pakartoti tą pačią klaidą. Kartojimas nėra tikslumo įrodymas.

Dažnos klaidos

Dažnos klaidos

• Šaltinių naudojimas jų nepatikrinus. Jis gali sukurti pavyzdines knygas, straipsnius, teisės straipsnius ir nuorodas; Kiekviena nuoroda turi būti patvirtinta.
• Patikimas tonas klaidinamas su tikslumu. Pavojingiausias haliucinacijų dalykas yra būtent tai, kad ji atrodo pasitikinti savimi.
• Pakanka modelio pasakyti „jūs patikrinate“. Savęs modelio patvirtinimas nėra nepriklausomas patvirtinimas.
• Didelės rizikos produkcijos naudojimas neparodant ekspertui. Žmogaus kontrolė yra būtina pinigų, teisės ir sveikatos srityse.

Apibendrinant

• Haliucinacijos yra tada, kai modelis sklandžiai ir užtikrintai pateikia neegzistuojančią informaciją, tarsi ji būtų tiesa.
• Priežastis yra ne gedimas, o tikimybę nuspėjantis modelio pobūdis; visiškai pašalinti negalima.
• Rizika ypač didelė, kai kalbama apie tikslius skaičius, šaltinius, naujausią informaciją ir nišinius klausimus.
• Norėdami apsisaugoti: nurodykite šaltinį, patikrinkite faktus, pasakykite „jei nesate tikri, pasakykite man“, didelės rizikos produkciją leiskite patikrinti ekspertui.
• Naudokite AI kaip atskaitos tašką; Galutinis patikrinimas ir atsakomybė visada lieka jums.

Taikymo užduotis

Pasakykite savo AI įrankiui „pasiūlyti 3 akademinius šaltinius“ tema, kuriai reikia žinių, ir pabandykite patvirtinti jo siūlomus šaltinius internete; Atkreipkite dėmesį, kiek jų yra tikrų. Tada pakartokite tą pačią užduotį naudodami metodą „pateikite šaltinį“ ir stebėkite skirtumą.

Kontrolinis sąrašas

• [ ] Galiu paaiškinti, kas yra haliucinacijos ir kodėl ji atsiranda.
• [ ] Galiu atskirti didelės ir mažos haliucinacijų rizikos užduotis.
• [ ] Galiu sumažinti gamybos riziką, modeliui nurodydamas šaltinį.
• [ ] Aš savarankiškai tikrinu numerius, datas, vardus ir šaltinius.
• [ ] Nelaikau pasitikinčio tono tikslumo įrodymu.