Hallucinációk és a hitelesség határai — AI-műveltség

Nyereség:

Meg tudja magyarázni, mi a hallucináció, és miért fordul elő
Meg tudja határozni, hogy mikor kell az AI kimenetet érvényesíteni
Tud olyan gyakorlati technikákat alkalmazni, amelyek növelik a megbízhatóságot

Az AI-műveltség talán legkritikusabb témája ebben az egységben található: a modellalkotás, vagyis a hallucináció. Ennek a kifejezésnek a megértése a legalapvetőbb biztonsági óvintézkedés mindenki számára, aki mesterséges intelligenciát használ. Mert az a felhasználó, aki nem ismeri fel a hallucinációt, összetévesztheti a hamis információkat valósnak, és átviheti üzleti döntésbe, ügyfélkommunikációba vagy hivatalos dokumentumba. Ebben az egységben megtudhatja, mi a hallucináció, miért elkerülhetetlen, és hogyan védekezhet ellene.

Mi a hallucináció?

A hallucináció az, amikor egy nyelvi modell olyan információt hoz létre, amely valójában nem létezik egy folyékony és magabiztos nyelven, mintha igaz lenne. A modellnek nem áll szándékában hazudni; Ha csak a "legvalószínűbb folytatást" állítja elő, olyan szöveget hoz létre, amely valószínűnek tűnik, de valójában hamis.

Példa: Ha azt mondod egy modellnek: „Ajánljon tudományos forrást a témában Minden a megfelelő formátumban és meggyőzően jelenik meg; de a forrás teljesen képzeletbeli. Ez a hallucináció klasszikus példája.

Miért történik ez? (Emlékezzen a második egységre)

A hallucináció forrása a modell működési elvében rejlik. A modell nem "tények enciklopédiája"; Ez egy "valószínűségi gép". Feladata, hogy kérdésének a lehető legzökkenőmentesebb folytatását produkálja; Nem arról van szó, hogy a legpontosabb információkat hozzuk el. Modell:

Nem tudja, amit nem tud; Ha ürességgel néz szembe, hajlamos egy lehetséges választ kitölteni, ahelyett, hogy azt mondaná, hogy „nem tudom”.
Nincs mechanizmusa a valóság ellenőrzésére; Nem ellenőrzi, hogy az általa előállított szöveg megfelel-e a világnak.
A folyékonyság és a pontosság két különböző dolog számára; Az, hogy folyékonyan beszél, még nem jelenti azt, hogy helyes.

Vigyázat: A hallucináció nem „meghibásodás”; Ez a technológia velejárója. Az új modellek ezt csökkentik, de nem tudják teljesen megszüntetni. Ezért ahelyett, hogy egy „nem hallucinációs modellre” várnánk, meg kell tanulnunk együtt élni a hallucinációval.

Hol magas a hallucinációk kockázata?

Nem minden eredmény egyformán kockázatos. A kockázat akkor nő, ha:

Magas Kockázat

Alacsony kockázat

Pontos számok, dátumok, statisztikák

Általános ötletek generálása, ötletelés

Források, árajánlatok, referenciák kérése

A szöveg hangszínének módosítása

Niche, speciális témák

Közös, általános témák

Aktuális események és emberek

Foglalja össze a szöveget

Az Ön cégére vonatkozó belső információk

Nyelvtani korrekció

Három mini tok

1. eset – Egy hamis alak lépett be a bemutatóba. Egy alkalmazott „2023-as e-kereskedelem növekedési ütemét és forrását Türkiye városában” kérte az AI-tól az iparági jelentéshez. A modell meggyőző százalékot (48%) és intézménynevet adott vissza. Az alkalmazott azt a prezentációba helyezte, anélkül, hogy ellenőrizné; Amikor a megbeszélésen kiderült, hogy a figura kitalált, mind a prezentáció, mind a cég hírneve csorbult. Ha ugyanaz az alkalmazott kapta volna a számot a hivatalos forrásból, akkor nem lenne probléma.

2. eset – Nem létező jogszabály. Egy asszisztens kérte az AI-tól a "releváns törvénycikk" petíciót. A modell valósághű megjelenésű cikkszámot és szöveget produkált; de az a tétel nem volt ott. Szerencsére a jogi osztály már a szállítás előtt észrevette. Tanulság: a jogi hivatkozásokat mindig az elsődleges forrásból kell ellenőrizni.

3. eset – Helyes módszer, biztonságos eredmény. Ugyanezen csapat egy másik alkalmazottja egyszerűen elkészítette a jelentést az MI-vel, saját maga írta be az összes számot a hivatalos adatokból, és utasította, hogy "ne adjon hozzá olyan számokat, amelyek nem szerepelnek ebben a szövegben". Az eredmény gyors és pontos volt. Különbség: az AI vázlatot írt, ember táplálta tényeket.

Gyenge felszólítás / Erős felszólítás

Gyenge felszólítás: Adja meg a témában a 3 legfontosabb tudományos forrást a szerzővel és az évszámmal.

Eredmény: A modell biztonságosan illeszkedik nem létező forrásokhoz.

Hatékony felszólítás: Írjon összefoglalót az alább beillesztett szöveg alapján. Csak a szövegben található információkat használja. Ne adjon meg olyan neveket, számokat vagy forrásokat, amelyek nem szerepelnek a szövegben. Ha nem biztos benne, írja be, hogy "nincs megadva a szövegben".<text>[beillesztés ide]</text>

Eredmény: Mivel a modell Öntől kapja a forrást, az illesztési tér szűkül.

Gyakorlati technikák, amelyek növelik a megbízhatóságot

Jelölje meg válaszában az egyes ellenőrizhető állításokat (szám, dátum, név, forrás), és tegye fel egy külön "ellenőrizendő" listára.

Válaszolj erre a kérdésre. Ha nem vagy biztos benne, ne találgass; Mondja azt, hogy „Nem vagyok benne biztos”, és magyarázza el, hogy nem tudja, mit. Tárgy: [tárgy]

Válaszoljon ugyanarra a kérdésre kétféleképpen, és jelölje meg a két válasz közötti ellentmondást! Tehát hadd nézzem meg, mely pontok kérdésesek. Kérdés: [kérdés]

Az alábbi szöveget ellenőrizni fogom. Sorolja fel fontossági sorrendben azokat a kockázatos állításokat, amelyeket ellenőriznem kell, és javasolja, hol tudom ellenőrizni mindegyiket. Szöveg: [illessze be ide]

Ezenkívül fogadja el a következő szokásokat:

Ön megadja a forrást. Illessze be a megfelelő dokumentumot a szövegbe, és mondja azt, hogy "csak ez alapján válaszoljon".
Mindig ellenőrizze az ellenőrizhető tényeket. Ellenőrizze a számokat, dátumokat, neveket, idézeteket és forrásokat független, megbízható forrásból.
Kérje meg, jelezze, hogy nem biztos a modellben. Ez csökkenti a kockázatot, de nem szünteti meg teljesen.
Nagy kockázatú munkák esetén kérjen szakértőt, hogy ellenőrizze a kimenetet. A jogi, pénzügyi és egészségügyi eredményeknek át kell menniük a humán szakértők szűrőjén.
Használja az AI-t „kiindulópontként”, ne „végszóként”. A tervezet tőle származik; Az ellenőrzés és a döntés az Öné.

Vigyázat: "A modell kétszer mondta, akkor igaz" a logika hibás. Magabiztosan megismételheti ugyanazt a hibát. Az ismétlés nem a pontosság bizonyítéka.

Gyakori hibák

Források használata azok ellenőrzése nélkül. Modellkönyveket, cikkeket, törvénycikkeket és linkeket hozhat létre; Minden hivatkozást meg kell erősíteni.
A magabiztos hangnem összetévesztése a pontossággal. A legveszélyesebb dolog a hallucinációban az, hogy magabiztosnak tűnik.
Elég, ha a modell azt mondja, hogy "ellenőrizd". A modell önvalidálása nem független validálás.
Magas kockázatú kimenet használata anélkül, hogy azt szakértőnek bemutatná. Az emberi kontroll elengedhetetlen a pénzben, a jogban és az egészségügyben.

Összefoglalva

A hallucináció az, amikor a modell nem létező információkat folyékonyan és magabiztosan állít elő, mintha igaz lenne.
Az ok nem meghibásodás, hanem a modell valószínűség-előrejelző jellege; nem lehet teljesen megszüntetni.
A kockázat különösen nagy, ha pontos számokról, forrásokról, naprakész információkról és résproblémákról van szó.
Hogy megvédje magát: adja meg a forrást, ellenőrizze a tényeket, mondja azt, hogy „ha nem biztos benne, mondja el”, a magas kockázatú kimenetet ellenőriztesse szakértővel.
Használjon mesterséges intelligenciát kiindulási pontként; A végső ellenőrzés és felelősség mindig Önnél marad.

Alkalmazási feladat

Mondja meg mesterséges intelligencia eszközének, hogy „ajánljon három tudományos forrást” egy szakértelmet igénylő témában, és próbálja meg megerősíteni az általa javasolt forrásokat az interneten; Jegyezze meg, hány valódi. Ezután ismételje meg ugyanazt a feladatot a "megadja a forrást" módszerrel, és figyelje meg a különbséget.

Ellenőrzőlista

[ ] Meg tudom magyarázni, mi a hallucináció, és miért fordul elő.
[ ] Különbséget tudok tenni magas és alacsony hallucinációs kockázatú feladatok között.
[ ] A gyártás kockázatát csökkenthetem, ha megadom a modellnek a forrást.
[ ] Önállóan ellenőrzöm a számokat, dátumokat, neveket és forrásokat.
[ ] A magabiztos hangnemet nem tartom a pontosság bizonyítékának.