zisky:
- Vie vysvetliť, čo je halucinácia a prečo k nej dochádza
- Dokáže určiť, kedy je potrebné overiť výstup AI
- Dokáže aplikovať praktické techniky, ktoré zvyšujú spoľahlivosť
Snáď najkritickejšia téma gramotnosti AI je v tejto časti: Model make up, čiže halucinácie. Pochopenie tohto pojmu je najzákladnejším bezpečnostným opatrením pre každého, kto používa AI. Pretože používateľ, ktorý halucináciu nepozná, môže nepravdivé informácie pomýliť ako pravdivé a preniesť ich do obchodného rozhodnutia, komunikácie so zákazníkom alebo do úradného dokumentu. V tejto lekcii sa dozviete, čo je to halucinácia, prečo je nevyhnutná a ako sa pred ňou chrániť.
Čo je to halucinácia?
Halucinácia je, keď jazykový model produkuje informácie, ktoré v skutočnosti neexistujú v plynulom a sebavedomom jazyku, rovnako ako keby to bola pravda. Modelka nemá v úmysle klamať; Pri vytváraní iba „najpravdepodobnejšieho pokračovania“ vytvára text, ktorý sa zdá byť pravdepodobný, ale v skutočnosti je nepravdivý.
Príklad: Ak poviete modelke: „Odporučte akademický zdroj k téme Všetko sa zobrazuje v správnom formáte a presvedčivo; ale zdroj je úplne imaginárny. Toto je klasický príklad halucinácie.
Prečo sa to deje? (Pamätajte na druhú jednotku)
Zdroj halucinácie spočíva v princípe fungovania modelu. Model nie je „encyklopédiou faktov“; Je to „stroj pravdepodobnosti“. Jeho úlohou je vytvoriť čo najhladšie pokračovanie vašej otázky; Nejde o to prinášať čo najpresnejšie informácie. Model:
- Nevie, čo nevie; Keď sa stretne s prázdnou, má tendenciu doplniť možnú odpoveď, než povedať „neviem“.
- Nemá žiadny mechanizmus na kontrolu reality; Nekontroluje, či sa text, ktorý produkuje, zhoduje so svetom.
- Plynulosť a presnosť sú pre neho dve rôzne veci; To, že je plynulé, neznamená, že je to správne.
Pozor: Halucinácie nie sú „porucha“; Je to prirodzená vlastnosť technológie. Nové modely to znižujú, ale nedokážu to úplne odstrániť. Preto sa namiesto čakania na „nehalucinačný model“ treba naučiť s halucináciami žiť.
Kde je vysoké riziko halucinácií?
Nie každý výsledok je rovnako rizikový. Riziko sa zvyšuje, keď:
Vysoké riziko
Nízke riziko
Presné čísla, dátumy, štatistiky
Generovanie všeobecných nápadov, brainstorming
Vyžiadanie zdrojov, citácií, referencií
Zmeňte tón textu
Špecializované témy
Bežné, všeobecné témy
Aktuálne udalosti a ľudia
Zhrňte svoj text
Interné informácie špecifické pre vašu spoločnosť
Oprava gramatiky
Tri mini puzdrá
Prípad 1 – Do prezentácie vstúpila falošná postava. Zamestnanec požiadal AI o „mieru rastu a zdroj elektronického obchodu v roku 2023 v Türkiye“ pre správu o odvetví. Model vrátil presvedčivé percento (48 %) a názov inštitúcie. Zamestnanec to vložil do prezentácie bez toho, aby to overil; Keď sa na stretnutí ukázalo, že postava bola vymyslená, bola poškodená prezentácia aj dobré meno spoločnosti. Ak by ten istý zamestnanec dostal číslo z oficiálneho zdroja, nebol by problém.
Prípad 2 – Neexistujúci právny predpis. Asistent požiadal AI o „príslušný článok zákona“ pre petíciu. Model vytvoril realisticky vyzerajúce číslo položky a text; ale táto položka tam nebola. Našťastie si to právne oddelenie všimlo ešte pred doručením. Poučenie: právne citácie sa vždy overujú z primárneho zdroja.
Prípad 3 – Správna metóda, bezpečný výsledok. Iný zamestnanec v tom istom tíme jednoducho nechal AI navrhnúť správu, pričom sám zadal všetky čísla z oficiálnych údajov a dal mu pokyn, aby „nepridal žiadne čísla, ktoré nie sú v tomto texte“. Výsledok bol rýchly a presný. Rozdiel: AI napísala koncept, fakty kŕmené ľuďmi.
Slabá výzva / silná výzva
Slabá výzva: Uveďte 3 najdôležitejšie akademické zdroje na túto tému s autorom a rokom.
Výsledok: Do modelu sa bezpečne zmestia aj neexistujúce zdroje.
Výkonná výzva: Napíšte zhrnutie na základe textu, ktorý som vložil nižšie. Používajte iba informácie v tomto texte. Nepridávajte žiadne mená, čísla ani zdroje, ktoré nie sú v texte. Ak si nie ste istý, napíšte „v texte nie je uvedené“.<text>[prilepte sem]</text>
Výsledok: Keďže model získava zdroj od vás, montážny priestor sa zužuje.
Praktické techniky, ktoré zvyšujú spoľahlivosť
Označte každý overiteľný nárok vo svojej odpovedi (číslo, dátum, meno, zdroj) a zaraďte ho do samostatného zoznamu „povinnej kontroly“.
Odpovedzte na túto otázku. Ak si nie ste istý, nehádajte; Povedzte „nie som si istý“ a vysvetlite, že neviete čo. Predmet: [predmet]
Odpovedzte na rovnakú otázku dvoma rôznymi spôsobmi a označte rozpory medzi týmito dvoma odpoveďami. Pozrime sa teda, ktoré body sú sporné. Otázka: [otázka]
Overím text nižšie. Uveďte rizikové tvrdenia, ktoré by som mal skontrolovať, v poradí dôležitosti a navrhnite, kde si môžem každé z nich overiť.Text: [prilepte sem]
Okrem toho si osvojte tieto návyky:
- Uvádzaš zdroj. Prilepte príslušný dokument do textu a povedzte „odpovedzte len na základe tohto“.
- Vždy si overte overiteľné fakty. Overte si čísla, dátumy, mená, citáty a zdroje z nezávislého a spoľahlivého zdroja.
- Požiadajte ho, aby naznačil, že si nie je istý modelom. Tým sa riziko znižuje, ale nie je úplne eliminované.
- Pri vysoko rizikových prácach nechajte výstup skontrolovať odborníkom. Právne, finančné a zdravotné výstupy musia prejsť cez filter ľudských expertov.
- Použite AI ako „východiskový bod“, nie ako „konečné slovo“. Návrh je od neho; Overenie a rozhodnutie je na vás.
Pozor: "Model to povedal dvakrát, potom je to pravda" logika je nesprávna. Dokáže s istotou zopakovať rovnakú chybu. Opakovanie nie je dôkazom presnosti.
Časté chyby
Časté chyby
- Používanie zdrojov bez ich overenia. Môže vytvárať vzorové knihy, články, články zákona a odkazy; Každá referencia musí byť potvrdená.
- Zamieňanie sebavedomého tónu za presnosť. Najnebezpečnejšia vec na halucinácii je práve to, že pôsobí sebavedomo.
- Stačí, ak model povie „overíte“. Vlastná validácia modelu nie je nezávislou validáciou.
- Použitie vysoko rizikového výstupu bez toho, aby ste ho ukázali odborníkovi. Ľudská kontrola je nevyhnutná v oblasti peňazí, práva a zdravia.
V súhrne
- Halucinácia je, keď model produkuje neexistujúce informácie plynulým a sebavedomým spôsobom, ako keby to bola pravda.
- Príčinou nie je porucha, ale pravdepodobnostná povaha modelu; nemožno úplne odstrániť.
- Riziko je obzvlášť vysoké, pokiaľ ide o presné čísla, zdroje, aktuálne informácie a špecifické problémy.
- Aby ste sa ochránili: uveďte zdroj, overte si fakty, povedzte „ak si nie ste istý, povedzte mi“, nechajte vysokorizikový výstup skontrolovať odborníkom.
- Použite AI ako východiskový bod; Konečné overenie a zodpovednosť vždy zostáva na vás.
Aplikačná úloha
Povedzte svojmu nástroju AI, aby „navrhol 3 akademické zdroje“ na tému, ktorá si vyžaduje odborné znalosti, a pokúste sa potvrdiť zdroje, ktoré navrhuje na internete; Všimnite si, koľko je skutočných. Potom zopakujte tú istú úlohu s metódou „vy dáte zdroj“ a pozorujte rozdiel.
Kontrolný zoznam
- [ ] Viem vysvetliť, čo je halucinácia a prečo k nej dochádza.
- [ ] Dokážem rozlíšiť úlohy s vysokým a nízkym rizikom halucinácií.
- [ ] Môžem znížiť riziko výroby uvedením zdroja do modelu.
- [ ] Nezávisle overujem čísla, dátumy, mená a zdroje.
- [ ] Sebavedomý tón nepovažujem za dôkaz presnosti.