Halucinācijas un uzticamības robežas

Ieguvumi:

• Var izskaidrot, kas ir halucinācijas un kāpēc tās rodas
• Var noteikt, kad AI izvade ir jāapstiprina
• Prot pielietot praktiskus paņēmienus, kas palielina uzticamību

Iespējams, ka viskritiskākais AI pratības temats ir šajā nodaļā: modeļa veidošana, tas ir, halucinācijas. Šī termina izpratne ir vissvarīgākais drošības pasākums ikvienam, kas izmanto AI. Jo lietotājs, kurš neatpazīst halucinācijas, var kļūdaini uzskatīt nepatiesu informāciju par patiesu un pārnest to uz biznesa lēmumu, saziņu ar klientu vai oficiālu dokumentu. Šajā nodaļā jūs uzzināsiet, kas ir halucinācijas, kāpēc tās ir neizbēgamas un kā pret tām aizsargāties.

Kas ir halucinācijas?

Halucinācijas ir tad, kad valodas modelis rada informāciju, kas faktiski neeksistē tekošā un pārliecinātā valodā, gluži it kā tā būtu patiesība. Modele nedomā melot; Izveidojot tikai "iespējamāko turpinājumu", tas rada tekstu, kas šķiet iespējams, bet patiesībā ir nepatiess.

Piemērs: Ja jūs sakāt modelim "Ieteikt akadēmisku avotu par tēmu Viss parādās pareizā formātā un pārliecinoši; Bet avots ir pilnīgi iedomāts. Šis ir klasisks halucinācijas piemērs.

Kāpēc tas notiek? (Atcerieties otro vienību)

Halucinācijas avots ir modeļa darbības princips. Modelis nav "faktu enciklopēdija"; Tā ir "varbūtības mašīna". Tās uzdevums ir nodrošināt pēc iespējas vienmērīgāku jūsu jautājuma turpinājumu; Runa nav par visprecīzākās informācijas ienešanu. Modelis:

• Viņš nezina, ko nezina; Saskaroties ar tukšu vietu, viņš mēdz aizpildīt iespējamo atbildi, nevis teikt "es nezinu".
• Tam nav mehānisma, lai kontrolētu realitāti; Tas nepārbauda, ​​vai tā radītais teksts atbilst pasaulei.
• Raidums un precizitāte viņam ir divas dažādas lietas; Tas, ka tas ir brīvi, nenozīmē, ka tas ir pareizi.

Uzmanību: halucinācijas nav "darbības traucējumi"; Tā ir tehnoloģiju neatņemama iezīme. Jaunie modeļi to samazina, bet nevar pilnībā novērst. Tāpēc tā vietā, lai gaidītu "ne-halucinācijas modeli", ir jāiemācās sadzīvot ar halucinācijām.

Kur ir augsts halucināciju risks?

Ne katrs rezultāts ir vienlīdz riskants. Risks palielinās, ja:

Augsts risks

Zems risks

Precīzi skaitļi, datumi, statistika

Vispārēju ideju ģenerēšana, prāta vētra

Pieprasīt avotus, citātus, atsauces

Mainiet teksta toni

Niša, specializētas tēmas

Kopīgas, vispārīgas tēmas

Aktuālie notikumi un cilvēki

Apkopojiet savu tekstu

Jūsu uzņēmumam raksturīga iekšējā informācija

Gramatikas korekcija

Trīs mini futrāļi

1. gadījums — prezentācijā iekļuva viltota figūra. Darbinieks lūdza AI informāciju par "2023. gada e-komercijas pieauguma tempu un avotu Tirkijā" nozares ziņojumam. Modelis atgrieza pārliecinošu procentuālo daļu (48%) un iestādes nosaukumu. Darbinieks to ievieto prezentācijā, nepārbaudot to; Kad sapulcē atklājās, ka figūra ir safabricēta, tika sabojāta gan prezentācija, gan uzņēmuma reputācija. Ja tas pats darbinieks šo skaitli būtu saņēmis no oficiālā avota, problēmu nebūtu.

2. gadījums — neesošs tiesību akts. Asistents lūdza AI "attiecīgo likuma pantu" petīcijai. Modelis radīja reālistisku preces numuru un tekstu; bet šīs preces tur nebija. Par laimi, juridiskā nodaļa to pamanīja pirms piegādes. Nodarbība: juridiskās atsauces vienmēr tiek pārbaudītas no primārā avota.

3. gadījums — pareiza metode, drošs rezultāts. Cits tās pašas komandas darbinieks vienkārši lika AI sagatavot ziņojumu, pats ievadot visus skaitļus no oficiālajiem datiem un uzdodot viņam "nepievienot skaitļus, kas nav šajā tekstā". Rezultāts bija gan ātrs, gan precīzs. Atšķirība: AI uzrakstīja melnrakstu, cilvēku barotus faktus.

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne: norādiet 3 svarīgākos akadēmiskos avotus par šo tēmu kopā ar autoru un gadu.

Rezultāts: modelis var droši ietilpt neesošiem avotiem.

Spēcīga uzvedne: uzrakstiet kopsavilkumu, pamatojoties uz tekstu, ko ielīmēju tālāk. Izmantojiet tikai šajā tekstā ietverto informāciju. Nepievienojiet vārdus, numurus vai avotus, kas nav tekstā. Ja neesat pārliecināts, ierakstiet "tekstā nav norādīts".<text>[ielīmēt šeit]</text>

Rezultāts: tā kā modelis saņem avotu no jums, montāžas vieta kļūst šaurāka.

Praktiski paņēmieni, kas palielina uzticamību

Atzīmējiet katru pārbaudāmo apgalvojumu savā atbildē (numurs, datums, nosaukums, avots) un ievietojiet tos atsevišķā "jāpārbauda" sarakstā.

Atbildi uz šo jautājumu. Ja neesat pārliecināts, nedomājiet; Sakiet "Es neesmu pārliecināts" un paskaidrojiet, ka nezināt, ko. Temats: [tēma]

Atbildiet uz vienu un to pašu jautājumu divos dažādos veidos un atzīmējiet abu atbilžu pretrunas. Ļaujiet man redzēt, kuri punkti ir apšaubāmi.Jautājums: [jautājums]

Es pārbaudīšu zemāk esošo tekstu. Uzskaitiet riskantos apgalvojumus, kas man jāpārbauda svarīguma secībā, un iesakiet, kur katru no tiem pārbaudīt. Teksts: [ielīmēt šeit]

Turklāt pieņemiet šādus ieradumus:

1. Jūs sniedzat avotu. Ielīmējiet attiecīgo dokumentu tekstā un sakiet "atbilde, pamatojoties tikai uz šo".
2. Vienmēr pārbaudiet pārbaudāmus faktus. Pārbaudiet numurus, datumus, vārdus, citātus un avotus no neatkarīga, uzticama avota.
3. Lūdziet viņam norādīt, ka viņš nav pārliecināts par modeli. Tas samazina risku, bet nenovērš to pilnībā.
4. Augsta riska darbiem lūdziet ekspertam pārbaudīt izvadi. Juridiskiem, finansiāliem un ar veselību saistītiem rezultātiem ir jāiziet cauri cilvēku ekspertu filtram.
5. Izmantojiet AI kā “sākumpunktu”, nevis kā “beidzamo vārdu”. Melnraksts ir no viņa; Pārbaude un lēmums ir jūsu.

Uzmanību: "Modele teica divreiz, tad tā ir patiesība" loģika ir nepareiza. Var pārliecinoši atkārtot to pašu kļūdu. Atkārtošana neliecina par precizitāti.

Biežākās kļūdas

Biežas kļūdas

• Izmantojot avotus, tos nepārbaudot. Tas var izveidot modeļu grāmatas, rakstus, likumu pantus un saites; Katra atsauce ir jāapstiprina.
• Pārliecinātā toņa sajaukšana ar precizitāti. Pats bīstamākais halucinācijā ir tieši tas, ka tā šķiet pārliecināta.
• Pietiek ar to, ka modelis saka "jūs verificējat". Modeļa pašpārbaude nav neatkarīga validācija.
• Augsta riska produkcijas izmantošana, neparādot to ekspertam. Cilvēka kontrole ir būtiska naudas, tiesību un veselības jomā.

Rezumējot

• Halucinācijas ir tad, kad modelis sniedz neesošu informāciju raitā un pārliecinošā veidā, it kā tā būtu patiesa.
• Cēlonis nav darbības kļūme, bet gan modeļa varbūtības paredzošais raksturs; nevar pilnībā novērst.
• Risks ir īpaši augsts, ja runa ir par precīziem skaitļiem, avotiem, jaunāko informāciju un nišas jautājumiem.
• Lai sevi aizsargātu: norādiet avotu, pārbaudiet faktus, sakiet "ja neesat pārliecināts, pastāstiet man", ļaujiet ekspertam pārbaudīt augsta riska rezultātus.
• Izmantojiet AI kā sākumpunktu; Galīgā pārbaude un atbildība vienmēr paliek jums.

Lietojumprogrammas uzdevums

Pastāstiet savam AI rīkam, lai tas "ieteiktu 3 akadēmiskus avotus" par tēmu, kurā nepieciešamas zināšanas, un mēģiniet apstiprināt avotus, ko tas iesaka internetā; Ņemiet vērā, cik daudz ir reālu. Pēc tam atkārtojiet to pašu uzdevumu ar metodi "jūs sniedzat avotu" un novērojiet atšķirību.

Kontrolsaraksts

• [ ] Es varu izskaidrot, kas ir halucinācijas un kāpēc tās rodas.
• [ ] Es varu atšķirt augsta un zema halucinācijas riska uzdevumus.
• [ ] Es varu samazināt izgatavošanas risku, norādot modelim avotu.
• [ ] Es neatkarīgi pārbaudu numurus, datumus, vārdus un avotus.
• [ ] Es neuzskatu pārliecināto toni par precizitātes pierādījumu.