Ieguvumi:
- Izskaidrojiet halucināciju cēloņus un zemējuma lomu
- Pielietojot metodes, kas liek modelim pateikt “Es nezinu”, ja tas nav kontekstā
- Uzticības un pārbaudāmības nodrošināšana, atbildēm pievienojot pārbaudāmus avotus/atsauces
Valodas modeļa visbīstamākā uzvedība ir pārliecinātā un pārliecinošā tonī izdomāt kaut ko, ko viņš nezina. To sauc par halucinācijām. Halucinācijas korporatīvajā asistentā ir ne tikai kaitinošas, bet arī riskanti: nepareiza brīvdiena, nepareiza cena, nepareiza juridiskā viela faktiski var nodarīt kaitējumu darbiniekam vai klientam. Šajā nodaļā mēs aplūkojam, kāpēc rodas halucinācijas, kā tās samazināt RAG un kā padarīt atbildi pārbaudāmu.
Kas izraisa halucinācijas?
Modelis ir apmācīts izveidot nākamo visticamāko vārdu; Nevis "saki patiesību", bet "radīt raitu un saprātīgu tekstu". Ja trūkst informācijas, tā var aizpildīt robu ar kaut ko statistiski ticamu, bet faktiski nepareizu. Trīs tipiski trigeri:
- Kontekstā atbildes nav, taču modele tik un tā jūtas spiesta kaut ko pateikt.
- Konteksts ir pretrunīgs vai neatbilstošs; Modelis novērš plaisu ar prognozēšanu.
- Jautājums pārsniedz kontekstu; modelis atgriežas pie savām vispārējām (un, iespējams, novecojušām) zināšanām.
RAG samazina halucinācijas, jo piešķir modelim īstu avotu, taču tas to neatiestata. Atvedot nepareizo detaļu vai atstājot modelim "brīvību aizpildīt robu", sistēma ar RAG arī to var piemērot.
halucinācijas veids
simptoms
pamatcēlonis
šķīduma slānis
kas rodas no izguves
Pareizā atbilde ir dokumentā, bet tā nesanāca
Piegādāta nepareiza/trūkstoša daļa
Sadalīšana, hibrīds, pārkārtošana (3.–4. vienība)
Paaudzes avots
Atnāca pareizā daļa, bet atbilde ir nepareiza/jāpievieno
Modelis aizpildīja plaisu ar prognozēm
Zemējums, "es nezinu" atļauja, zems radošums
Citāts iegūts
Atbilde ir pareiza, bet avots ir nepareizs
Modelis atsaucās uz nepareizu daļu
Citātu pārbaude (skatiet 8. nodaļu)
Padoms: sadaliet halucinācijas divās daļās. Iegūts no izguves: saņemta nepareiza/trūkstoša daļa (risinājums: uzlabot izguvi). Ģenerācijas avots: Atnāca pareizā daļa, bet modelis to nolasīja/pievienoja nepareizi (risinājums: uzvedne un zemējums). Jūs to nevarat salabot, ja nezināt, kurš tas ir.
Zemējums: atbildes noteikšana kontekstā
Zemējums ir nosaukums, kas dots visiem paņēmieniem, kā modelim pateikt "tikai paļaujieties uz tekstu, ko es jums dodu, nepārsniedziet to." Viņa visvienkāršākā un visefektīvākā tehnika: nepārprotama atļaujas piešķiršana modelim pateikt “es nezinu”. Modele, tāpat kā cilvēks, vilcinās pateikt "es nezinu"; Jums ir jāsniedz viņam skaidra atļauja to darīt.
Atbildiet tikai, pamatojoties uz tālāk norādīto KONTEKSTU. Ja atbilde kontekstā nav SKAIDRĪGA, ierakstiet tieši šo: "Es nevarēju atrast pietiekami daudz informācijas par to dokumentācijā." Neiekļaujiet nekādus ciparus, datumus vai vārdus, kas nav kontekstā. Neuzmini.
Papildu zemēšanas metodes:
- Citācijas prasība: pirms katras pretenzijas burtiski citējiet kontekstu ("Dokumentā teikts: "..."). Modelim ir grūtāk izveidot izdomātas pēdiņas.
- Zema temperatūra: temperatūrai (temperatūrai, radošumam/izlases iestatījumam) jābūt zemai. Piezīme: dažos pašreizējos modeļos šis parametrs ir noņemts; Tajos jūs sniedzat zemējumu ar uzvedni. Augsts radošums ir korporatīvās integritātes ienaidnieks.
- Darbības jomas ierobežojums: "Atbildiet tikai uz piekrišanas politikas jautājumiem; pieklājīgi atsakieties atteikties."
Citāts
Spēcīgākā sistēmiskā aizsardzība pret halucinācijām ir padarīt atbildi pārbaudāmu. Ja lietotājs var redzēt, uz kuru dokumentu ir balstīta atbilde: (1) viņš pats var uztvert kļūdu, (2) kļūst iespējams audits, (3) palielinās uzticēšanās un (4) modelis ražo piesardzīgāk, apzinoties, ka "man būs jānorāda avots".
Divas izplatītas pieejas:
Iekļauts attiecinājums: avota tags blakus katrai pretenzijai. "Ikgadējais atvaļinājums ir 14 dienas [1]." Tālāk ir sniegta visa [1] dokumentācija.
Strukturētā izvade: lūgums modelim sagatavot atbildi un avotu sarakstu atsevišķos laukos; Interfeisā tiek rādīti resursi kā noklikšķināmas saites.
# Strukturētas atbildes izveide, pamatojoties uz modeli (konceptuāla) Sniedziet savu atbildi šādā struktūrā:- atbilde: <kontekstu balstīta atbilde> - avoti: [{"part_no": 1, "file": "...", "section": "..."}]- uzticēšanās: <augsta|vidēja|zema> # Cik skaidri to atbalsta konteksts? Ja konteksts neatbalsta atbildi, atbildes laukā ierakstiet "informācija nav atrasta" un atstājiet avotus tukšus.
Lai citāts patiešām darbotos, ir jāpārbauda, vai attiecinājums ir pareizs. Modelis dažkārt var sniegt pareizo atbildi, bet norādīt nepareizu avotu. Uzlabotās sistēmas automātiski pārbauda, vai katra iesniegtā prasība patiešām ir pamatota tajā daļā, uz kuru tā norāda ("uzticības" mērījums nākamajā vienībā).
Vājš/spēcīgs: mudināt pret halucinācijām
Vāji (aicinājums aizpildīt tukšo):
Atbildiet uz jautājumu pēc iespējas labāk, izmantojot jūsu rīcībā esošo informāciju: {konteksts} Jautājums: {question}# "Cik labāk varat" modelim nozīmē "uzminiet, ja nezināt".
Spēcīgs (zemējums + nezinu atļauju + avots + uzticība):
Vienkārši paļaujieties uz KONTEKSTU. Pretējā gadījumā sakiet "Es nevarēju atrast informāciju"; izveidojiet numuru/datumu/nosaukumu. Katrai pretenzijai pievienojiet [n] avota numuru. Norādiet konteksta atbalstīto uzticamības līmeni.KONTEKSTS: [1]... [2]... JAUTĀJUMS: {jautājums}
Trīs mini futrāļi
1. gadījums — gatavās preces numurs. Pārstāvis sastādīja "17./B panta" paziņojumu, kas bija ārpus konteksta un sniedza darbiniekam nepatiesu informāciju. Kad tika pievienota instrukcija "Nenorādiet raksta numuru, kas nav kontekstā, citādi saki, ka nezinu" + pienākums citēt, 40 piemēros safabricēto rakstu gadījumi samazinājās no 11 uz 0.
2. gadījums — pareiza atbilde, nepareizs avots. Atbalsta palīgs norādīja pareizo atgriešanas periodu, bet atsaucās uz nepareizu rakstu; Kad klients noklikšķināja uz saites, tika atvērta neatbilstoša lapa. Kad tika pievienota atsauces pārbaude (pārbaude, vai apgalvojums ir ietverts citētajā rakstā), viltus citātu rādītājs samazinājās no 23% līdz 2%.
3. gadījums — “Es nezinu” atļauja netika piešķirta. HR palīgs bija izdomājis ticamu, bet nepareizu atbildi uz jautājumu, kas dokumentā nebija. Kad uzvednei tika pievienota skaidra piekrišana “Es nezinu” un pilns teksts (“Nevarēju atrast informāciju par to dokumentācijā”), godīga noraidīšanas rādītājs jautājumiem bez atbildes, nevis izdomātiem, palielinājās no 8% līdz 95%.
Biežas kļūdas
- Nepieļaujot "es nezinu": modelis aizpilda nepilnības ar izdomājumiem.
- Augsta radošuma uzturēšana: nejaušība kaitē uzņēmuma integritātei.
- Uzticoties avotam, to nepārbaudot: modelis var pievienot nepareizu avotu pareizajai atbildei.
- Nenošķirot divus halucināciju veidus: jūs labojat nepareizo vietu, nezinot, vai to izraisa izguve vai ģenerēšana.
- Kļūdains citāts par kosmētiku: avota atsauce ir gan apstiprinājums, gan atturošs; uztver to nopietni.
Uzmanību: "Modele izskatās ļoti pārliecināta" nav tas pats, kas "modelis ir pareizs". Halucinācijas parasti ir raitākie un pārliecinošākie teikumi. Lasiet uzticību no avota, uz kuru tas norāda, nevis no teikuma toņa.
Rezumējot
- Halucinācijas ir tad, kad modelis aizpilda informācijas robu ar ticamu, bet nepatiesu tekstu; RAG samazina, bet neatiestata.
- Halucinācijas var izraisīt atgūšana (nepareiza daļa) vai ģenerēšana (nepareiza lasīšana); Nosakiet, kurš pirmais.
- Zemējuma visspēcīgākais paņēmiens ir piešķirt modelim skaidru "es nezinu" atļauju; arī citēšanas prasība un zems radošums.
- Citāts padara atbildi pārbaudāmu; Tas gan dod pārliecību, gan mudina modeli ražot piesardzīgi.
- Jāpārbauda arī citāta pareizība; Pareizajai atbildei var būt pievienots nepareizs avots.
Lietojumprogrammas uzdevums
(1) Sagatavojiet 4 jautājumus, ko uzdot savam palīgam, atbildes uz kuriem nav dokumentos (slazdu jautājumi). Pārbaudiet katru ar vājo un stipro uzvedni un atzīmējiet, vai modelis ir piemērots vai nē. (2) Atbildot uz 4 jautājumiem, uz kuriem ir sniegtas atbildes dokumentā, lieciet modelim ģenerēt metinājuma numuru un manuāli pārbaudīt, vai tajā parādītā metināšana patiešām ir pareizā daļa. (3) Pārbaudiet, vai modelis vismaz vienā gadījumā sniedz "pareizu atbildi, nepareizs avots" un vienā teikumā uzrakstiet, kā to var automātiski uztvert.
kontrolsaraksts
- [ ] Es varu pateikt, kāpēc notiek halucinācijas un ka RAG to samazina, bet neatjauno.
- [ ] Es varu atšķirt izguves un paaudzes izraisītas halucinācijas un labot pareizo vietu.
- [ ] Uzvednei pievienoju nepārprotamu atļauju “Es nezinu” un pamata noteikumus.
- [ ] Atbildei pievienoju pārbaudāmu avotu (atsauci).
- [ ] Es saprotu, ka ir vēl vairāk jāpārbauda attiecinājuma precizitāte.