Fitimet:
- Shpjegoni shkaqet e halucinacioneve dhe rolin e argumentimit
- Zbatimi i teknikave që e bëjnë modelin të thotë 'nuk e di' nëse nuk është në kontekst
- Sigurimi i besimit dhe auditueshmërisë duke shtuar burime/citime të verifikueshme në përgjigje
Sjellja më e rrezikshme e një modeli gjuhësor është të sajojë diçka që ai nuk e di me një ton të sigurt dhe bindës. Ky quhet halucinacion. Halucinimi në një asistent korporate nuk është thjesht i bezdisshëm, por është plotësisht i rrezikshëm: dita e gabuar e pushimit, çmimi i gabuar, substanca e gabuar ligjore mund të vënë në të vërtetë një punonjës ose klient në rrugën e dëmshme. Në këtë njësi, ne trajtojmë pse ndodhin halucinacionet, si t'i reduktojmë ato në RAG dhe si ta bëjmë përgjigjen të verifikueshme.
Çfarë i shkakton halucinacionet?
Modeli është trajnuar për të prodhuar fjalën tjetër më të mundshme; Jo "thuaj të vërtetën", por "prodhoni tekst të rrjedhshëm dhe të arsyeshëm". Nëse informacioni mungon, ai mund të mbushë boshllëkun me diçka statistikisht të besueshme, por faktikisht të pasaktë. Tre shkaktarë tipikë:
- Nuk ka përgjigje në kontekst, por modelja gjithsesi ndihet e detyruar të thotë diçka.
- Konteksti është konfliktual ose joadekuat; Modeli e mbyll hendekun me parashikim.
- Pyetja shkon përtej kontekstit; modeli kthehet në njohuritë e tij të përgjithshme (dhe ndoshta të vjetruara).
RAG redukton halucinacionet sepse i jep modelit një burim real – por nuk e rivendos atë. Nëse sjellni pjesën e gabuar ose i lini modelit "liri për të mbushur boshllëkun", sistemi me RAG gjithashtu mund ta përshtatë atë.
lloj halucinacioni
simptomë
shkaku rrënjësor
shtresa e zgjidhjes
me origjinë nga rimarrja
Përgjigja e saktë është në dokument por nuk ka mbërritur
Është dorëzuar pjesa e gabuar/mungon
Copëtim, hibrid, rirenditje (njësia 3-4)
Gjenerata me burim
Arriti pjesa e saktë por përgjigja është e gabuar/duhet shtuar
Modeli e mbushi boshllëkun me parashikim
Tokëzimi, leja “nuk e di”, kreativitet i ulët
Citimi me burim
Përgjigja është e saktë, por burimi është i gabuar
Modeli iu referua pjesës së gabuar
Verifikimi i citimit (shih Njësinë 8)
Këshillë: Ndani halucinacionet në dy pjesë. Me burim nga rikthimi: mbërriti pjesa e gabuar/mungon (zgjidhja: përmirëso rikthimin). Burimi i gjeneratës: Arriti pjesa e saktë, por modeli e lexoi/shtoi gabim (zgjidhja: prompt dhe argumentim). Nuk mund ta rregullosh nëse nuk e di se cila është.
Arsyetimi: Gozhdimi i përgjigjes në kontekst
Tokëzimi është emri që u jepet të gjitha teknikave për t'i thënë modeles "thjesht mbështetuni në tekstin që ju jap, mos e kaloni atë". Teknika e tij më themelore dhe më efektive: duke i dhënë në mënyrë eksplicite modeles lejen për të thënë 'nuk e di'. Modelja, ashtu si njeriu, heziton të thotë “nuk e di”; Ju duhet t'i jepni atij leje të shprehur për ta bërë këtë.
Përgjigjuni vetëm bazuar në KONTEKSTIN e mëposhtëm. Nëse përgjigja nuk është e qartë në kontekst, shkruani pikërisht këtë: "Nuk mund të gjeja informacion të mjaftueshëm për këtë në dokumentacion." Mos përfshini numra, data ose emra që nuk janë në kontekst. Mos merr me mend.
Teknika shtesë të tokëzimit:
- Kërkesa për kuotim: Para çdo pretendimi, citoni tekstin fjalë për fjalë (“Dokumenti thotë: '...'"). Prodhimi i kuotave të fabrikuara është më i vështirë për modelin.
- Temperatura e ulët: Temperatura (temperatura, kreativiteti/vendosja e rastësishme) duhet të jetë e ulët. Shënim: në disa modele aktuale ky parametër është hequr; Në to, ju siguroni tokëzimin me një kërkesë. Kreativiteti i lartë është armiku i integritetit të korporatës.
- Kufiri i fushëveprimit: "Përgjigjuni vetëm çështjeve të politikës së pëlqimit; refuzoni me mirësjellje të tërhiqeni."
Citim
Mbrojtja më e fortë sistematike kundër halucinacioneve është ta bësh përgjigjen të verifikueshme. Nëse përdoruesi mund të shohë se në cilin dokument bazohet përgjigja: (1) ai mund ta kapë vetë gabimin, (2) auditimi bëhet i mundur, (3) rritet besimi dhe (4) modeli prodhon më me kujdes me vetëdijen se "do të më duhet të citoj burimin".
Dy qasje të zakonshme:
Atribuimi në linjë: Etiketa e burimit pranë çdo pretendimi. "Leja vjetore është 14 ditë [1]." Më poshtë është dokumentacioni i plotë i [1].
Prodhimi i strukturuar: Kërkoni nga modeli të prodhojë përgjigjen dhe listën e burimeve në fusha të veçanta; Shfaqja e burimeve si lidhje të klikueshme në ndërfaqe.
# Prodhimi i një përgjigjeje të strukturuar bazuar në model (konceptuale) Jepni përgjigjen tuaj në strukturën e mëposhtme:- përgjigje: <përgjigje e bazuar në kontekst>- burimet: [{"pjesa_nr": 1, "skedari": "...", "seksioni": "..."}]- besimi: <i lartë|mesatar|i ulët> # Sa qartë e mbështet konteksti? Nëse konteksti nuk e mbështet përgjigjen, shkruani "nuk u gjet asnjë informacion" në fushën e përgjigjes dhe lini burimet bosh.
Që Citimi të funksionojë vërtet, është e nevojshme të verifikohet që atribuimi është i saktë. Modeli ndonjëherë mund të japë përgjigjen e saktë, por të japë burimin e gabuar. Sistemet e avancuara kontrollojnë automatikisht nëse çdo pretendim i prodhuar mbështetet në të vërtetë në pjesën ku tregon (matja e "besnikërisë" në njësinë tjetër).
I dobët/i fortë: Nxitje kundër halucinacioneve
I dobët (ftesë për të plotësuar vendin bosh):
Përgjigjuni pyetjes sa më mirë që mundeni me informacionin që keni: {context} Pyetje: {question}# "Sa më mirë që mundeni" do të thotë "mendoni nëse nuk e dini" për modelin.
E fortë (e bazuar + nuk e di lejen + burimin + besimin):
Vetëm mbështetuni në KONTEKSTI. Përndryshe, thoni "Nuk gjeta asnjë informacion"; përbëjnë numrin/datën/emrin.Shto [n] numrin e burimit për çdo pretendim. Specifikoni nivelin e besimit të mbështetur nga konteksti. KONTEKSTI: [1]... [2]... PYETJE: {pyetje}
Tre Mini Rastet
Rasti 1 - Numri i artikullit të krijuar. Një avokat paraprak bëri një deklaratë "Neni 17/B" që ishte jashtë kontekstit dhe i jepte informacion të rremë punonjësit. Kur u shtua udhëzimi "Mos jep një numër artikulli që nuk është në kontekst, ndryshe thuaj nuk e di" + detyrimi për të cituar, rastet e artikujve të fabrikuar u ulën nga 11 në 0 në 40 shembuj.
Rasti 2 - Përgjigje e saktë, burim i gabuar. Një asistent mbështetës deklaroi periudhën e saktë të kthimit, por citoi artikullin e gabuar; Kur klienti klikoi në lidhje, u hap një faqe e parëndësishme. Kur u shtua verifikimi i citimeve (duke kontrolluar nëse pretendimi shfaqet në pjesën e cituar), shkalla e citimeve të rreme ra nga 23% në 2%.
Rasti 3 - “Nuk e di” nuk është dhënë leja. Një asistent i burimeve njerëzore kishte krijuar një përgjigje të besueshme, por të pasaktë për një pyetje që nuk ishte në dokument. Kur kërkesës iu shtua pëlqimi i qartë "Nuk e di" dhe teksti i plotë ("Nuk mund të gjeja informacion për këtë në dokumentacion"), shkalla e refuzimit të ndershëm për pyetjet pa përgjigje, në vend të trillimeve, u rrit nga 8% në 95%.
Gabimet e zakonshme
- Moslejimi i “Nuk e di”: Modelja e plotëson boshllëkun me trillim.
- Mbajtja e kreativitetit të lartë: Rastësia është e dëmshme për integritetin e korporatës.
- Besimi i burimit pa e verifikuar atë: Modeli mund t'i bashkëngjisë burimin e gabuar përgjigjes së saktë.
- Mos dallimi midis dy llojeve të halucinacioneve: Ju korrigjoni vendin e gabuar pa e ditur nëse është shkaktuar nga rikthimi apo gjenerimi.
- Gabimi i citimit për kozmetikën: Citimi i burimit është edhe konfirmim edhe parandalues; merre seriozisht.
Kujdes: "Modelja duket shumë e sigurt" nuk është e njëjtë me "modelja është e saktë". Halucinacionet janë përgjithësisht fjalitë më të rrjedhshme dhe më të sigurta. Lexoni besimin nga burimi që tregon, jo nga toni i fjalisë.
Në përmbledhje
- Halucinacioni është kur modeli mbush boshllëkun e informacionit me tekst të besueshëm, por të rremë; RAG zvogëlohet, por nuk rivendoset.
- Halucinacioni mund të shkaktohet nga rikthimi (pjesa e gabuar) ose gjenerimi (leximi i gabuar); Përcaktoni se cili i pari.
- Teknika më e fuqishme e tokëzimit është t'i japë modelit lejen e qartë "Nuk e di"; gjithashtu kërkesa për citim dhe kreativitet i ulët.
- Citimi e bën përgjigjen të verifikueshme; Ai njëkohësisht jep besim dhe e shtyn modelin të prodhohet me kujdes.
- Duhet të kontrollohet gjithashtu saktësia e citimit; Burimi i gabuar mund t'i bashkëngjitet përgjigjes së saktë.
Detyra e aplikimit
(1) Përgatitni 4 pyetje për t'i bërë asistentit tuaj, përgjigjet e të cilave nuk janë në dokumente (pyetje kurth). Provoni secilin me promptin e dobët dhe të fortë dhe shënoni nëse modeli përshtatet apo jo. (2) Për 4 pyetjet, përgjigjet e të cilave janë në dokument, lërini modelin të gjenerojë numrin e saldimit dhe verifikoni manualisht nëse saldimi që tregon është në të vërtetë pjesa e saktë. (3) Kontrolloni nëse modeli jep "përgjigje të saktë, burim të gabuar" në të paktën një rast dhe shkruani me një fjali se si mund ta kapni këtë automatikisht.
listë kontrolli
- [ ] Unë mund të them pse po ndodh halucinacioni dhe se RAG e redukton atë, por nuk e rivendos atë.
- [ ] Unë mund të bëj dallimin midis halucinacioneve të rimarrjes dhe të gjenerimit dhe të korrigjoj vendin e duhur.
- [ ] Unë jam duke shtuar të qarta "Nuk e di" leje dhe rregulla bazë në prompt.
- [ ] Po i shtoj përgjigjes një burim të verifikueshëm (citim).
- [ ] Unë e kuptoj nevojën për të kontrolluar më tej saktësinë e atribuimit.