Qligħ:
- Spjega l-kawżi tal-alluċinazzjoni u r-rwol tal-grounding
- L-applikazzjoni ta' tekniki li jġiegħlu lill-mudell jgħid 'Ma nafx' jekk mhux fil-kuntest
- Tiżgura l-fiduċja u l-awditjar billi żżid sorsi/ċitazzjonijiet verifikabbli mat-tweġibiet
L-iktar imġieba perikoluża ta’ mudell tal-lingwa hija li tagħmel xi ħaġa li ma jafx b’ton kunfidenti u persważiv. Din tissejjaħ alluċinazzjoni. L-alluċinazzjoni f'assistent korporattiv mhix biss tedjanti, hija dettament riskjuża: il-jum liberu ħażin, il-prezz ħażin, is-sustanza legali ħażina jistgħu fil-fatt ipoġġu impjegat jew klijent fil-ħsara. F'din l-unità, inkopru għaliex iseħħu alluċinazzjonijiet, kif tnaqqashom f'RAG, u kif tagħmel it-tweġiba verifikabbli.
X'jikkawża Alluċinazzjonijiet?
Il-mudell huwa mħarreġ biex jipproduċi l-kelma l-aktar probabbli li jmiss; Mhux "għid il-verità", iżda "tipproduċi test fluwenti u raġonevoli". Jekk l-informazzjoni tkun nieqsa, tista' timla l-vojt b'xi ħaġa statistikament plawżibbli iżda fattwalment skorretta. Tliet kawżi tipiċi:
- M'hemm l-ebda tweġiba fil-kuntest, iżda l-mudell iħossu mġiegħel jgħid xi ħaġa xorta waħda.
- Il-kuntest huwa konfliġġenti jew inadegwat; Il-mudell jagħlaq id-distakk bi tbassir.
- Il-mistoqsija tmur lil hinn mill-kuntest; il-mudell jerġa' lura għall-għarfien ġenerali tiegħu stess (u possibilment skadut).
RAG inaqqas l-alluċinazzjoni minħabba li jagħti lill-mudell sors reali - iżda ma jerġax isettjah. Jekk iġġib il-parti żbaljata jew tħalli l-mudell "libertà biex timla l-vojt", is-sistema b'RAG tista 'wkoll taqbel magħha.
tip ta' alluċinazzjoni
sintomu
kawża ewlenija
saff tas-soluzzjoni
li joriġinaw mill-irkupru
It-tweġiba t-tajba tinsab fid-dokument iżda ma waslitx
Parti żbaljata/nieqsa kkonsenjata
Chunking, ibridu, klassifikazzjoni mill-ġdid (Unità 3-4)
Ġenerazzjoni minn sorsi
Il-parti t-tajba waslet iżda t-tweġiba hija ħażina/għandha tiżdied
Il-mudell imla l-vojt bi tbassir
Grounding, permess "Ma nafx", kreattività baxxa
Ċitazzjoni misjuba
It-tweġiba hija korretta iżda s-sors huwa żbaljat
Mudell irrefera għal parti ħażina
Verifika taċ-ċitazzjoni (ara l-Unità 8)
Ħjiel: Aqsam l-alluċinazzjoni f'żewġ partijiet. Miġbura mill-irkupru: waslet parti ħażina/nieqsa (soluzzjoni: ittejjeb l-irkupru). Sors tal-ġenerazzjoni: Waslet il-parti korretta, iżda l-mudell qara/żiedha b'mod żbaljat (soluzzjoni: fil-pront u l-ert). Ma tistax tirranġaha sakemm ma tkunx taf liema waħda hi.
Grounding: Nailing-Tweġiba fil-Kuntest
Grounding huwa l-isem mogħti lit-tekniki kollha li tgħid lill-mudell "sempliċement tistrieħ fuq it-test li nagħtikom, tmurx lil hinn minnu." It-teknika l-aktar bażika u effettiva tiegħu: li jagħti espliċitament lill-mudell il-permess biex jgħid ‘Ma nafx’. Il-mudell, bħall-bniedem, joqgħod lura milli jgħid “ma nafx”; Trid tagħtih permess espress biex jagħmel dan.
Tweġiba bbażata biss fuq il-KUNTEST hawn taħt. Jekk it-tweġiba mhix ĊAR fil-kuntest, ikteb eżattament dan: "Ma stajtx insib biżżejjed informazzjoni dwar dan fid-dokumentazzjoni." Tinkludix xi numri, dati, jew ismijiet li mhumiex fil-kuntest. Taqtax.
Tekniki addizzjonali ta' ertjar:
- Rekwiżit ta' kwotazzjoni: Qabel kull talba, ikkwota l-kuntest verbatim (“Id-dokument jgħid: '...'”). Il-produzzjoni ta 'kwotazzjonijiet iffabbrikati hija aktar diffiċli għall-mudell.
- Temperatura baxxa: It-temperatura (temperatura, kreattività/issettjar każwali) għandha tkun baxxa. Nota: f'xi mudelli attwali dan il-parametru tneħħa; Fihom, inti tipprovdi ert bi pront. Il-kreattività għolja hija l-għadu tal-integrità korporattiva.
- Limitu ta' l-ambitu: "Irrispondi biss għal kwistjonijiet ta' politika ta' kunsens; b'mod edukat irrifjuta li ma tagħmilx barra."
Ċitazzjoni
L-aktar difiża sistemika b'saħħitha kontra l-alluċinazzjoni hija li t-tweġiba tkun verifikabbli. Jekk l-utent jista 'jara liema dokument hija bbażata fuq it-tweġiba: (1) jista' jaqbad l-iżball hu stess, (2) il-verifika ssir possibbli, (3) il-fiduċja tiżdied, u (4) il-mudell jipproduċi b'mod aktar kawt bil-kuxjenza li "Ikolli bżonn niċċita s-sors".
Żewġ approċċi komuni:
Attribuzzjoni inline: Tag tas-sors ħdejn kull talba. "Il-leave annwali huwa ta' 14-il jum [1]." Hawn taħt tinsab id-dokumentazzjoni sħiħa ta' [1].
Output strutturat: It-talba lill-mudell biex jipproduċi t-tweġiba u l-lista tas-sors f'oqsma separati; Ir-riżorsi jintwerew bħala links li jistgħu jiġu kklikkjati fl-interface.
# Produzzjoni ta' tweġiba strutturata bbażata fuq il-mudell (kunċettwali) Agħti t-tweġiba tiegħek fl-istruttura li ġejja:- tweġiba: <context-based answer>- sorsi: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Kemm jappoġġjaha b'mod ċar il-kuntest? Jekk il-kuntest ma jappoġġjax it-tweġiba, ikteb "l-ebda informazzjoni misjuba" fil-qasam tat-tweġiba u ħalli s-sorsi vojta.
Biex iċ-Ċitazzjoni taħdem tassew, huwa meħtieġ li jiġi vverifikat li l-attribuzzjoni hija korretta. Il-mudell jista' kultant jagħti t-tweġiba t-tajba iżda jagħti s-sors ħażin. Sistemi avvanzati awtomatikament jikkontrollaw li kull talba prodotta hija attwalment appoġġjata fil-biċċa li tipponta lejha (il-kejl tal-"fedeltà" fl-unità li jmiss).
Dgħajjef/Qawwi: Pront Kontra Alluċinazzjoni
Dgħajjef (stedina biex timla l-vojt):
Wieġeb il-mistoqsija mill-aħjar li tista' bl-informazzjoni li għandek: {kuntest} Mistoqsija: {mistoqsija}# "Kif tista'" tfisser "aqta jekk ma tafx" għall-mudell.
Qawwija (l-art + ma nafx permess + sors + fiduċja):
Tistrieħ biss fuq KUNTEST. Inkella, għid "Ma stajt insib l-ebda informazzjoni"; make up number/data/name.Żid [n] numru tas-sors ma’ kull talba. Speċifika l-livell ta' fiduċja sostnut mill-kuntest.KUNTEST: [1]... [2]... MISTOQSIJA: {mistoqsija}
Tliet Każijiet Mini
Każ 1 — Numru tal-oġġett magħmul. Paralegal għamel dikjarazzjoni "Article 17/B" li kienet barra mill-kuntest u tat informazzjoni falza lill-impjegat. Meta ġiet miżjuda l-istruzzjoni "Tagħtix numru ta' artiklu li ma jkunx fil-kuntest, inkella ngħid li ma nafx" + l-obbligu li tikkwota, il-każijiet ta' oġġetti fabbrikati naqsu minn 11 għal 0 f'40 eżempju.
Każ 2 — Tweġiba korretta, sors żbaljat. Assistent ta 'appoġġ iddikjara l-perjodu ta' ritorn korrett iżda kkwota l-artikolu ħażin; Meta l-klijent għafas fuq il-link, infetħet paġna irrilevanti. Meta ġiet miżjuda l-verifika taċ-ċitazzjoni (iċċekkjar jekk it-talba tidherx fil-biċċa ċċitata), ir-rata ta 'ċitazzjoni foloz niżlet minn 23% għal 2%.
Każ 3 — “Ma nafx” ma ngħatax permess. Assistent HR kien għamel tweġiba plawżibbli iżda żbaljata għal mistoqsija li ma kinitx fid-dokument. Meta kunsens espliċitu "Ma nafx" u test sħiħ ("Ma stajtx insib informazzjoni dwar dan fid-dokumentazzjoni") ġew miżjuda mal-pront, ir-rata ta' rifjut onest għal mistoqsijiet mingħajr tweġiba, aktar milli fabbrikazzjoni, żdiedet minn 8% għal 95%.
Żbalji komuni
- Li ma tippermettix "Ma nafx": Il-mudell jimla l-vojt bil-fabbrikazzjoni.
- Inżommu l-kreattività għolja: Ir-radomness hija ta' detriment għall-integrità korporattiva.
- Tafda s-sors mingħajr ma tivverifikah: Il-mudell jista’ jehmeż is-sors ħażin mat-tweġiba t-tajba.
- Mhux tiddistingwi bejn iż-żewġ tipi ta 'alluċinazzjonijiet: Tikkoreġi l-post ħażin mingħajr ma tkun taf jekk huwiex ikkawżat mill-irkupru jew mill-ġenerazzjoni.
- Ċitazzjoni bi żball għall-kożmetiċi: Ċitazzjoni tas-sors hija kemm konferma kif ukoll deterrent; teħodha bis-serjetà.
Attenzjoni: "Il-mudell jidher kunfidenti ħafna" mhuwiex l-istess bħal "il-mudell huwa korrett". L-alluċinazzjonijiet huma ġeneralment l-aktar sentenzi fluwenti u kunfidenti. Aqra l-fiduċja mis-sors li tindika, mhux mit-ton tas-sentenza.
Fil-qosor
- Alluċinazzjoni hija meta l-mudell jimla l-vojt ta 'informazzjoni b'test plawżibbli iżda falz; RAG inaqqas iżda ma jerġax jissettja.
- L-alluċinazzjoni tista' tkun ikkawżata minn irkupru (parti żbaljata) jew ġenerazzjoni (qari ħażin); Iddetermina liema waħda l-ewwel.
- It-teknika l-aktar qawwija tal-Grounding hija li tagħti lill-mudell permess espliċitu "Ma nafx"; ukoll rekwiżit ta 'ċitazzjoni u kreattività baxxa.
- Ċitazzjoni tagħmel it-tweġiba verifikabbli; Hija t-tnejn tagħti fiduċja u timbotta l-mudell biex jiġi prodott b'kawtela.
- L-eżattezza taċ-ċitazzjoni għandha tiġi kkontrollata wkoll; Is-sors ħażin jista’ jiġi mehmuż mat-tweġiba t-tajba.
Kompitu ta' applikazzjoni
(1) Ipprepara 4 mistoqsijiet li tistaqsi lill-assistent tiegħek, li t-tweġibiet tagħhom mhumiex fid-dokumenti (mistoqsijiet tan-nassa). Ittestja kull wieħed bil-pront dgħajjef u qawwi u mmarka jekk il-mudell jaqbilx jew le. (2) Għall-4 mistoqsijiet li t-tweġibiet tagħhom jinsabu fid-dokument, agħmel li l-mudell jiġġenera n-numru tal-weldjatura u tivverifika manwalment jekk il-weldjatura li turi hix fil-fatt il-parti t-tajba. (3) Iċċekkja jekk il-mudell jagħtix "tweġiba t-tajba, sors ħażin" f'mill-inqas każ wieħed u ikteb f'sentenza waħda kif tista' taqbad dan awtomatikament.
lista ta' kontroll
- [ ] Nista 'ngħid għaliex l-alluċinazzjoni qed tiġri u li RAG inaqqasha iżda ma tirresethiex.
- [ ] Kapaċi niddistingwi bejn alluċinazzjonijiet ta' irkupru u kkaġunati mill-ġenerazzjoni u nikkoreġi l-post korrett.
- [ ] Qed inżid il-permess espliċiti "Ma nafx" u r-regoli tal-bażi għall-pront.
- [ ] Qed inżid sors verifikabbli (ċitazzjoni) mat-tweġiba.
- [ ] Nifhem il-ħtieġa li niċċekkja aktar l-eżattezza tal-attribuzzjoni.