Mga nadagdag:
- Ipaliwanag ang mga sanhi ng guni-guni at ang papel ng saligan
- Paglalapat ng mga diskarte na nagpapasabi sa modelo na 'Hindi ko alam' kung wala ito sa konteksto
- Pagtitiyak ng tiwala at auditability sa pamamagitan ng pagdaragdag ng mga nabe-verify na source/citation sa mga tugon
Ang pinaka-mapanganib na pag-uugali ng isang modelo ng wika ay ang gumawa ng isang bagay na hindi niya alam sa isang tiwala at mapanghikayat na tono. Ito ay tinatawag na hallucination. Ang pag-hallucinate sa isang corporate assistant ay hindi lang nakakainis, ito ay talagang delikado: ang maling araw na walang pasok, ang maling presyo, ang maling legal na sangkap ay maaaring aktwal na ilagay sa isang empleyado o customer sa paraan ng pinsala. Sa yunit na ito, sinasaklaw namin kung bakit nangyayari ang mga guni-guni, kung paano bawasan ang mga ito sa RAG, at kung paano gagawing mapatunayan ang sagot.
Ano ang Nagdudulot ng Hallucinations?
Ang modelo ay sinanay upang makagawa ng susunod na pinaka-malamang na salita; Hindi "magsabi ng totoo", ngunit "gumawa ng matatas at makatwirang teksto". Kung nawawala ang impormasyon, maaari nitong punan ang puwang ng isang bagay na makatotohanan ayon sa istatistika ngunit hindi tama sa katotohanan. Tatlong karaniwang trigger:
- Walang sagot sa konteksto, ngunit pakiramdam ng modelo ay napipilitan pa ring sabihin ang isang bagay.
- Ang konteksto ay magkasalungat o hindi sapat; Isinasara ng modelo ang puwang sa pamamagitan ng hula.
- Ang tanong ay lampas sa konteksto; bumabalik ang modelo sa sarili nitong pangkalahatang (at posibleng lipas na) kaalaman.
Binabawasan ng RAG ang guni-guni dahil binibigyan nito ang modelo ng tunay na pinagmulan — ngunit hindi nito nire-reset. Kung nagdadala ka ng maling bahagi o iniwan ang modelo na "kalayaan upang punan ang puwang", ang sistema na may RAG ay maaari ding magkasya dito.
uri ng hallucination
sintomas
ugat na dahilan
layer ng solusyon
nagmula sa pagkuha
Ang tamang sagot ay nasa dokumento ngunit hindi ito dumating
Mali/nawawalang bahagi ang naihatid
Chunking, hybrid, re-ranking (Unit 3-4)
Pinagmulan ng henerasyon
Dumating ang tamang bahagi ngunit mali ang sagot/dapat idagdag
Pinuno ng modelo ang puwang ng hula
Grounding, "Hindi ko alam" na pahintulot, mababang pagkamalikhain
Pinagmulan ng pagsipi
Tama ang sagot pero mali ang source
Tinukoy ng modelo ang maling bahagi
Pag-verify ng pagsipi (tingnan ang Yunit 8)
Hint: Hatiin ang hallucination sa dalawang bahagi. Sourced from retrieval: mali/nawawalang bahagi ang dumating (solusyon: pagbutihin ang retrieval). Pinagmulan ng henerasyon: Dumating ang tamang bahagi, ngunit nabasa/nadagdag ito nang mali ng modelo (solusyon: prompt at grounding). Hindi mo ito maaayos maliban kung alam mo kung alin ito.
Pagbabatayan: Pagpapako ng Sagot sa Konteksto
Grounding ay ang pangalan na ibinigay sa lahat ng mga diskarte ng pagsasabi sa modelo "umaasa ka lang sa text na ibibigay ko sa iyo, huwag lumampas dito." Ang kanyang pinakapangunahing at pinakaepektibong pamamaraan: tahasang nagbibigay ng pahintulot sa modelo na sabihin ang 'Hindi ko alam'. Ang modelo, tulad ng tao, ay nag-aalangan na magsabi ng "Hindi ko alam"; Dapat mong bigyan siya ng malinaw na pahintulot na gawin ito.
Sagot lamang batay sa CONTEXT sa ibaba. Kung ang sagot ay hindi MALINAW sa konteksto, isulat nang eksakto ito: "Hindi ako makahanap ng sapat na impormasyon tungkol dito sa dokumentasyon." Huwag magsama ng anumang mga numero, petsa, o pangalan na wala sa konteksto. Huwag hulaan.
Mga karagdagang pamamaraan ng saligan:
- Kinakailangan sa panipi: Bago ang bawat paghahabol, sipiin ang konteksto ng verbatim (“Ang dokumento ay nagsasabing: '...'”). Ang paggawa ng mga gawa-gawang quote ay mas mahirap para sa modelo.
- Mababang temperatura: Ang temperatura (temperatura, pagkamalikhain/random na setting) ay dapat na mababa. Tandaan: sa ilang kasalukuyang modelo ang parameter na ito ay inalis; Sa kanila, nagbibigay ka ng saligan na may prompt. Ang mataas na pagkamalikhain ay ang kaaway ng integridad ng korporasyon.
- Limitasyon sa saklaw: "Tumugon lamang sa mga isyu sa patakaran sa pagpapahintulot; magalang na tumanggi na mag-opt out."
Sipi
Ang pinakamalakas na systemic na depensa laban sa guni-guni ay ang gawing mapatunayan ang sagot. Kung makikita ng user kung aling dokumento ang batayan ng sagot sa: (1) mahuhuli niya mismo ang pagkakamali, (2) magiging posible ang pag-audit, (3) tumaas ang tiwala, at (4) mas maingat ang paggawa ng modelo nang may kamalayan na "Kailangan kong banggitin ang pinagmulan".
Dalawang karaniwang diskarte:
Inline na attribution: Source tag sa tabi ng bawat claim. "Ang taunang bakasyon ay 14 na araw [1]." Nasa ibaba ang buong dokumentasyon ng [1].
Structured output: Pagtatanong sa modelo na gumawa ng sagot at ang source list sa magkahiwalay na field; Ipinapakita ang mga mapagkukunan bilang naki-click na mga link sa interface.
# Paggawa ng structured na sagot batay sa modelo (conceptual) Ibigay ang iyong sagot sa sumusunod na istruktura:- sagot: <context-based answer>- sources: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Gaano kalinaw na sinusuportahan ito ng konteksto? Kung hindi sinusuportahan ng konteksto ang sagot, isulat ang "no information found" sa answer field at iwanang blangko ang mga source.
Para talagang gumana ang Citation, kailangang i-verify na tama ang attribution. Ang modelo ay maaaring minsan ay nagbibigay ng tamang sagot ngunit nagbibigay ng maling pinagmulan. Awtomatikong sinusuri ng mga advanced na system na ang bawat claim na ginawa ay aktwal na sinusuportahan sa bahaging itinuturo nito (ang pagsukat ng "katapatan" sa susunod na yunit).
Mahina/Malakas: Maagap Laban sa Hallucination
Mahina (imbitasyon na punan ang blangko):
Sagutin ang tanong sa abot ng iyong makakaya gamit ang impormasyong mayroon ka: {context} Tanong: {question}# Ang ibig sabihin ng "As best you can" ay "hulaan kung hindi mo alam" para sa modelo.
Malakas (grounding + hindi alam ang pahintulot + source + trust):
Umasa ka lang sa CONTEXT. Kung hindi, sabihin ang "Wala akong mahanap na anumang impormasyon"; make up number/date/name.Magdagdag ng [n] source number sa bawat claim. Tukuyin ang antas ng tiwala na sinusuportahan ng konteksto.KONTEKSTO: [1]... [2]... TANONG: {tanong}
Tatlong Mini Case
Case 1 — Ginawa na numero ng item. Isang paralegal ang gumawa ng "Article 17/B" na pahayag na wala sa konteksto at nagbigay ng maling impormasyon sa empleyado. Noong idinagdag ang tagubilin na "Huwag magbigay ng numero ng artikulo na wala sa konteksto, kung hindi ay sabihing hindi ko alam" + ang obligasyong mag-quote ay idinagdag, ang mga kaso ng gawa-gawang artikulo ay bumaba mula 11 hanggang 0 sa 40 halimbawa.
Case 2 — Tamang sagot, maling source. Isang support assistant ang nagsabi ng tamang panahon ng pagbabalik ngunit binanggit ang maling artikulo; Kapag nag-click ang customer sa link, nagbukas ang isang hindi nauugnay na pahina. Noong idinagdag ang pag-verify ng pagsipi (pagsusuri kung lumalabas ang claim sa binanggit na piraso), bumaba ang rate ng false-citation mula 23% hanggang 2%.
Kaso 3 — "Hindi ko alam" ang pahintulot ay hindi ibinigay. Isang HR assistant ang nakagawa ng isang makatwiran ngunit hindi tamang sagot sa isang tanong na wala sa dokumento. Kapag ang tahasang "Hindi ko alam" na pahintulot at buong teksto ("Hindi ko mahanap ang impormasyon tungkol dito sa dokumentasyon") ay idinagdag sa prompt, ang tapat na rate ng pagtanggi para sa mga tanong na walang sagot, sa halip na gawa-gawa, ay tumaas mula 8% hanggang 95%.
Mga karaniwang pagkakamali
- Hindi pinapayagan ang "Hindi ko alam": Pinupuno ng modelo ang puwang sa katha.
- Pagpapanatiling mataas ang pagkamalikhain: Ang pagiging random ay nakakasama sa integridad ng kumpanya.
- Pagtitiwala sa pinagmulan nang hindi ito bini-verify: Maaaring ilakip ng modelo ang maling pinagmulan sa tamang sagot.
- Hindi nakikilala sa pagitan ng dalawang uri ng mga guni-guni: Itinatama mo ang maling lugar nang hindi nalalaman kung ito ay sanhi ng pagkuha o henerasyon.
- Napagkakamalang Sipi para sa mga pampaganda: Ang pagsipi ng pinagmulan ay parehong kumpirmasyon at pumipigil; seryosohin mo.
Babala: "Mukhang napaka-confident ng modelo" ay hindi katulad ng "tama ang modelo". Ang mga halusinasyon ay karaniwang ang pinaka matatas at may kumpiyansa na mga pangungusap. Basahin ang tiwala mula sa pinagmulang ipinapahiwatig nito, hindi mula sa tono ng pangungusap.
Sa buod
- Ang hallucination ay kapag pinupunan ng modelo ang puwang ng impormasyon ng makatotohanan ngunit maling teksto; Ang RAG ay bumababa ngunit hindi nagre-reset.
- Ang guni-guni ay maaaring sanhi ng pagkuha (maling bahagi) o henerasyon (maling pagbasa); Tukuyin kung alin ang una.
- Ang pinaka-makapangyarihang pamamaraan ng grounding ay upang bigyan ang modelo ng tahasang "Hindi ko alam" na pahintulot; kailangan din ng pagsipi at mababang pagkamalikhain.
- Ginagawang mapatunayan ng pagsipi ang sagot; Pareho itong nagbibigay ng kumpiyansa at itinutulak ang modelo na maingat na gawin.
- Dapat ding suriin ang katumpakan ng pagsipi; Ang maling pinagmulan ay maaaring ikabit sa tamang sagot.
Gawain ng aplikasyon
(1) Maghanda ng 4 na tanong na itatanong sa iyong katulong, ang mga sagot na wala sa mga dokumento (mga tanong sa bitag). Subukan ang bawat isa gamit ang mahina at malakas na prompt at markahan kung ang modelo ay angkop o hindi. (2) Para sa 4 na tanong na ang mga sagot ay nasa dokumento, ipagawa sa modelo ang numero ng weld at manu-manong i-verify kung ang hinang na ipinapakita nito ay talagang tamang bahagi. (3) Suriin kung ang modelo ay nagbibigay ng "tamang sagot, maling pinagmulan" sa kahit isang kaso at isulat sa isang pangungusap kung paano mo ito awtomatikong makukuha.
checklist
- [ ] Masasabi ko kung bakit nangyayari ang guni-guni at binabawasan ito ng RAG ngunit hindi ito ni-reset.
- [ ] Maari kong makilala ang pagitan ng retrieval at generation-induced hallucinations at itama ang tamang lugar.
- [ ] Nagdaragdag ako ng tahasang "Hindi ko alam" na pahintulot at mga panuntunan sa saligan sa prompt.
- [ ] Nagdaragdag ako ng isang napapatunayang pinagmulan (citation) sa sagot.
- [ ] Naiintindihan ko ang pangangailangang higit pang suriin ang katumpakan ng pagpapatungkol.