Faida:
- Eleza sababu za hallucination na jukumu la kutuliza
- Kutumia mbinu zinazofanya modeli kusema 'sijui' ikiwa haiko katika muktadha
- Kuhakikisha uaminifu na ukaguzi kwa kuongeza vyanzo/nukuu zinazoweza kuthibitishwa kwa majibu
Tabia ya hatari zaidi ya modeli ya lugha ni kutengeneza kitu asichokijua kwa sauti ya kujiamini na yenye kushawishi. Hii inaitwa hallucination. Udanganyifu katika msaidizi wa shirika sio kuudhi tu, ni hatari kabisa: siku isiyofaa ya kupumzika, bei isiyo sahihi, dutu ya kisheria isiyo sahihi inaweza kumweka mfanyakazi au mteja kwenye njia ya madhara. Katika kitengo hiki, tunaangazia kwa nini maono hutokea, jinsi ya kuyapunguza katika RAG, na jinsi ya kufanya jibu kuthibitishwa.
Ni Nini Husababisha Maziwa
Mfano umefunzwa kutoa neno linalofuata linalowezekana zaidi; Sio "sema ukweli", lakini "toa maandishi fasaha na ya kuridhisha". Ikiwa maelezo hayapo, yanaweza kujaza pengo na kitu kinachokubalika kitakwimu lakini si sahihi. Vichochezi vitatu vya kawaida:
- Hakuna jibu katika muktadha, lakini mfano huhisi kulazimishwa kusema kitu hata hivyo.
- Muktadha unakinzana au hautoshi; Mfano hufunga pengo na utabiri.
- Swali linakwenda zaidi ya muktadha; mfano unarudi kwa maarifa yake ya jumla (na ikiwezekana ya zamani).
RAG inapunguza hali ya kuona maono kwa sababu inatoa kielelezo chanzo halisi - lakini haiuweke upya. Ikiwa unaleta sehemu isiyofaa au kuacha mfano "uhuru wa kujaza pengo", mfumo na RAG unaweza pia kufaa.
aina ya hallucination
dalili
sababu ya mizizi
safu ya suluhisho
inayotokana na kurejeshwa
Jibu sahihi liko kwenye hati lakini halikufika
Sehemu isiyo sahihi/inayokosekana imewasilishwa
Chunking, mseto, nafasi mpya (Kitengo cha 3-4)
Kizazi chanzo
Sehemu sahihi ilifika lakini jibu sio sahihi/lazima liongezwe
Mfano ulijaza pengo na utabiri
Kutuliza, "Sijui" ruhusa, ubunifu mdogo
Nukuu imetoka
Jibu ni sahihi lakini chanzo sio sahihi
Mfano ulirejelea sehemu isiyo sahihi
Uthibitishaji wa dondoo (angalia Sehemu ya 8)
Kidokezo: Gawanya ukumbi katika sehemu mbili. Imetolewa kutoka kwa urejeshaji: sehemu isiyo sahihi/iliyokosekana ilifika (suluhisho: boresha urejeshaji). Chanzo cha kizazi: Sehemu sahihi ilifika, lakini mtindo uliisoma/kuiongeza vibaya (suluhisho: haraka na msingi). Huwezi kuirekebisha isipokuwa unajua ni ipi.
Kutuliza: Kusuluhisha Jibu katika Muktadha
Kutuliza ni jina lililopewa mbinu zote za kumwambia mfano "tegemea tu maandishi ninayokupa, usipite zaidi yake." Mbinu yake ya msingi na yenye ufanisi zaidi: akimpa kielelezo kibali cha kusema 'sijui'. Mwanamitindo, kama binadamu, anasitasita kusema "sijui"; Lazima umpe ruhusa ya moja kwa moja kufanya hivi.
Jibu tu kulingana na MUHTASARI ulio hapa chini. Ikiwa jibu haliko KWA UWAZI katika muktadha, andika hivi hasa: "Sikuweza kupata maelezo ya kutosha juu ya hili katika nyaraka." Usijumuishe nambari, tarehe, au majina yoyote ambayo hayako katika muktadha. Usikisie.
Mbinu za ziada za msingi:
- Mahitaji ya nukuu: Kabla ya kila dai, nukuu muktadha wa neno (“Hati inasema: '...'”). Kuzalisha nukuu zilizotengenezwa ni ngumu zaidi kwa mfano.
- Halijoto ya chini: Halijoto (joto, ubunifu/mipangilio ya nasibu) inapaswa kuwa ya chini. Kumbuka: katika baadhi ya mifano ya sasa parameter hii imeondolewa; Ndani yao, unatoa msingi kwa haraka. Ubunifu wa hali ya juu ni adui wa uadilifu wa kampuni.
- Upeo wa upeo: "Jibu tu kwa masuala ya sera ya idhini; kataa kwa upole kujiondoa."
Nukuu
Ulinzi thabiti wa kimfumo dhidi ya ndoto ni kufanya jibu liweze kuthibitishwa. Ikiwa mtumiaji anaweza kuona ni hati ipi ambayo jibu linategemea: (1) anaweza kupata kosa mwenyewe, (2) ukaguzi unawezekana, (3) uaminifu unaongezeka, na (4) mtindo hutoa kwa uangalifu zaidi kwa ufahamu kwamba "nitahitaji kutaja chanzo".
Mbinu mbili za kawaida:
Maelezo ya ndani: Lebo ya chanzo karibu na kila dai. "Likizo ya mwaka ni siku 14 [1]." Ifuatayo ni hati kamili ya [1].
Matokeo yaliyopangwa: Kuuliza modeli kutoa jibu na orodha ya chanzo katika nyanja tofauti; Inaonyesha rasilimali kama viungo vinavyoweza kubofya kwenye kiolesura.
# Kutoa jibu lililoundwa kulingana na muundo (dhana) Toa jibu lako katika muundo ufuatao:- jibu: <context-based answer>- sources: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Muktadha unaunga mkono kwa uwazi kwa kiasi gani? Ikiwa muktadha haukubali jibu, andika "hakuna habari iliyopatikana" katika sehemu ya jibu na uache vyanzo wazi.
Ili Nukuu ifanye kazi kweli, ni muhimu kuthibitisha kuwa maelezo ni sahihi. Mfano wakati mwingine unaweza kutoa jibu sahihi lakini kutoa chanzo kisicho sahihi. Mifumo ya hali ya juu hukagua kiotomatiki kwamba kila dai linalotolewa linaungwa mkono katika sehemu inayoelekeza (kipimo cha "uaminifu" katika kitengo kinachofuata).
Dhaifu/Nguvu: Haraka Dhidi ya Kulala
Dhaifu (mwaliko wa kujaza nafasi iliyo wazi):
Jibu swali uwezavyo kwa maelezo uliyo nayo: {context} Swali: {swali}# "Kadiri uwezavyo" inamaanisha "nadhani ikiwa hujui" kwa mfano.
Nguvu (kutuliza + sijui ruhusa + chanzo + uaminifu):
Tegemea tu CONTEXT. Vinginevyo, sema "Sikuweza kupata habari yoyote"; tengeneza nambari/tarehe/jina.Ongeza nambari [n] chanzo kwa kila dai. Bainisha kiwango cha uaminifu kinachoauniwa na muktadha. MUHTASARI: [1]... [2]... SWALI: {swali}
Kesi Tatu Ndogo
Kesi ya 1 - Nambari ya bidhaa iliyoundwa. Msaidizi wa kisheria alitunga taarifa ya "Kifungu cha 17/B" ambayo haikuwa ya muktadha na kutoa taarifa za uwongo kwa mfanyakazi. Wakati maagizo "Usitoe nambari ya kifungu ambayo haiko katika muktadha, vinginevyo sema sijui" + jukumu la kunukuu liliongezwa, kesi za nakala zilizotungwa zilipungua kutoka 11 hadi 0 katika mifano 40.
Kesi ya 2 - Jibu sahihi, chanzo kisicho sahihi. Msaidizi wa usaidizi alisema kipindi sahihi cha kurejesha lakini akataja makala isiyo sahihi; Wakati mteja alibofya kiungo, ukurasa usio na maana ulifunguliwa. Wakati uthibitishaji wa manukuu (kuangalia kama dai linaonekana kwenye kipande kilichotajwa) ulipoongezwa, kiwango cha manukuu ya uwongo kilishuka kutoka 23% hadi 2%.
Kesi ya 3 — ruhusa ya “Sijui” haikutolewa. Msaidizi wa HR alikuwa ametoa jibu linalokubalika lakini lisilo sahihi kwa swali ambalo halikuwa kwenye hati. Wakati ridhaa ya wazi ya "Sijui" na maandishi kamili ("Sikuweza kupata taarifa kuhusu hili katika nyaraka") yaliongezwa kwa haraka, kiwango cha kukataa kwa uaminifu kwa maswali bila jibu, badala ya uwongo, kiliongezeka kutoka 8% hadi 95%.
Makosa ya kawaida
- Kutoruhusu "Sijui": Mfano huo unajaza pengo kwa uundaji.
- Kuweka ubunifu juu: Kubahatisha kunadhuru kwa uadilifu wa shirika.
- Kuamini chanzo bila kukithibitisha: Muundo unaweza kuambatanisha chanzo kisicho sahihi kwa jibu sahihi.
- Kutotofautisha kati ya aina mbili za maono: Unasahihisha mahali pabaya bila kujua kama inasababishwa na kupatikana tena au kizazi.
- Kukosea Nukuu kwa vipodozi: Nukuu ya chanzo ni uthibitisho na kizuizi; ichukulie kwa uzito.
Tahadhari: "Mfano unaonekana kujiamini sana" sio sawa na "mfano ni sahihi". Malalamiko kwa ujumla ndiyo sentensi fasaha zaidi na zenye kujiamini. Soma uaminifu kutoka kwa chanzo kinachoonyesha, sio kutoka kwa sauti ya sentensi.
Kwa muhtasari
- Udanganyifu ni wakati modeli inajaza pengo la habari kwa maandishi yanayokubalika lakini ya uwongo; RAG inapunguza lakini haiweki upya.
- Maoni yanaweza kusababishwa na kurejesha (sehemu isiyo sahihi) au kizazi (kusoma vibaya); Amua ni ipi kwanza.
- Mbinu yenye nguvu zaidi ya Kutuliza ni kutoa kielelezo wazi ruhusa ya "Sijui"; pia mahitaji ya nukuu na ubunifu mdogo.
- Nukuu hufanya jibu kuthibitishwa; Yote mawili hutoa ujasiri na kusukuma mfano kuzalishwa kwa uangalifu.
- Usahihi wa dondoo unapaswa pia kuangaliwa; Chanzo kibaya kinaweza kuambatanishwa na jibu sahihi.
Jukumu la maombi
(1) Andaa maswali 4 ya kuuliza msaidizi wako, majibu ambayo hayapo kwenye hati (maswali ya mtego). Jaribu kila moja kwa kidokezo dhaifu na chenye nguvu na utie alama ikiwa kielelezo kinafaa au la. (2) Kwa maswali 4 ambayo majibu yake yako kwenye hati, ruhusu kielelezo kitengeneze nambari ya weld na uthibitishe mwenyewe ikiwa weld inayoonyesha ni sehemu sahihi. (3) Angalia ikiwa mtindo unatoa "jibu sahihi, chanzo kisicho sahihi" katika angalau kisa kimoja na uandike kwa sentensi moja jinsi unavyoweza kupata hii kiotomatiki.
orodha ya ukaguzi
- [ ] Ninaweza kujua ni kwa nini maonyesho ya macho yanafanyika na kwamba RAG inaipunguza lakini haiiweke upya.
- [ ] Ninaweza kutofautisha kati ya urejeshaji na maonyesho yanayotokana na kizazi na kusahihisha mahali pazuri.
- [ ] Ninaongeza ruhusa wazi ya "Sijui" na kanuni za msingi kwenye dodoso.
- [ ] Ninaongeza chanzo kinachoweza kuthibitishwa (nukuu) kwa jibu.
- [ ] Ninaelewa hitaji la kuangalia zaidi usahihi wa maelezo.