Awọn anfani:
- Ṣe alaye awọn idi ti hallucination ati ipa ti ilẹ
- Awọn ilana lilo ti o jẹ ki awoṣe sọ 'Emi ko mọ' ti ko ba si ni ipo
- Ni idaniloju igbẹkẹle ati iṣayẹwo nipa fifi awọn orisun/awọn itọka ti a le rii daju si awọn idahun
Iwa ti o lewu julo ti awoṣe ede ni lati ṣe ohun kan ti ko mọ ni ohun orin ti o ni igboya ati idaniloju. Eyi ni a npe ni hallucination. Ibanujẹ ni oluranlọwọ ile-iṣẹ kii ṣe didanubi nikan, o jẹ eewu patapata: ọjọ ti ko tọ, idiyele ti ko tọ, nkan ti ofin ti ko tọ le fi oṣiṣẹ tabi alabara ni ọna ipalara. Ninu ẹyọ yii, a bo idi ti awọn hallucinations waye, bawo ni a ṣe le dinku wọn ni RAG, ati bii o ṣe le jẹ ki idahun jẹ ijẹrisi.
Kini o fa Hallucinations?
Awọn awoṣe ti wa ni oṣiṣẹ lati gbe awọn nigbamii ti seese ọrọ; Kii ṣe “sọ otitọ”, ṣugbọn “gbejade ọrọ ti o ni irọrun ati ti oye”. Ti alaye ba sonu, o le kun aafo naa pẹlu nkan ti o ṣeeṣe ni iṣiro ṣugbọn ti ko tọ. Awọn okunfa aṣoju mẹta:
- Nibẹ ni ko si idahun ninu awọn ti o tọ, ṣugbọn awọn awoṣe kan lara ipá lati sọ nkankan lonakona.
- Ọ̀rọ̀ ọ̀rọ̀ náà ta kora tàbí kò pé; Awọn awoṣe tilekun aafo pẹlu asọtẹlẹ.
- Ibeere naa kọja ọrọ-ọrọ; awoṣe pada si awọn oniwe-ara gbogboogbo (ati ki o seese igba atijọ) imo.
RAG dinku hallucination nitori pe o fun awoṣe ni orisun gidi - ṣugbọn ko tunto. Ti o ba mu apakan ti ko tọ tabi lọ kuro ni awoṣe "ominira lati kun aafo", eto pẹlu RAG tun le baamu.
iru hallucination
aami aisan
root idi
ojutu Layer
ti ipilẹṣẹ lati igbapada
Idahun to pe wa ninu iwe-ipamọ ṣugbọn ko de
Ti ko tọ / sonu apakan jišẹ
Pipin, arabara, tun-ni ipo (Apakan 3-4)
Orisun iran
Apa ti o tọ de ṣugbọn idahun ko tọ / gbọdọ fi kun
Awoṣe naa kun aafo pẹlu asọtẹlẹ
Grounding, "Emi ko mọ" aiye, kekere àtinúdá
Itọkasi orisun
Idahun si tọ ṣugbọn orisun ko tọ
Awoṣe tọka si apakan ti ko tọ
Ijẹrisi itọka (wo Ẹka 8)
Imọran: Pin igbọkanle si awọn ẹya meji. Orisun lati igbapada: aṣiṣe/apakan ti o padanu de (ojutu: imudara igbapada). Orisun iran: Apa ti o pe de, ṣugbọn awoṣe ka/fi kun ni aṣiṣe (ojutu: kiakia ati ilẹ). O ko le ṣatunṣe ayafi ti o ba mọ eyi ti o jẹ.
Ilẹ-ilẹ: Kikọ Idahun naa ni Ọrọ
Ilẹ-ilẹ ni orukọ ti a fi fun gbogbo awọn ilana ti sisọ awoṣe "kan gbekele ọrọ ti mo fun ọ, maṣe kọja rẹ." Ipilẹ rẹ julọ ati ilana ti o munadoko julọ: ni gbangba fifun awoṣe ni igbanilaaye lati sọ 'Emi ko mọ'. Awoṣe naa, bii eniyan, ṣiyemeji lati sọ “Emi ko mọ”; O gbọdọ fun u ni igbanilaaye kiakia lati ṣe eyi.
Idahun nikan da lori CONTEXT ni isalẹ. Ti idahun ko ba han gbangba ni ọrọ-ọrọ, kọ gangan eyi: “Emi ko le rii alaye to lori eyi ninu iwe.” Ma ṣe pẹlu awọn nọmba eyikeyi, awọn ọjọ, tabi awọn orukọ ti ko si ninu ọrọ-ọrọ. Maṣe gboju.
Awọn imọ-ẹrọ ilẹ ni afikun:
- Ibeere asọye: Ṣaaju ki o to ẹtọ kọọkan, sọ ọrọ ọrọ-ọrọ ni ilodisi (“Iwe naa sọ: '...'”). Ṣiṣejade awọn agbasọ ọrọ ti o ṣoro jẹ diẹ sii nira fun awoṣe.
- Iwọn otutu kekere: Iwọn otutu (iwọn otutu, ẹda-ara / eto aifọwọyi) yẹ ki o jẹ kekere. Akiyesi: ni diẹ ninu awọn awoṣe lọwọlọwọ a ti yọ paramita yii kuro; Ninu wọn, o pese ilẹ pẹlu itọka kan. Ṣiṣẹda giga jẹ ọta ti iduroṣinṣin ile-iṣẹ.
- Opin opin: "Dahun nikan si awọn ọran eto imulo igbanilaaye; tọwọtọ kọ lati jade."
Itọkasi
Idabobo eto eto ti o lagbara julọ lodi si hallucination ni lati jẹ ki idahun jẹ ijẹrisi. Ti olumulo ba le rii iru iwe-ipamọ ti idahun naa da lori: (1) o le mu aṣiṣe naa funrararẹ, (2) iṣayẹwo le ṣee ṣe, (3) igbẹkẹle pọ si, ati (4) awoṣe naa ṣe agbejade ni iṣọra diẹ sii pẹlu akiyesi pe “Emi yoo nilo lati tọka orisun naa”.
Awọn ọna meji ti o wọpọ:
Ipinnu inline: tag orisun lẹgbẹẹ ibeere kọọkan. "Isinmi olodoodun jẹ ọjọ 14 [1]." Ni isalẹ ni kikun iwe ti [1].
Iṣẹjade ti a ṣeto: Béèrè awoṣe lati gbejade idahun ati atokọ orisun ni awọn aaye ọtọtọ; Nfihan awọn orisun bi awọn ọna asopọ ti o tẹ ni wiwo.
# Ṣiṣejade idahun ti a ṣeto ti o da lori awoṣe (imọran) Fun idahun rẹ ni eto atẹle: - idahun: <idahun ti o da lori ọrọ-ọrọ>- awọn orisun: [{"part_no": 1, "file": "...", "apakan": "..."}] - igbẹkẹle: <high|medium|low> # Bawo ni ọrọ-ọrọ ṣe atilẹyin rẹ kedere? Ti ọrọ-ọrọ ko ba ṣe atilẹyin idahun, kọ “ko si alaye ti a rii” ni aaye idahun ki o fi awọn orisun silẹ ni ofifo.
Fun Itọkasi lati ṣiṣẹ gaan, o jẹ dandan lati rii daju pe ifaramọ naa tọ. Awoṣe naa le funni ni idahun to pe nigba miiran ṣugbọn fun orisun ti ko tọ. Awọn ọna ṣiṣe to ti ni ilọsiwaju ṣayẹwo laifọwọyi pe ibeere kọọkan ti a ṣe ni atilẹyin ni otitọ ni nkan ti o tọka si (iwọn “iṣotitọ” ni ẹyọ ti nbọ).
Alailagbara / Alagbara: Tọ Lodi si Hallucination
Alailagbara (ifiwepe lati kun aaye):
Dahun ibeere naa bi o ṣe le dara julọ pẹlu alaye ti o ni: {context} Ibeere: {ibeere}# "Bi o ṣe le dara julọ" tumọ si " gboju le won ti o ko ba mọ" fun awoṣe.
Alagbara (ilẹ-ilẹ + ko mọ igbanilaaye + orisun + igbẹkẹle):
Kan gbekele CONTEXT. Bibẹẹkọ, sọ “Emi ko ri alaye eyikeyi”; ṣe nọmba/ọjọ/orukọ.Fi nọmba orisun kun [n] si ibeere kọọkan. Pato ipele igbẹkẹle ti o ni atilẹyin nipasẹ ọrọ-ọrọ.CONTEXT: [1]... [2]... IBEERE: {ibeere}
Mẹta Mini igba
Irú 1 - Ṣe-soke ohun kan nọmba. Agbẹjọro kan ṣe alaye “Abala 17/B” ti ko ni ọrọ ti o funni ni alaye eke si oṣiṣẹ naa. Nigbati itọnisọna naa "Maṣe fun nọmba nkan kan ti ko si ni ọrọ-ọrọ, bibẹẹkọ sọ Emi ko mọ" + ọranyan lati sọ ni afikun, awọn ọran ti awọn nkan ti a ṣẹda dinku lati 11 si 0 ni awọn apẹẹrẹ 40.
Ọran 2 - Idahun to pe, orisun ti ko tọ. Oluranlọwọ atilẹyin kan sọ akoko ipadabọ ti o pe ṣugbọn tọka nkan ti ko tọ; Nigbati alabara tẹ ọna asopọ, oju-iwe ti ko ṣe pataki ṣii. Nigbati ijẹrisi itọka (ṣayẹwo boya ẹtọ naa han ninu nkan ti a mẹnuba) ti ṣafikun, oṣuwọn asọye eke silẹ lati 23% si 2%.
Ọran 3 — “Emi ko mọ” ni igbanilaaye. Oluranlọwọ HR kan ti ṣe idahun ti o ṣeeṣe ṣugbọn ti ko tọ si ibeere ti ko si ninu iwe-ipamọ naa. Nigbati ifọsi "Emi ko mọ" kedere ati ọrọ kikun ("Emi ko le wa alaye nipa eyi ninu iwe-ipamọ") ni a fi kun si itọsẹ naa, oṣuwọn ijusile otitọ fun awọn ibeere ti ko ni idahun, ju ti iṣelọpọ, pọ lati 8% si 95%.
Awọn aṣiṣe ti o wọpọ
- Ko gba laaye "Emi ko mọ": Awoṣe naa kun aafo pẹlu iṣelọpọ.
- Mimu iṣẹda ti o ga: Aileto jẹ ipalara si iduroṣinṣin ile-iṣẹ.
- Gbẹkẹle orisun laisi idaniloju: Awoṣe le so orisun ti ko tọ si idahun to pe.
- Ko ṣe iyatọ laarin awọn oriṣi meji ti hallucinations: O ṣe atunṣe ibi ti ko tọ laisi mimọ boya o fa nipasẹ igbapada tabi iran.
- Itọkasi aṣiṣe fun awọn ohun ikunra: Itọkasi orisun jẹ mejeeji ìmúdájú ati idena; mu ni isẹ.
Išọra: “Awoṣe naa dabi igboya pupọ” kii ṣe kanna bii “apẹẹrẹ jẹ deede”. Hallucinations ni gbogbogbo jẹ awọn gbolohun ọrọ ti o rọrun julọ ati igboya. Ka igbẹkẹle lati orisun ti o tọka, kii ṣe lati ohun orin ti gbolohun naa.
Ni soki
- Hallucination jẹ nigbati awoṣe ba kun aafo alaye pẹlu ọrọ ti o ṣeeṣe ṣugbọn eke; RAG dinku ṣugbọn ko tunto.
- Ibanujẹ le jẹ idi nipasẹ igbapada (apakan ti ko tọ) tabi iran (kika ti ko tọ); Pinnu eyi ti akọkọ.
- Ilana ti o lagbara julọ ti ilẹ ni lati fun awoṣe ni igbanilaaye “Emi ko mọ” kedere; tun ibeere ibeere ati kekere àtinúdá.
- Itọkasi jẹ ki idahun jẹ ijẹrisi; O mejeeji funni ni igboya ati titari awoṣe lati ṣe iṣelọpọ ni iṣọra.
- Awọn išedede ti itọkasi yẹ ki o tun ṣayẹwo; Orisun ti ko tọ le ni asopọ si idahun to pe.
Ohun elo iṣẹ-ṣiṣe
(1) Mura awọn ibeere 4 lati beere lọwọ oluranlọwọ rẹ, awọn idahun si eyiti ko si ninu awọn iwe aṣẹ (awọn ibeere ẹgẹ). Idanwo ọkọọkan pẹlu alailagbara ati itọsi ti o lagbara ati samisi boya awoṣe baamu tabi rara. (2) Fun awọn ibeere 4 ti awọn idahun wọn wa ninu iwe-ipamọ naa, jẹ ki awoṣe ṣe ina nọmba weld ati rii daju pẹlu ọwọ boya weld ti o fihan jẹ apakan ti o pe. (3) Ṣayẹwo boya awoṣe naa fun “idahun ti o tọ, orisun ti ko tọ” ni o kere ju ọran kan ki o kọ sinu gbolohun kan bi o ṣe le yẹ eyi laifọwọyi.
akojọ ayẹwo
- [] Mo le sọ idi ti hallucination n ṣẹlẹ ati pe RAG dinku ṣugbọn ko tunto.
- [] Mo le ṣe iyatọ laarin igbapada ati awọn ipalọlọ ti o fa iran ati ṣatunṣe aaye to tọ.
- [] Mo n ṣafikun igbanilaaye “Emi ko mọ” fojuhan ati awọn ofin idasile si tọ.
- [] Mo n ṣafikun orisun ti o le rii daju (itọkasi) si idahun naa.
- [] Mo loye iwulo lati ṣayẹwo siwaju si išedede ti ikalara naa.