Unità 3 / 12

Ġenerazzjoni Tweġibiet mill-Bażi tal-Għarfien (Introduzzjoni għar-RAG)

Qligħ:

  • Nifhmu l-loġika tal-ġenerazzjoni bbażata fuq l-għarfien (RAG) u għaliex inaqqas l-alluċinazzjonijiet
  • Kapaċità li l-mudell jirrispondi b'ċitazzjoni, ibbażata biss fuq id-dokumenti sors provduti
  • Kapaċità li timmaniġġja mistoqsijiet li mhumiex fis-sors billi tittrasferihom b'mod sikur, mingħajr ma tagħmel mistoqsijiet

Mudell tal-lingwa "jaf" ħafna, iżda ma jafx il-politika tar-ritorn tal-kumpanija tiegħek illum, il-lista tal-prezzijiet attwali tiegħek, jew il-ftehim tat-tbaħħir tiegħek li nbidel ilbieraħ. Agħar minn hekk, meta ma jkunx jaf, ħafna drabi jpattiha u jikteb b’ton estremament kunfidenti. Dan huwa difett fatali fis-servizz tal-konsumatur: il-mudell jgħid "Ir-rifużjonijiet jinħarġu fi żmien 30 jum" filwaqt li l-politika tiegħek tista 'tkun ta' 14-il jum. L-approċċ li jagħlaq dan il-vojt jissejjaħ RAG: Retrieval-Augmented Generation, jiġifieri, "produzzjoni miżjuda bl-irkupru".

L-idea hija sempliċi: Il-mudell iwieġeb il-mistoqsija mhux mill-memorja, iżda mid-dokumenti tas-sors korretti mqiegħda quddiemu f'dak il-mument. L-ewwel, il-biċċa tad-dokument korretta rilevanti għall-mistoqsija hija "irkuprar", imbagħad il-mudell "jiġġenera" it-tweġiba bbażata fuq dik il-biċċa biss. F'din l-unità, int se tifhem il-loġika tar-RAG u titgħallem kif tirrażżan il-mudell sabiex iżomm biss mas-sors ivverifikat li tipprovdi.

Nota: Din l-unità tgħallem il-loġika tax-xogħol u n-naħa fil-pront tar-RAG. Sistemi ta' rkupru awtomatiku ta' dokumenti fuq skala ta' intrapriża (database ta' vettur, eċċ.) jeħtieġu installazzjoni teknika; Id-dixxiplina hawnhekk hija l-bażi biex dik is-sistema tirrispondi b'mod korrett.

Għaliex RAG Inaqqas l-alluċinazzjonijiet?

L-alluċinazzjoni hija meta l-mudell jipproduċi informazzjoni mhux reali bħallikieku kienet reali. Il-mudell huwa pprogrammat biex jipproduċi rispons li jidher "possibbli" meta jara vojt; Ma jafx jekk hux minnu jew le. RAG jimla dan il-vojt: inti tagħti lill-mudell it-test attwali rilevanti flimkien mal-mistoqsija u tgħid "wieġeb biss minn hawn." B'dan il-mod il-mudell m'għandux "bżonn" li joqgħod.

Hemm tliet komponenti:

  • Bażi ta 'għarfien: Testi affidabbli bħal FAQs, dokumenti ta' politika, manwali tal-prodotti, listi tal-prezzijiet.
  • Irkupru: Issib il-biċċa dokument li fiha t-tweġiba għall-mistoqsija u tagħtiha lill-mudell.
  • Edizzjoni limitata: Mudell jirrispondi b'kwotazzjoni, ibbażata biss fuq il-parti fornita.

Pass pass: Tweġiba Fidila għas-Sors

  1. Ipprepara s-sors. Sib it-test li fuqu se tkun ibbażata r-rispons (politika, FAQ) f'format ċar u aġġornat.
  2. Inkorpora s-sors fil-pront. Poġġi t-test f'tikketta bħal <source>.
  3. Ikteb ir-regola tal-lealtà. "Uża biss l-informazzjoni mis-sors; titbiegħedx mis-sors."
  4. Agħmel ċitazzjoni meħtieġa. Ħallih jindika fuq liema taqsima hija bbażata t-tweġiba.
  5. Identifika imġieba mhux tar-riżorsi. Jekk it-tweġiba mhix fis-sors, ħallih jgħid "M'għandix din l-informazzjoni" u jgħaddiha.
  6. Ivverifika. Ikkonferma t-tweġiba billi tqabbelha mas-sentenza sors li fuqha hija bbażata.

Prompts Kopjabbli

Rispons fil-pront ibbażat fuq is-sors sottostanti:

Rwol: Int assistent ta' appoġġ għall-klijenti. Wieġeb il-mistoqsija BISS ibbażata fuq l-informazzjoni fil-blokk <source> hawn taħt. Iżżidx informazzjoni li mhix fis-sors, raden jew tweġiba mill-għarfien ġenerali tiegħek. Żid it-taqsima li qed tistrieħ fuqha fl-aħħar tat-tweġiba tiegħek fil-format "[Sors: ...]". Jekk it-tweġiba mhix fis-sors, ikteb dan li ġej: "M'għandix informazzjoni definittiva dwar dan is-suġġett, qed nittrasferik lil uffiċjal li jista' jagħti t-tweġiba t-tajba."<source>{{ policy_or_faq_text }}</source>Mistoqsija: {{ customer_question }}

F'każ ta' sorsi multipli, il-pront biex turi liema dokument huwa bbażat fuq:

Hemm diversi riżorsi numerati hawn taħt. Meta twieġeb il-mistoqsija, għid in-numru tas-sors li użajt, bħal [Sors 2]. Jekk aktar minn sors wieħed jikkontradik, għid b'mod ċar u għid li għandek tistaqsi liema waħda hija l-aktar aġġornata.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Mistoqsija: {{ customer_question }}

Prompt li jimmaniġġja b'mod sikur il-mistoqsija mhux tas-sors:

Jekk it-tweġiba għall-mistoqsija tinstab PARZjalment fis-sors: wieġeb biss il-parti koperta mis-sors, u għid "dan id-dettall mhuwiex fis-sors" għall-parti li jifdal. Qatt imla l-parti nieqsa billi taqta’.

Prompt li jittraduċi r-rispons fil-lingwa tal-klijent, iżda jibqa' leali għas-sors:

Ittraduċi l-espressjoni uffiċjali/teknika fis-sors f’lingwaġġ sempliċi li l-klijent jista’ jifhem, iżda TIBDILX it-tifsira u l-valuri numeriċi (jum, ammont, rata). Pereżempju, l-arrotondament ta' "14-il jum kalendarju" għal "madwar ġimagħtejn"; żomm valur sħiħ.

Prompt Dgħajjef / Prompt Qawwija

Dgħajjef fil-pront

Pront qawwija

"Għidilna dwar il-politika tar-ritorn tagħna"

Inkorpora sors + "tweġib hawn biss" + jitlob kwotazzjoni

Tweġiba mill-memorja tal-mudell (forsi ħażina)

Tweġiba mid-dokument attwali tiegħek

Jekk ma jkunx fis-sors, jagħmel it up

Jgħid "M'għandix din l-informazzjoni" u jgħaddiha.

Jista 'jittonda u jgħawweġ in-numri

Iżomm jum/ammont/rata eżattament

Id-differenza hija li l-pront qawwi jagħti lill-mudell ankra (test tas-sors) u projbizzjoni (li tmur barra s-sors). Il-mudell ma jibqax jitkellem mill-memorja, imma mir-realtà quddiemu.

Tliet Każijiet Mini

Każ 1 — In-nasba tal-politika l-antika. "Ritornijiet aċċettati fi żmien 30 jum," qal bot ta 'maħżen wieħed waqt li kien qed jaħdem mingħajr kreditu; Madankollu, il-kumpanija naqqset il-perjodu għal 14-il jum. Meta t-test tal-politika aġġornat jiġi miżjud mas-sors fl-installazzjoni RAG, il-bot issa jwieġeb "14-il jum kalendarju [Sors: Politika ta 'Ritorn, artikolu 2]". It-tilwim dwar ir-rifużjonijiet li jirriżulta minn wegħdiet foloz ġew reset.

Każ 2 — Il-qbid tal-kontradizzjoni. Klijent staqsa dwar l-ispejjeż tat-tbaħħir. Kemm il-listi tal-prezzijiet qodma kif ukoll dawk ġodda ddaħħlu fis-sistema bħala sorsi. Grazzi għall-pront b'ħafna sorsi, il-mudell qal, "Żewġ sorsi jagħtu prezzijiet differenti (49 TL u 59 TL); Għandi bżonn nikkonferma dak attwali" u wassal il-kwistjoni lill-bniedem. Minflok ma qal lill-klijent ammont żbaljat, huwa kkomunika l-inċertezza b'mod onest.

Każ 3 — Dixxiplina ta' rispons parzjali. "Tibgħat il-prodott barra mill-pajjiż u min iħallas id-dazju doganali?" Fil-mistoqsija, is-sors qal biss li l-vjeġġ sar, ma kien hemm xejn dwar min ħallas it-taxxa. Il-mudell qal, "Iva, it-tbaħħir isir barra l-pajjiż [Sors: Cargo FAQ]. Madankollu, mhux iddikjarat f'dan id-dokument min iħallas id-dazju doganali; qed nittrasferik lill-uffiċjal biex tiċċara dan." Minflok tweġiba nofs vera, nofs fabbrikata, ipproduċiet output onest u kunfidenti.

Tip: Żomm l-aktar sors attwali u uniku tal-verżjoni tal-verità tal-bażi tal-għarfien tiegħek. Li jkollok l-istess informazzjoni (eż. perjodu ta’ ritorn) miktuba b’mod differenti fi tliet dokumenti separati huwa l-akbar ghadu tar-RAG; Il-mudell jirrispondi b'mod differenti skond liema wieħed iħares lejn. L-ewwel idduplika d-dokumenti tiegħek, imbagħad awtomathom.

Verifika: Tirrilassax Sempliċement Minħabba li s-Sors Jeżisti

RAG inaqqas bil-kbir l-alluċinazzjoni iżda ma jerġax iġibha. Il-mudell jista 'xi kultant jinterpreta ħażin is-sors, iħallat żewġ sentenzi, jew jiġbed "konklużjoni" li mhix fis-sors. Huwa għalhekk li r-rekwiżit taċ-ċitazzjoni huwa kritiku: iftaħ it-taqsima li fuqha tiddikjara li hija bbażata t-tweġiba u ċċekkja jekk fil-fatt tgħidx hekk. Dan il-kontroll mhuwiex negozjabbli, speċjalment fit-tweġibiet li fihom numri (jum, ammont, rata) u kundizzjonijiet (eċċezzjoni, kundizzjoni).

Attenzjoni: Jekk is-sors innifsu huwa żbaljat jew skadut, RAG fedelment jirrepeti dak l-iżball. Li tgħid "il-mudell jitkellem mis-sors" ma jfissirx "il-mudell jitkellem b'mod korrett"; Inti responsabbli għall-munita u l-eżattezza tas-sors tiegħek.

Inżommu l-Bażi tal-Għarfien Lesta għal Rispons

Il-kwalità tar-RAG tiddependi ħafna fuq kif jinkiteb it-test sors. Il-mudell jirritorna rispons ferm aktar preċiż minn testi strutturati tajjeb, intitolati u b'suġġett wieħed. Pariri prattiċi: ikteb il-politiki tiegħek f'taqsimiet qosra bit-titlu aktar milli f'paragrafi twal u mdaħħla; Ħalli kull taqsima twieġeb mistoqsija waħda ("Kemm ġranet huwa l-perjodu tar-ritorn?", "Liema prodotti ma jistgħux jintbagħtu lura?"). Iż-żamma ta' mistoqsijiet frekwenti (FAQs) f'format ta' mistoqsija u tweġiba tagħmilha aktar faċli għall-mudell biex isib il-parti t-tajba. Iddikjara valuri bħad-data, l-ammont, u r-rata b'mod ċar u f'post wieħed fit-test; Li tikteb l-istess numru b'mod differenti f'taqsimiet differenti tħawwad il-mudell.

Vizzju importanti ieħor huwa li żżomm il-bażi tal-għarfien ħajja. Il-politiki, il-prezzijiet u l-promozzjonijiet ivarjaw; Jekk is-sors ma jiġix aġġornat, il-mudell ikompli jirrepeti b'mod sikur il-verità l-antika. Ma’ kull bidla fil-politika, aġġorna s-sors u erġa’ staqsi lill-mudell ftit mistoqsijiet tat-test dwar is-suġġett mibdul biex tikkonferma li tagħti t-tweġiba t-tajba. Din il-manutenzjoni żgħira iżda regolari tipprevjeni lis-sistema RAG milli "jmur ħażin fis-skiet" maż-żmien.

Żbalji komuni

  • Tgħid "spjega l-politika tagħna" mingħajr ma tidfen is-sors u tistrieħ fuq il-memorizzazzjoni tal-mudell.
  • Mhux tiddefinixxi l-konfini "risposta mis-sors biss" u l-imġieba mhux tas-sors.
  • Ma titlobx kwotazzjoni/referenza tas-sors u tħalli t-tweġiba mhux verifikabbli.
  • Iż-żamma ta' verżjonijiet konfliġġenti tal-istess informazzjoni f'dokumenti multipli fil-bażi tal-għarfien.
  • Jippermetti lill-mudell li jqarreb/jinterpreta valuri numeriċi.
  • Tinsa li taġġorna s-sors, li tikkawża li l-mudell jirrepeti fedelment informazzjoni antika.

Fil-qosor

  • RAG ifisser li l-mudell jipproduċi t-tweġiba tiegħu mid-dokument tas-sors kurrenti, aktar milli mill-memorja.
  • L-aktar mod prattiku biex titnaqqas l-alluċinazzjoni: midfuna s-sors, għid "wieġeb biss hawn", staqsi għal ċitazzjoni.
  • Jekk it-tweġiba mhix fis-sors, wieħed m'għandux joqgħod mudell; Għandu jgħid "M'għandix" u jgħaddih.
  • Agħmel il-mudell konxju minn sorsi konfliġġenti; Int ippreservajt il-valuri numeriċi eżattament.
  • L-eżattezza RAG tiddependi fuq il-puntwalità tas-sors tiegħek; Dejjem ikkonferma l-kwotazzjoni.

Kompitu ta' applikazzjoni

Ħu test tal-politika attwali (ritorn, tbaħħir, jew sħubija) min-negozju tiegħek stess u daħħalha bħala sors fil-pront bażiku RAG hawn fuq. Imbagħad staqsi tliet mistoqsijiet: (1) mistoqsija li t-tweġiba tagħha hija ċara fis-sors, (2) mistoqsija li t-tweġiba tagħha ma tinsab xejn fis-sors, (3) mistoqsija li t-tweġiba tagħha hija biss inkompleta fis-sors. Ivverifika li l-mudell iwieġeb b'mod korrett, jgħid "M'għandix," u b'mod onest jimmarka t-tweġiba parzjali u dik nieqsa, rispettivament. Ikkoreġi l-imġieba devjanti billi ssaħħaħ ir-regoli ta 'lealtà u mhux tar-riżorsi fil-pront.

lista ta' kontroll

  • [ ] Inkorporajt is-sors kurrenti li fuqu se tkun ibbażata r-rispons fil-pront.
  • [ ] Żid ir-regola "Tweġiba biss mis-sors, tmurx lil hinn".
  • [ ] Poġġejt rekwiżit ta' referenza/ċitazzjoni tas-sors.
  • [ ] Iddefinijt l-imġiba tad-delega jekk it-tweġiba ma tkunx disponibbli fis-sors.
  • [ ] Irrid li l-valuri numeriċi jiġu ppreservati eżattament.
  • [ ] Ikkonfermajt it-tweġiba mis-sentenza sors li fuqha hija bbażata.