Mga nadagdag:
- Unawain kung paano binabawasan ng RAG ang guni-guni sa pamamagitan ng pag-link at pagtukoy sa sagot sa aktwal na mga dokumento ng institusyon at paglalapat ng kahalagahan ng isang malinis na base ng dokumento
- Kakayahang suriin ang pinagmulan, petsa at pera ng output ng RAG at makilala ang mga magkasalungat na bersyon
- Kakayahang protektahan ang privacy ng korporasyon sa pamamagitan ng pagpigil sa mga tugon mula sa mga hindi awtorisadong dokumento na may kontrol sa pag-access
Ang memorya ng isang organisasyon ay nabubuhay sa libu-libong mga dispersed na dokumento: mga ulat, manual, minuto, pamamaraan, email. Ang isang empleyado ay maaaring maghanap ng mga dokumento sa loob ng maraming oras upang sagutin ang isang simpleng tanong (“paano gumagana ang pamamaraang ito?”). Ang pangarap ng manager ng kaalaman ay para sa memoryang ito na makapagbigay ng direkta ngunit batay sa source na mga sagot sa mga tanong. Ito mismo ang ipinangako ng RAG. Sa unit na ito matututunan mo kung ano ang RAG, kung paano ito gamitin sa pamamahala ng impormasyon ng enterprise, at kung paano ito i-secure sa mga tuntunin ng katumpakan, pagiging kompidensiyal at pagiging maagap.
Tukuyin natin ang konsepto. Ang RAG (Retrieval-Augmented Generation) ay kapag ang isang AI ay sumasagot sa isang tanong sa pamamagitan ng unang paghahanap (pagkuha) ng mga nauugnay na piraso mula sa sariling dokumentasyon ng organisasyon at pagkatapos ay pagbuo ng sagot batay lamang sa mga pirasong iyon. Sa panimula ito ay naiiba sa isang pangkalahatang AI na bumubuo ng isang sagot mula sa memorya: Ang RAG ay nagli-link at pinagmumulan ng sagot sa mga tunay, nasusubaybayang mga dokumento. Kaya't ang guni-guni ay lubhang nabawasan dahil ang AI ay nagsasalita mula sa dokumento ng institusyon, hindi mula sa "ulo" nito.
Hakbang-hakbang: pag-unawa sa isang enterprise RAG system
1. Ihanda ang base ng dokumento. Ang mga mapagkakatiwalaan, napapanahon na mga dokumento ng organisasyon ay kinokolekta, nililinis, at nahahati sa mga tipak (makabuluhang maliliit na seksyon ng isang dokumento). Kung pumasok sa system ang mga masasamang, luma o magkasalungat na dokumento, magiging masama ang mga tugon: “basura in, garbage out.”
2. I-embed at i-index. Ang bawat tipak ay kino-convert sa isang vector (pag-embed) na kumakatawan sa kahulugan nito at inilalagay sa isang mahahanap na index. Kapag may tanong na lumabas, hahanapin ng system ang mga bahagi na pinakamalapit sa kahulugan.
3. Magdala ng mga kaugnay na bahagi. Kapag may tinanong, kinukuha ng system ang ilan sa mga pinaka-kaugnay na piraso mula sa base ng dokumento. Ang hakbang na ito ay kritikal: kung ang maling piraso ay dinala, ang sagot ay mali rin.
4. Bumuo ng tugon na batay sa pinagmulan. Bumubuo ang AI ng tugon batay lamang sa mga nakuhang fragment at ipinapahiwatig kung saang dokumento ito kinuha. Ang tugon na hindi binabanggit ang pinagmulan ay salungat sa layunin ng RAG.
5. I-verify at iulat muli. Dapat na makapunta ang user sa ipinapakitang source at kumpirmahin ang sagot. Ang mga hindi tama o hindi kumpletong sagot ay nagiging feedback upang mapabuti ang base ng dokumentasyon.
Tip: Ang kalidad ng RAG ay higit na nakadepende sa kalidad ng base ng dokumento. I-update ang mga dokumento, alisin ang mga sumasalungat/hindi napapanahong bersyon, at magdagdag ng impormasyon ng petsa at pinagmulan sa bawat dokumento bago ito ilagay sa system. Ang 500 na maayos na mga dokumento ay gumagawa ng mas mahusay na mga sagot kaysa sa 5,000 na nakakalat na mga dokumento.
Mga hangganan at mga punto ng seguridad ng RAG
Binabawasan ng RAG ang guni-guni ngunit hindi ito nire-reset. Kung ibinalik ng system ang maling piraso, maaaring magbigay pa rin ng maling sagot ang AI sa pamamagitan ng pananatiling "tapat" sa maling pirasong iyon. Bukod pa rito, maaaring maling interpretasyon ng AI ang mga kinuhang piraso o pagsamahin ang maraming piraso sa magkasalungat na paraan. Samakatuwid, dapat ding ma-verify ang output ng RAG sa pamamagitan ng pagpunta sa pinagmulan, lalo na para sa mga kritikal na desisyon.
Ang privacy ay isang pangunahing isyu sa corporate RAG. Ang base ng dokumento ay maaaring maglaman ng sensitibong impormasyon (mga tauhan, kontrata, diskarte). Ang system ay hindi dapat bumuo ng mga tugon mula sa mga dokumentong hindi pinahintulutan ng user; Ang kontrol sa pag-access (na makakakita kung aling dokumento) ay dapat ding ilapat sa RAG. Kung hindi, maaaring ma-access ng isang empleyado ang impormasyon sa pamamagitan ng RAG na hindi niya nakikita.
Pansin: Kahit na sumipi ng isang dokumento, hindi ginagarantiya ng RAG na ang dokumentong iyon ay napapanahon at tumpak. Maaaring tumugon ang system mula sa isang lumang dokumento ng pamamaraan mula sa tatlong taon na ang nakakaraan. Responsibilidad ng user at ng information manager na suriin ang petsa at validity ng source na dokumento.
tatlong mini case
Kaso 1 — Pinabilis ang mga pamprosesong tanong. Isang organisasyon ang nagtatag ng isang RAG system para sa 1,200-pahinang mga manual na panloob na pamamaraan. Ang mga tanong na "paano ito gagawin" ng mga empleyado ay nalutas sa loob ng ilang segundo na may mga sagot na nagsasaad ng pinagmulan; Bumaba ang average na tagal ng tawag mula 25 minuto hanggang 2 minuto. Dahil naka-link ang bawat tugon sa seksyon ng dokumentasyon kung saan ito nakabatay, na-verify ito ng mga empleyado.
Case 2 — Nakuha ang lumang dokumento. Sinagot ng isang sistema ng RAG ang isang tanong sa pamamaraan ng permit mula sa isang lumang dokumento na may petsang 2021; Gayunpaman, isang na-update na bersyon ang inilabas noong 2024. Napansin ng empleyado na nagbukas ng source link na luma na ang petsa at natagpuan ang na-update na dokumento. Inalis ng manager ng impormasyon ang lumang bersyon mula sa base ng dokumento.
Kaso 3 — Pinipigilan ang hindi awtorisadong pag-access. Sa paunang pag-setup, na-scan ng RAG ang lahat ng mga dokumento sa publiko; nakatanggap ang isang empleyado ng tugon mula sa isang dokumento ng payroll na hindi niya dapat makita. Ang koponan ay nagdagdag ng kontrol sa pag-access sa RAG: ang system ay bumubuo lamang ng mga tugon mula sa mga dokumento kung saan ang user ay pinahintulutan.
Pagsusuri, puna at patuloy na pagpapabuti
Ang sistema ng RAG ay hindi isang tool na mai-install nang isang beses at nakalimutan; Nangangailangan ito ng patuloy na pagsusuri at pagpapabuti. Ang batayan nito ay ang regular na pagsukat ng mga sagot ng system sa mga totoong tanong. Dalawang tanong ang kritikal: kinukuha ba ng system ang mga tamang piraso ng dokumento (kalidad ng pag-access) at gumagawa ba ito ng tamang tugon mula sa mga nakuhang piraso (kalidad ng produksyon)? Kinakailangan na suriin ang dalawang layer na ito nang hiwalay; Dahil ang pagdadala ng tamang dokumento at maling interpretasyon nito at pagdadala ng maling dokumento at paglilipat nito nang tapat ay iba't ibang problema at nangangailangan ng iba't ibang solusyon. Ang isang magandang kasanayan ay ang panatilihin ang isang set ng "mga tanong sa pagsubok" na may alam na mga tamang sagot at subukan ang system gamit ang set na ito sa bawat update. Bukod pa rito, ipinapakita ng feedback ng mga user na "nakatulong ba ang sagot na ito / was the source na tumpak" ang parehong mga puwang sa base ng dokumento at mga maling pagkuha ng mga bahagi. Makakatulong ang AI na pagsama-samahin ang feedback na ito at ibuod ang mga uri ng mga tanong na pinakamadalas na nabigo; Ngunit ang desisyon tungkol sa kung aling dokumento ang idaragdag, ia-update o aalisin ay pagmamay-ari ng tagapamahala ng impormasyon. Ang sistema ay nangangailangan ng pangangalaga tulad ng isang buhay na organismo; Ang isang napabayaang RAG ay lalong nagiging mapanlinlang dahil sa pagtanda ng dokumentasyon sa paglipas ng panahon.
Tip: Sa sandaling i-set up mo ang RAG system, maghanda ng maliit na set ng pagsubok ng 20-30 totoong tanong at alam na mga tamang sagot. Ang pagpapatakbo ng set na ito sa bawat pag-update ng dokumento ay agad na nagpapakita kung ang isang pagbabago ay nagpapabuti o nakakasira sa system.
Apat na maaaring kopyahin na mga template
1) Prompt ng pagtugon batay sa pinagmulan:
Ang iyong tungkulin: corporate information assistant. Nasa ibaba ang mga piraso ng dokumentasyong iniharap tungkol sa tanong. Ibigay ang sagot batay LAMANG sa mga pirasong ito at sabihin kung saang dokumento/piraso para sa bawat piraso ng impormasyon ito nanggaling. Kung walang sagot sa mga bahagi, sabihin "ang impormasyong ito ay hindi kasama sa mga dokumentong ibinigay", huwag hulaan. Tanong: [dito] / Mga Bahagi: [dito]
2) Kontradiksyon at kontrol sa pera:
Mayroon bang anumang kontradiksyon o iba't ibang petsang bersyon sa pagitan ng mga sumusunod na piraso? Kung gayon, markahan ito at ipahiwatig kung alin ang mas mukhang napapanahon. Mga bahagi (na may mga petsa): [dito]
3) Pag-audit sa paglilinis ng base ng dokumento:
Sa listahan ng dokumento sa ibaba, mayroon bang anumang luma, sumasalungat, o mga dokumentong hindi tiyak ang pinagmulan na kailangang ayusin bago ilagay sa isang RAG system? Lagyan ng tsek at isulat kung bakit. Listahan (na may petsa/pinagmulan): [dito]
4) Privacy at access pre-control:
Naglalaman ba ang mga sumusunod na fragment ng dokumento ng sensitibong impormasyon (personal na data, kumpidensyal na kasunduan, diskarte)? Uriin ang bawat isa bilang "pampubliko/pinaghihigpitang pag-access" at bigyan ng katwiran. Mga track: [dito]
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Ipaliwanag ang pamamaraan ng permiso ng aming institusyon.
Kung walang ibinigay na dokumentasyon, ang AI ay gumagawa ng isang ginawang pamamaraan mula sa pangkalahatang memorya nito o mula sa pagpapatupad ng iba pang mga institusyon; Maaaring hindi ito nauugnay sa aktwal na tuntunin ng institusyon.
Napakahusay na prompt:
Ang iyong tungkulin: corporate information assistant. Nasa ibaba ang mga piraso ng mga dokumento (kasama ang kanilang mga petsa) tungkol sa pamamaraan ng permit ng institusyon. Sagutin ang tanong batay sa mga bahaging ito lamang, na binabanggit ang pinagmulang dokumento at petsa sa bawat hakbang. Kung magkasalungat ang mga bahagi, gamitin ang pinakabago at sabihin ito. Kung wala ito sa dokumento, sabihin ang "walang impormasyon". Tanong: [dito] / Mga Bahagi: [dito]
Napakahusay na prompt; iniuugnay ang sagot sa aktwal na mga dokumento ng institusyon, humihingi ng mga mapagkukunan at petsa, at tapat na tinutugunan ang kontradiksyon at agwat.
Bahagi ng RAG at talahanayan ng panganib
sangkap
Function
Pangunahing panganib
Assurance
Base ng dokumento
Pinagmulan ng sagot
Luma/sumasalungat na dokumento
Kalinisan, kasaysayan, pinagmulan
Pagbawi
Hanapin ang nauugnay na bahagi
maling piraso
Pagsubok sa kalidad, feedback
Produksyon
Sumagot
maling komento
Pinagmulan ng pagsipi, pagpapatunay
Kontrol sa pag-access
Pagsusuri ng awtoridad
hindi awtorisadong pagsisiwalat
Batay sa user na paghihigpit
Mga karaniwang pagkakamali
- Pagtatatag ng maruming base ng dokumento. Ang luma/salungat na dokumento ay gumagawa ng masamang tugon.
- Pagtanggap ng sagot nang hindi binabanggit ang pinagmulan. Ang layunin ng RAG ay traceability.
- Hindi sinusuri ang petsa ng dokumento. Ang isang sagot na naisip na i-update ay mula sa lumang bersyon.
- Pag-bypass ng access control. Ina-access ng hindi awtorisadong tao ang sensitibong impormasyon.
- Iniisip na ang RAG ay ganap na immune sa guni-guni. Ang maling piraso ay gumagawa pa rin ng maling sagot.
Sa buod
Ang RAG ay gumagawa ng malaking halaga sa pamamahala ng kaalaman sa pamamagitan ng pagbabago ng memorya ng organisasyon sa isang resource-based na tumutugon na sistema; Hindi tulad ng pangkalahatang AI, iniuugnay at pinagmumulan nito ang sagot sa mga aktwal na dokumento ng organisasyon, kaya makabuluhang binabawasan ang guni-guni. Ngunit ang tagumpay ay nakasalalay sa isang malinis at napapanahon na base ng dokumentasyon, tumpak na pag-access sa track, pagpapatungkol sa pinagmulan, pagsusuri sa petsa/kasalukuyan, at kontrol sa pag-access. Hindi nire-reset ng RAG ang guni-guni; Ang mga kritikal na sagot ay napatunayan sa pamamagitan ng pagpunta sa pinagmulan at ang pagiging kompidensiyal ay iginagalang mula pa sa simula.
Gawain ng aplikasyon
Maghanda ng isang maliit na hanay ng mga dokumento (5-8 aktwal o sample na mga dokumento ng ahensya, na may mga petsa); Sinasadyang ilagay sa isang luma at isang kasalukuyang magkasalungat na bersyon. Magtanong gamit ang template ng "Source-based response prompt" at tingnan kung binanggit ng AI ang pinagmulan. Pagkatapos ay suriin kung tama ang pagkaka-detect ng AI sa conflict at sa kasalukuyang bersyon gamit ang template na "Conflict at kasalukuyang bersyon check".
checklist
- [ ] In-update ko ang base ng dokumento, tinanggal ang mga luma/salungat na dokumento.
- [ ] Tiniyak ko na ang bawat sagot ay tumuturo sa pinagmulang dokumento.
- [ ] Sinuri ko ang petsa at validity ng source documents.
- [ ] Pinigilan ko ang pagbuo ng mga tugon mula sa mga hindi awtorisadong dokumento na may kontrol sa pag-access.
- [ ] Na-verify ko ang mga kritikal na tugon sa pamamagitan ng pagpunta sa orihinal na dokumento.