Tathmini na Ufuatiliaji wa RAG

Faida:

• Kufafanua vipimo vinavyopima uhifadhi na ubora wa uzalishaji kando
• Sanidi seti ya swali la dhahabu na endesha tathmini ya kiotomatiki kwa LLM-as-judge
• Kudumisha ubora kupitia maoni, ufuatiliaji na upimaji wa urekebishaji katika uzalishaji

Sentensi "Nimeweka msaidizi, inaonekana kuwa inafanya kazi vizuri" sio taarifa ya uhandisi. Mifumo ya RAG huvunjika kimya kimya: aina mpya ya hati inapuuza urejeshaji, mabadiliko ya haraka hupunguza usahihi, faharasa inakuwa ya zamani. Njia pekee ya kutambua hili ni kupima. Katika kitengo hiki, tunashughulikia jinsi ya kupima ubora wa RAG (kurejesha na kuzalisha kando), tathmini ya kiotomatiki (LLM-as-judge) na kudumisha ubora katika uzalishaji (kufuatilia, kurudi nyuma). "Huwezi kuboresha kile usichopima" ndio kauli mbiu ya kitengo hiki.

Pima Mambo Mawili Tofauti

RAG ina miguu miwili na lazima ipimwe kando kwa sababu tatizo linaweza kuwa katika mojawapo ya hayo:

1. Ubora wa kurejesha: Je, sehemu sahihi ilifika?
2. Ubora wa kizazi: Je, jibu sahihi lilitolewa kutoka kwa kipande kinachoingia?

Ikiwa jibu ni mbaya, unahitaji kujua ni mguu gani mbaya kwanza. Ikiwa sehemu sahihi haifiki, hata kidokezo bora zaidi hakiwezi kuhifadhi (tatizo la kurejesha). Ikiwa sehemu sahihi ilifika lakini mfano uliisoma vibaya, kuboresha urejeshaji ni bure (tatizo la kizazi).

Vipimo vya Urejeshaji

Kurejesha ni tatizo la kupanga/kufikia; hupimwa kwa vipimo vya urejeshaji maelezo ya awali. Kwa hili lazima uwe na nguzo ya dhahabu: ujuzi wa kipande ni "sahihi" kwa kila swali.

kipimo

Hatua gani

Ufafanuzi rahisi

Kumbuka@k

Je, kipande sahihi katika sehemu ya juu ya k?

Kiwango sahihi cha kunasa sehemu

usahihi@k

Ni vipande ngapi kati ya k vilivyorejeshwa vinavyofaa?

Kusafisha kile kinacholetwa

MRR (Wastani wa Cheo cha Kubadilishana)

Sehemu sahihi iko katika mpangilio gani?

Zawadi zikiwa katika safu za juu

Kiwango cha hit

Je, angalau kipande kimoja sahihi kilifika?

Kipimo cha msingi zaidi cha mafanikio

Maoni ya vitendo: Ikiwa Recall@k ni ya chini, mkakati wa kugawanyika au kutafuta (mseto, k, kuweka tena nafasi) unapaswa kufanyiwa kazi upya. Ikiwa usahihi ni wa chini lakini kukumbuka ni kubwa, kuongeza cheo ni hatua nzuri.

Vipimo vya Kizazi

Wakati sehemu sahihi inapofika, tunapima ubora wa majibu yaliyotolewa na mfano. Vipimo vitatu vya msingi:

• Uaminifu: Je, kila dai katika jibu linaungwa mkono na muktadha? Je, kuna kufaa? Ni kipimo cha moja kwa moja cha hallucination.
• Jibu umuhimu: Je, jibu linajibu swali au ni nje ya mada?
• Ukamilifu: Je, taarifa zote muhimu katika muktadha zimetumika au zinakosekana?

Hizi mara nyingi hutolewa kwa msingi wa alama (k.m. 1-5), badala ya binary kama "kweli/sivyo."

Kidokezo: Fuatilia Uaminifu kama kipimo tofauti. Uaminifu ukipungua kadri usahihi unavyopungua, tatizo ni kizazi; Ikiwa uaminifu ni wa juu lakini jibu sio sahihi, shida ni kipande kibaya (kurejesha). Kwa pamoja, vipimo hivi viwili ni dira inayoonyesha eneo la hitilafu.

Kuanzisha Seti ya Maswali ya Dhahabu

Kila kipimo kinahitaji seti ya dhahabu / seti ya data ya tathmini: maswali ya kweli + majibu sahihi yanayotarajiwa + vipande vya chanzo sahihi. Kuanzia na maswali 30-50 yaliyochaguliwa vizuri ni bora kuliko maswali 500 ya nasibu. Jumuisha zifuatazo katika seti: maswali ya kweli yanayoulizwa mara kwa mara, maswali magumu yanayojulikana, maswali ya mtego bila majibu (mtu anapaswa kusema "Sijui"), maswali yenye vyanzo vinavyopingana.

# Mfano wa nguzo ya dhahabu (dhana)[ {"swali": "Ni siku ngapi za likizo ya kila mwaka?", "expected_answer": "Siku 14 kwa mwaka 1-5 wa cheo", "correct_part_id": "two-part-3", "category": "leave"}, {"swali": "Iko wapi" ofisi ya kampuni" ATIONNO_answer", "FOfisi_iliyotarajiwa" ya kampuni ya Marpes IN? trap: sijui "correct_part_id": null, "category": "trap"}]

LLM-as-Jaji: Tathmini ya Kiotomatiki

Kufunga mamia ya majibu kwa mkono kunachosha. Muundo wa LLM-as-judge ni wakati modeli moja inapata alama na kuhalalisha jibu la mtindo mwingine kulingana na vigezo fulani. Hakimu mzuri anafafanua wazi vigezo, anatoa mifano na anauliza kuhesabiwa haki.

# LLM-as-judge haraka (dhana)Wewe ni mtathmini asiye na upendeleo. Tathmini JIBU lililo hapa chini kulingana na MUKTADHA uliotolewa na JIBU LINALOTARAJIWA. Alama (1-5) na kuhalalisha:- uaminifu: je, kila dai katika jibu linaungwa mkono katika muktadha?- usahihi: je, jibu linalingana na jibu linalotarajiwa?- ukamilifu: je, taarifa husika imekamilika? Hasa: ikiwa jibu lina maelezo yasiyo katika muktadha, toa uaminifu1 na uonyeshe dai ambalo limetungwa.

Tahadhari: LLM-as-jaji sio kamili; Wanaweza kuwa na upendeleo wao (jibu refu, wakipendelea mtindo wao wenyewe). Pia thibitisha Jaji: kuwa na baadhi ya majibu yaliyotolewa na hakimu na binadamu na kupima makubaliano kati yao. Ikiwa Jaji anaendana na alama za kibinadamu, unaweza kumwamini.

Ukadiriaji dhaifu/Nguvu

Dhaifu ("ilikuwa nzuri kwangu"):

Niliuliza maswali machache na majibu yalionekana kuwa mazuri. Nimeipata moja kwa moja.# Tatizo: hakuna vipimo, kurudi nyuma kutoonekana, kuboresha upofu.

Yenye nguvu (nguzo ya dhahabu + vipimo vya kipekee + uamuzi wa kiotomatiki + urejeshaji):

Kundi la dhahabu la maswali 40. Kwa kila mabadiliko, kumbuka @ 5, uaminifu na usahihi hupimwa kiotomatiki. Ikiwa alama itapungua, mabadiliko yanarudishwa nyuma. Katika toleo la umma, maoni ya mtumiaji hukusanywa na kuongezwa kwenye seti.

Ufuatiliaji na Kurudi nyuma katika Uzalishaji

Tathmini haifanyiki mara moja na kumaliza. Mazoezi matatu ya mara kwa mara:

• Jaribio la urejeshi: Endesha nguzo ya dhahabu kiotomatiki kwa kila mabadiliko ya haraka/urejeshaji/modeli. Ikiwa alama imepunguzwa, mabadiliko yanabadilishwa. Hii inazuia "kuivunja wakati wa kujaribu kuifanya iwe bora".
• Ufuatiliaji wa uzalishaji: "Sijaweza kupata maelezo" katika maswali halisi, ucheleweshaji wa wastani, gharama, maoni ya mtumiaji (👍/👎) hufuatiliwa. Ongezeko la ghafla la "Sijui" mara nyingi ni ishara ya kwanza ya index au malfunction ya kurejesha.
• Kitanzi cha maoni: Maswali halisi yanayotolewa na mtumiaji 👎 yanakaguliwa na kuongezwa kwenye rundo la dhahabu; Kwa hivyo, seti inakuwa tajiri kwa muda na maeneo ya vipofu ya mfumo yanafungwa.

Kesi Tatu Ndogo

Kesi ya 1 - Rejea kimya. Timu ilirekebisha dodoso ili "kuiboresha"; Usahihi wa jumla uliongezeka, lakini uaminifu ulipungua kwa 30% katika maswali ya mtego (mfano ulianza kutoshea zaidi). Haingeonekana kama si maswali ya mtego katika nguzo ya dhahabu; Jaribio la urejeshaji lilirejesha mabadiliko.

Kesi ya 2 - Kunyoosha mguu usiofaa. Katika msaidizi mmoja majibu yalikuwa mabaya; Timu ilifanya kazi kwa haraka kwa wiki. Tulipopima vipimo vya urejeshaji, kukumbuka@5 ilikuwa 48% pekee - tatizo lilikuwa katika kurejesha, si kizazi. Wakati nafasi ya mseto + iliongezwa, kumbukumbu iliongezeka hadi 89% na usahihi uliongezeka pia.

Kesi ya 3 - Arifa ya uzalishaji. Siku moja, kiwango cha "Sikuweza kupata maelezo" kwa msaidizi wa usaidizi kiliruka kutoka 6% hadi 34%. Trackpad ilionya; Sababu ilikuwa kwamba kazi ya kuorodhesha, ambayo inaendesha usiku, imeshindwa kimya na makala mpya hazikupakiwa. Bila ufuatiliaji, taarifa zisizo sahihi za "sijui" zingeendelea kwa siku kadhaa.

Makosa ya kawaida

• Kutosheka na "ilinifanyia kazi vizuri": Bila kipimo, urekebishaji hauonekani.
• Sio kutenganisha urejeshaji na kizazi: Utarekebisha mguu usiofaa na kupoteza muda.
• Kutouliza maswali ya mtego: Tabia ya kuunda mambo haionekani kwenye nguzo ya dhahabu.
• Kutokuthibitisha Jaji: Baraza la majaji linaloegemea upande mmoja linatoa imani isiyo ya kweli.
• Sio ufuatiliaji wa uzalishaji: Kushindwa kwa fahirisi, mlipuko wa gharama unaendelea kimyakimya.

Kwa muhtasari

• Katika RAG, kurejesha na ubora wa kizazi hupimwa tofauti; Inapaswa kuamua kwanza ni mguu gani umeharibiwa.
• kumbuka@k, precision@k, MRR kwa Urejeshaji; Uaminifu, kufaa, ukamilifu hutumiwa kwa kizazi.
• Kila kipimo kinahitaji nguzo ya dhahabu; Weka maswali halisi, magumu, mtego na yanayopingana ndani yake.
• LLM-as-judge seti kubwa za alama otomatiki; lakini hakimu mwenyewe lazima ahesabiwe haki dhidi ya mwanadamu.
• Majaribio ya urekebishaji, ufuatiliaji wa uzalishaji, na kitanzi cha maoni hudumisha ubora kwa wakati.

Jukumu la maombi

(1) Unda seti ya dhahabu ya angalau maswali 15 kwa msaidizi wako mwenyewe: jumuisha angalau mitego 3 (hakuna majibu), maswali 3 magumu, 2 ya chanzo kinzani. Andika jibu linalotarajiwa na sehemu sahihi kwa kila swali. (2) Linganisha mwenyewe matoleo mawili tofauti ya haraka na seti hii; Toa kila jibu pointi 1-5 kwa uaminifu na usahihi. (3) Badili agizo la LLM-kama-jaji hapo juu kwa vigezo vyako mwenyewe. (4) Tambua vipimo 3 utakavyofuatilia katika toleo la umma na kwa kila uliza "ni kengele katika kiwango gani?" andika thamani.

orodha ya ukaguzi

• [ ] Ninaweza kupima uhifadhi na ubora wa uzalishaji kwa kutumia vipimo tofauti.
• [ ] Ninajua metriki kama recall@k, uaminifu inamaanisha nini.
• [ ] Ninaweza kuunda nguzo ya dhahabu inayojumuisha maswali halisi, magumu, mtego na kinzani.
• [ ] Ninaweza kuweka tathmini otomatiki na kuthibitisha hakimu kwa LLM-as-judge.
• [ ] Ninaweza kufanya majaribio ya urejeleaji, ufuatiliaji wa uzalishaji na kitanzi cha maoni.