Evalwazzjoni u Monitoraġġ RAG

Qligħ:

• Jiddefinixxu metriċi li jkejlu ż-żamma u l-kwalità tal-ġenerazzjoni separatament
• Stabbilixxi sett ta 'mistoqsijiet tad-deheb u mexxi evalwazzjoni awtomatika ma' LLM-as-judge
• Iż-żamma tal-kwalità permezz ta 'feedback, monitoraġġ u ttestjar ta' rigressjoni fil-produzzjoni

Is-sentenza "I installajt l-assistent, jidher li qed jaħdem tajjeb" mhix dikjarazzjoni ta 'inġinerija. Is-sistemi RAG jkissru skiet: tip ta 'dokument ġdid iqarraq bl-irkupru, bidla fil-pront tnaqqas l-eżattezza, l-indiċi jsir qadim. L-uniku mod biex tirrealizza dan huwa li tkejjel. F'din l-unità, aħna nkopru kif tkejjel il-kwalità RAG (irkupru u ġenerazzjoni separatament), evalwazzjoni awtomatika (LLM-as-judge) u żżomm il-kwalità fil-produzzjoni (monitoraġġ, rigressjoni). "Ma tistax ittejjeb dak li ma tkejjel" huwa l-motto ta 'din l-unità.

Kejjel Żewġ Affarijiet Separati

RAG għandu żewġ saqajn u għandu jitkejjel separatament minħabba li l-problema tista 'tkun f'wieħed minnhom:

1. Kwalità tal-irkupru: Waslet il-parti korretta?
2. Kwalità tal-ġenerazzjoni: It-tweġiba t-tajba ġiet prodotta mill-biċċa dieħla?

Jekk it-tweġiba hija ħażina, trid tkun taf liema sieq hija ħażina l-ewwel. Jekk il-parti t-tajba qatt ma tasal, anke l-aħjar pront ma jistax isalva (problema ta 'rkupru). Jekk il-parti t-tajba waslet iżda l-mudell qara ħażin, it-titjib tal-irkupru huwa għalxejn (problema tal-ġenerazzjoni).

Metriċi tal-Irkupru

L-irkupru huwa problema ta' għażla/aċċess; imkejla b'metriċi klassiċi ta' rkupru ta' informazzjoni. Għal dan irid ikollok il-grupp tad-deheb: l-għarfien ta 'liema biċċa hija "korretta" għal kull mistoqsija.

metrika

X'miżuri

Definizzjoni sempliċi

Recall@k

Il-biċċa t-tajba fil-k top?

Ir-rata ta' qbid tal-parti korretta

preċiżjoni@k

Kemm mill-k biċċiet lura huma rilevanti?

Tindif ta’ dak li jinġieb

MRR (Kank Reċiproku Medju)

F'liema ordni hija l-biċċa t-tajba?

Premjijiet li jkunu fl-ogħla gradi

Ir-rata tal-hit

Waslet mill-inqas biċċa waħda korretta?

L-aktar kejl bażiku tas-suċċess

Kumment prattiku: Jekk Recall@k huwa baxx, l-istrateġija tat-tqattigħ jew tat-tfittxija (ibrida, k, klassifikazzjoni mill-ġdid) għandha tinħadem mill-ġdid. Jekk il-preċiżjoni hija baxxa iżda l-irtirar huwa għoli, iż-żieda ta 'klassifikazzjoni mill-ġdid hija pass tajjeb.

Metriċi tal-Ġenerazzjoni

Meta tasal il-parti korretta, aħna nkejlu l-kwalità tar-rispons prodott mill-mudell. Tliet dimensjonijiet bażiċi:

• Fedeltà: Kull talba fit-tweġiba hija sostnuta mill-kuntest? Hemm xi twaħħil? Hija miżura diretta ta 'alluċinazzjoni.
• Ir-relevanza tat-tweġibiet: It-tweġiba fil-fatt twieġeb il-mistoqsija jew hija barra mis-suġġett?
• Kompletezza: Intużat l-informazzjoni rilevanti kollha fil-kuntest jew hija nieqsa?

Dawn ħafna drabi jingħataw punteġġ fuq bażi gradata (eż. 1-5), aktar milli binarji bħal "veru/falz."

Tip: Track Fedeltà bħala metrika separata. Jekk il-fedeltà tonqos hekk kif tonqos l-eżattezza, il-problema hija l-ġenerazzjoni; Jekk il-fedeltà hija għolja iżda t-tweġiba hija ħażina, il-problema hija l-biċċa ħażina (irkuprar). Flimkien, dawn iż-żewġ metriċi huma boxxla li turi l-post tal-ħsara.

L-istabbiliment ta' Sett ta' Mistoqsijiet tad-Deheb

Kull kejl jeħtieġ sett tad-deheb / dataset ta' evalwazzjoni: mistoqsijiet realistiċi + tweġibiet korretti mistennija + biċċiet tas-sors korretti. Li tibda b'30-50 mistoqsija magħżula tajjeb huwa aħjar minn 500 mistoqsija każwali. Inkludi dawn li ġejjin fis-sett: mistoqsijiet reali ta' spiss, mistoqsijiet diffiċli magħrufa, mistoqsijiet nassa mingħajr tweġibiet (wieħed għandu jgħid "Ma nafx"), mistoqsijiet b'sorsi kontradittorji.

# Golden cluster example (kunċettwali)[ {"question": "Kemm ġurnata ta' leave annwali?", "expected_answer": "14-il jum għal 1-5 snin ta' anzjanità", "correct_part_id": "two-part-3", "category": "leave"}, {"question": "Fejn hu l-uffiċċju ta' Mars tal-kumpanija?", ":" #e_p_intratat INFORMAZZJONI, ":" ma nafx "correct_part_id": null, "category": "nassa"}]

LLM-as-Imħallef: Valutazzjoni Awtomatika

Il-punteġġ ta’ mijiet ta’ tweġibiet bl-idejn huwa għeja. Mudell LLM-as-judge huwa meta mudell wieħed jikseb punteġġi u jiġġustifika t-tweġiba ta' mudell ieħor ibbażat fuq ċerti kriterji. Imħallef tajjeb fil-pront jiddefinixxi b'mod ċar il-kriterji, jagħti eżempji u jitlob ġustifikazzjoni.

# LLM-as-judge prompt (kunċettwali)Int evalwatur imparzjali. Evalwa t-TWEĠIBA hawn taħt skont il-KUNTEST u t-TWEĠIBA MISTENNIA mogħtija. Punteġġ (1-5) u ġġustifika:- fedeltà: kull talba fit-tweġiba hija appoġġjata fil-kuntest?- preċiżjoni: it-tweġiba taqbel mat-tweġiba mistennija?- kompletezza: l-informazzjoni rilevanti hija kompluta? Partikolarment: jekk it-tweġiba fiha informazzjoni mhux fil-kuntest, agħti l-fedeltà1 u indika liema talba hija ffabbrikata.KUNTEST: {kuntest}MISTENNI: {mistennija}TWEĠIBA: {tweġiba}Output: {fedeltà, preċiżjoni, kompletezza, ġustifikazzjoni}

Attenzjoni: LLM-as-judge mhix perfetta; Jista 'jkollhom il-preġudizzji tagħhom stess (tweġiba twila, jippreferu l-istil tagħhom). Ivverifika wkoll Imħallef: agħmel xi tweġibiet skurjati kemm mill-imħallef kif ukoll mill-bniedem u kejjel il-qbil bejniethom. Jekk Judge huwa konsistenti mal-punteġġi umani, tista 'tafdah.

Rating Dgħajjef/Qawwija

Dgħajjef ("kien tajjeb għalija"):

Staqsejt ftit mistoqsijiet u t-tweġibiet dehru tajbin. Għandi ħaj.# Problema: ebda kejl, rigressjoni imperċettibbli, titjib blind.

Qawwija (cluster tad-deheb + metriċi diskreti + ġudizzju awtomatiku + rigressjoni):

Għaqda tad-deheb ta' 40 mistoqsija. Ma 'kull bidla, recall@5, il-fedeltà u l-eżattezza huma mkejla awtomatikament. Jekk il-punteġġ jinżel, il-bidla tiġi rritornata lura. Fil-produzzjoni, il-feedback tal-utent jinġabar u jiżdied mas-sett.

Monitoraġġ u Rigressjoni fil-Produzzjoni

Evalwazzjoni ma ssirx darba u lesta. Tliet prattiki kostanti:

• Ittestjar tar-rigressjoni: Awto-run golden cluster fuq kull bidla fil-pront/irkupru/mudell. Jekk il-punteġġ jitnaqqas, il-bidla tinqaleb. Dan jipprevjeni "tkisserha waqt li tipprova tagħmilha aħjar".
• Monitoraġġ tal-produzzjoni: ir-rata "Ma stajtx insib informazzjoni" f'mistoqsijiet reali, dewmien medju, spiża, feedback tal-utent (👍/👎) huma mmonitorjati. Żieda f'daqqa f'"Ma nafx" ħafna drabi hija l-ewwel sinjal ta' indiċi jew ħsara fl-irkupru.
• Loop ta 'feedback: Il-mistoqsijiet reali pprovduti mill-utent 👎 huma riveduti u miżjuda mal-munzell tad-deheb; Għalhekk, is-sett isir aktar sinjur maż-żmien u l-blind spots tas-sistema jingħalqu.

Tliet Każijiet Mini

Każ 1 — Rigressjoni siekta. Tim immodifika l-pront biex "itejjeb"; L-eżattezza ġenerali żdiedet, iżda l-fedeltà naqset bi 30% fil-mistoqsijiet tan-nassa (il-mudell beda joqgħod aktar). Ma kienx ikun innutat li kieku ma kienx għall-mistoqsijiet tan-nassa fil-grupp tad-deheb; L-ittestjar tar-rigressjoni reġġa' lura l-bidla.

Każ 2 — L-iddrittar tar-riġel ħażin. F’assistent wieħed it-tweġibiet kienu ħżiena; It-tim ħadem fuq il-pront għal ġimgħat. Meta kejlna l-metriċi tal-irkupru, recall@5 kien biss 48% - il-problema kienet fl-irkupru, mhux fil-ġenerazzjoni. Meta ġie miżjud ibridu + klassifikazzjoni mill-ġdid, ir-recall żdied għal 89% u l-eżattezza żdiedet ukoll.

Każ 3 — Twissija ta' produzzjoni. Ġurnata waħda, ir-rata "Ma stajtx insib informazzjoni" għal assistent ta' appoġġ qabżet minn 6% għal 34%. It-trackpad wissa; Ir-raġuni kienet li x-xogħol ta 'indiċjar, li jaħdem bil-lejl, falla skiet u artikli ġodda ma ttellgħux. Mingħajr monitoraġġ, dikjarazzjonijiet żbaljati "Ma nafx" kienu jibqgħu għaddejjin għal jiem.

Żbalji komuni

• Li tkun sodisfatt bi "ħadmet tajjeb għalija": Mingħajr kejl, ir-rigressjoni ma tibqax innotata.
• Mhux tissepara l-irkupru u l-ġenerazzjoni: Se tikkoreġi s-sieq ħażina u taħli l-ħin.
• Mhux tistaqsi mistoqsijiet tan-nassa: It-tendenza li tagħmel l-affarijiet ma tidhirx fil-grupp tad-deheb.
• Imħallef li ma jivverifikax: Ġurija preġudikata tagħti fiduċja falza.
• Mhux tissorvelja l-produzzjoni: In-nuqqas ta 'l-indiċi, l-isplużjoni ta' l-ispiża tkompli skiet.

Fil-qosor

• F'RAG, l-irkupru u l-kwalità tal-ġenerazzjoni huma mkejla separatament; L-ewwel irid jiġi determinat liema sieq tkun bil-ħsara.
• recall@k, preċiżjoni@k, MRR għall-Irkupru; Il-fedeltà, l-adegwatezza, il-kompletezza jintużaw għall-ġenerazzjoni.
• Kull kejl jeħtieġ cluster tad-deheb; Poġġi fiha mistoqsijiet reali, diffiċli, nassa u kontradittorji.
• LLM-as-judge settijiet kbar auto-scores; imma l-imħallef innifsu għandu jkun ġustifikat kontra l-bniedem.
• L-ittestjar tar-rigressjoni, il-monitoraġġ tal-produzzjoni, u ċirku ta 'feedback iżommu l-kwalità maż-żmien.

Kompitu ta' applikazzjoni

(1) Oħloq sett tad-deheb ta 'mill-inqas 15-il mistoqsija għall-assistent tiegħek stess: inkludi mill-inqas 3 nases (l-ebda tweġibiet), 3 diffiċli, 2 mistoqsijiet sors kontradittorji. Ikteb it-tweġiba mistennija u l-parti t-tajba għal kull mistoqsija. (2) Manwalment iqabbel żewġ verżjonijiet fil-pront differenti ma 'dan is-sett; Agħti kull tweġiba 1-5 punti għall-fedeltà u l-eżattezza. (3) Adatta l-pront LLM-as-judge hawn fuq għall-kriterji tiegħek. (4) Identifika 3 metriċi li ser issegwi fil-produzzjoni u għal kull waħda staqsi "f'liema limitu nagħmel allarm?" ikteb il-valur.

lista ta' kontroll

• [ ] Kapaċi nkejjel iż-żamma u l-kwalità tal-ġenerazzjoni b'metriċi separati.
• [ ] Naf xi tfisser metriċi bħal recall@k, fedeltà.
• [ ] Kapaċi nibni raggruppament tad-deheb li jinkludi mistoqsijiet reali, diffiċli, nassa u kontradittorji.
• [ ] Kapaċi nwaqqaf evalwazzjoni awtomatika u nivverifika lill-imħallef b'LLM-as-judge.
• [ ] Kapaċi nopera ttestjar ta' rigressjoni, monitoraġġ tal-produzzjoni u loop ta' feedback.