Hagnaður:
- Skilgreina mælikvarða sem mæla varðveislu og framleiðslugæði sérstaklega
- Settu upp gull spurningasett og keyrðu sjálfvirkt mat með LLM-sem-dómara
- Viðhalda gæðum með endurgjöf, eftirliti og aðhvarfsprófum í framleiðslu
Setningin „Ég setti upp aðstoðarmanninn, hann virðist virka vel“ er ekki verkfræðileg yfirlýsing. RAG-kerfi bila hljóðlaust: ný gerð skjala blekkir endurheimtina, skjót breyting dregur úr nákvæmni, vísitalan verður gömul. Eina leiðin til að átta sig á þessu er að mæla. Í þessari einingu förum við yfir hvernig á að mæla gæði RAG (endurheimt og framleiðsla sérstaklega), sjálfvirkt mat (LLM-as-judge) og viðhalda gæðum í framleiðslu (eftirlit, afturför). "Þú getur ekki bætt það sem þú mælir ekki" er einkunnarorð þessarar einingar.
Mæla tvo aðskilda hluti
RAG hefur tvo fætur og verður að mæla sérstaklega vegna þess að vandamálið getur verið í hvorum þeirra:
- Gæði endurheimtar: Kom réttur hlutur?
- Kynslóðargæði: Var rétt svar framleitt úr komandi verki?
Ef svarið er slæmt þarftu fyrst að vita hvaða fótur er slæmur. Ef rétti hlutinn kemur aldrei, getur jafnvel besta boðið ekki vistað (endurheimtavandamál). Ef réttur hluti barst en líkanið las það rangt, er tilgangslaust að bæta endurheimtuna (kynslóðavandamál).
Mælingar fyrir endurheimt
Heimsókn er flokkunar-/aðgangsvandamál; mælt með klassískum mæligildum fyrir upplýsingaleit. Til þess verður þú að hafa gullna þyrpinguna: vitneskju um hvaða verk er "rétt" fyrir hverja spurningu.
mæligildi
Hvaða ráðstafanir
Einföld skilgreining
Muna @k
Er rétt stykki í efstu k?
Rétt fanghlutfall hluta
nákvæmni@k
Hversu mörg af k stykkjunum sem skilað er skipta máli?
Þrif á því sem komið er með
MRR (Mean Reciprocal Rank)
Í hvaða röð er rétta stykkið?
Verðlaun að vera í efstu röðum
Hithlutfall
Kom að minnsta kosti eitt rétt stykki?
Helsti mælikvarðinn á árangur
Hagnýt athugasemd: Ef Recall@k er lágt, ætti að endurvinna chunking eða leitarstefnu (blendingur, k, endurröðun). Ef nákvæmni er lítil en innköllun er mikil, er gott skref að bæta við endurröðun.
Kynslóðarmælingar
Þegar réttur hluti kemur mælum við gæði svarsins sem líkanið framleiðir. Þrjár grunnvíddir:
- Trúmennska: Er hver fullyrðing í svarinu studd samhengi? Er einhver passa? Það er bein mælikvarði á ofskynjanir.
- Mikilvægi svara: Svarar svarið í raun og veru spurningunni eða er það utan við efnið?
- Heilleiki: Hafa allar viðeigandi upplýsingar í samhenginu verið notaðar eða vantar þær?
Þetta er oft skorað á stigum (t.d. 1-5), frekar en tvöfalt eins og „satt/ósatt“.
Ábending: Fylgstu með trúfesti sem sérstakt mæligildi. Ef trúfesti minnkar eftir því sem nákvæmni minnkar er vandamálið kynslóð; Ef trúmennska er mikil en svarið er rangt, er vandamálið rangt stykki (endurheimtur). Saman eru þessir tveir mælikvarðar áttaviti sem sýnir staðsetningu bilunarinnar.
Koma á gullnu spurningasetti
Hver mæling krefst gulls setts / matsgagnasetts: raunhæfar spurningar + væntanleg rétt svör + rétt heimildarstykki. Að byrja á 30-50 vel völdum spurningum er betra en 500 handahófskenndar spurningar. Láttu eftirfarandi fylgja með í settinu: Algengar raunverulegar spurningar, þekktar erfiðar spurningar, gildruspurningar án svara (maður ætti að segja "ég veit það ekki"), spurningar með misvísandi heimildir.
# Dæmi um gullklasa (hugmyndalegt)[ {"question": "Hversu marga daga í ársorlofi?", "expected_answer": "14 dagar fyrir 1-5 ára starfsaldur", "correct_part_id": "two-part-3", "category": "leaves"}, {"question": "Hvar er fyrirtæki": "Væntanlegt": "Mars skrifstofa fyrirtækisins": "Væntanlegt": "Mars skrifstofan:" Ég veit ekki "correct_part_id": null, "category": "trap"}]
LLM-sem-dómari: Sjálfvirkt mat
Að skora hundruð svara í höndunum er þreytandi. LLM-as-judge líkan er þegar eitt líkan skorar og rökstyður svar annars líkans út frá ákveðnum forsendum. Góð dómarakvaðning skilgreinir skilmerkilega viðmiðin, gefur dæmi og biður um rökstuðning.
# LLM-sem-dómari hvetja (hugmyndaleg) Þú ert óhlutdrægur matsmaður. Metið SVARIÐ hér að neðan í samræmi við uppgefið SAMhengi og VÆNT SVAR. Skora (1-5) og rökstyðja:- trúmennsku: er hver fullyrðing í svarinu studd í samhengi?- nákvæmni: passar svarið við væntanlegu svari?- heilleika: eru viðeigandi upplýsingar tæmandi? Sérstaklega: Ef svarið inniheldur upplýsingar sem eru ekki í samhenginu, gefðu trúfesti1 og tilgreinið hvaða fullyrðing er tilbúið.CONTEXT: {context}VENT: {expected}SVAR: {answer}Framlag: {trúmennska, nákvæmni, heill, réttlæting}
Varúð: LLM-sem-dómari er ekki fullkominn; Þeir kunna að hafa sínar eigin hlutdrægni (langt svar, kjósa sinn eigin stíl). Staðfestu einnig dómara: láttu bæði dómarann og manninn skora nokkur svör og mæliðu samræmi þeirra á milli. Ef Judge er í samræmi við stig manna geturðu treyst honum.
Veikt/sterk einkunn
Veik ("það var gott fyrir mig"):
Ég spurði nokkurra spurninga og svörin virtust góð. Ég hef það í beinni.# Vandamál: engar mælingar, afturför ómerkjanleg, bati blindur.
Öflugur (gullþyrping + stakar mælingar + sjálfvirkur dómur + afturför):
Gull þyrping með 40 spurningum. Við hverja breytingu, recall@5, er trúfesti og nákvæmni mæld sjálfkrafa. Ef stigið lækkar er breytingin dregin til baka. Í framleiðslu er viðbrögðum notenda safnað og bætt við settið.
Vöktun og afturför í framleiðslu
Mat er ekki gert einu sinni og lokið. Þrjár stöðugar æfingar:
- Aðhvarfsprófun: Kveiktu sjálfkrafa gyllta þyrpingu við hverja vísun/upptöku/gerðaskipti. Ef stigið er lækkað er breytingin snúið við. Þetta kemur í veg fyrir að "brjóta það á meðan reynt er að gera það betra".
- Framleiðslueftirlit: „Ég fann ekki upplýsingar“ hlutfall í raunverulegum spurningum, meðaltöf, kostnaður, viðbrögð notenda (👍/👎) er fylgst með. Skyndileg aukning á „ég veit það ekki“ er oft fyrsta merki um bilun í vísitölu eða innheimtu.
- Endurgjöf lykkja: Raunverulegu spurningarnar sem notandinn gefur upp 👎 eru skoðaðar og bætt við gullna bunkann; Þannig verður leikmyndin ríkari með tímanum og blindir blettir kerfisins lokast.
Þrjú Mini Cass
Tilfelli 1 - Hljóðlát afturför. Hópur breytti leiðbeiningunum til að "bæta" hana; Almenn nákvæmni jókst en trúfesti minnkaði um 30% í gildruspurningum (líkanið fór að passa meira). Það hefði ekki verið tekið eftir því ef ekki væri fyrir gildruspurningarnar í gullna þyrpingunni; Aðhvarfspróf dró breytinguna til baka.
Tilfelli 2 — Rétta úr röngum fæti. Í einum aðstoðarmanninum voru svörin slæm; Teymið vann á tilskipuninni í margar vikur. Þegar við mældum mæligildi fyrir endurheimt var recall@5 aðeins 48% - vandamálið var í endurheimt, ekki kynslóð. Þegar blendingur + endurröðun var bætt við jókst innköllun í 89% og nákvæmni jókst líka.
Mál 3 — Framleiðsluviðvörun. Dag einn hækkaði hlutfall „ég fann ekki upplýsingar“ fyrir aðstoðarmann úr 6% í 34%. Stýripallinn varaði við; Ástæðan var sú að skráningarstarfið, sem er í gangi á nóttunni, mistókst hljóðlega og nýjum greinum var ekki hlaðið upp. Án eftirlits hefðu rangar „ég veit það ekki“ staðhæfingar haldið áfram dögum saman.
Algeng mistök
- Að vera ánægður með „það virkaði vel fyrir mig“: Án mælinga fer afturför óséð.
- Ekki aðskilja endurheimt og kynslóð: Þú munt leiðrétta rangan fót og eyða tíma.
- Ekki spyrja gildruspurninga: Tilhneigingin til að gera hlutina upp kemur ekki fram í gullna þyrpingunni.
- Staðfestir ekki dómara: Hlutdræg dómnefnd veitir falskt traust.
- Fylgist ekki með framleiðslu: Vísitalabilun, kostnaðarsprenging heldur áfram hljóðlaust.
Í stuttu máli
- Í RAG eru endurheimt og kynslóðargæði mæld sérstaklega; Fyrst þarf að ákvarða hvaða fótur er skemmdur.
- recall@k, precision@k, MRR fyrir endurheimt; Trúmennska, hæfileiki, heilleiki er notaður til kynslóðar.
- Hver mæling krefst gullklasa; Settu raunverulegar, erfiðar, gildru og misvísandi spurningar í það.
- LLM-sem-dómari stór setur sjálfvirk stig; en dómarinn sjálfur verður að réttlæta manninn.
- Aðhvarfsprófun, framleiðsluvöktun og endurgjöfarlykkja viðhalda gæðum með tímanum.
Umsóknarverkefni
(1) Búðu til gullna sett með að minnsta kosti 15 spurningum fyrir þinn eigin aðstoðarmann: hafðu með að minnsta kosti 3 gildrur (engin svör), 3 erfiðar, 2 misvísandi upprunaspurningar. Skrifaðu væntanlegt svar og réttan hluta fyrir hverja spurningu. (2) Berðu handvirkt saman tvær mismunandi hvetjandi útgáfur með þessu setti; Gefðu hverju svari 1-5 stig fyrir trúmennsku og nákvæmni. (3) Aðlagaðu LLM-sem-dómara tilvitnunina hér að ofan að þínum eigin forsendum. (4) Tilgreindu 3 mælikvarða sem þú munt rekja í framleiðslu og spyrðu fyrir hverja „við hvaða þröskuld vek ég viðvörun“? skrifaðu gildið.
gátlisti
- [ ] Ég get mælt varðveislu og kynslóðargæði með aðskildum mælingum.
- [ ] Ég veit hvað mælikvarðar eins og recall@k, trúfesti þýðir.
- [ ] Ég get byggt upp gullna þyrping sem inniheldur raunverulegar, erfiðar, gildru og misvísandi spurningar.
- [ ] Ég get sett upp sjálfvirkt mat og staðfest dómarann með LLM-as-judge.
- [ ] Ég get stjórnað aðhvarfsprófun, framleiðsluvöktun og endurgjöfarlykkju.