Girdeji:
- Saklamagy we nesil hilini aýratyn ölçän ölçegleri kesgitlemek
- Altyn sorag toplumyny guruň we LLM-kazy bilen awtomatiki baha beriň
- Önümçilikde seslenme, gözegçilik we regress synagy arkaly hilini saklamak
"Kömekçini gurdum, gowy işleýän ýaly" sözlemi in engineeringenerçilik beýany däl. RAG ulgamlary sessiz-üýnsüz bölünýär: täze resminamanyň görnüşi gözlemegi samsyklaýar, çalt üýtgetmek takyklygy peseldýär, indeks köne bolýar. Muny durmuşa geçirmegiň ýeke-täk usuly ölçemekdir. Bu bölümde RAG hilini (gözlemek we öndürmek aýratynlykda), awtomatiki baha bermek (LLM-kazy) we önümçiligiň hilini (gözegçilik, regressiýa) nädip ölçemelidigi barada maglumat berýäris. "Ölçemän zadyňyzy gowulaşdyryp bilmersiňiz" bu bölümiň şygary.
Iki aýry zady ölçäň
RAG-nyň iki aýagy bar we aýratyn ölçelmeli, sebäbi mesele olaryň ikisinde-de bolup biler:
- Gözlegiň hili: Dogry bölegi geldi?
- Nesiliň hili: Gelýän eserden dogry jogap çykaryldymy?
Jogap erbet bolsa, ilki haýsy aýagyň erbetdigini bilmeli. Dogry bölegi hiç haçan gelmese, iň oňat haýyş hem saklap bilmez (gözlemek meselesi). Dogry bölegi gelen bolsa, ýöne model ýalňyş düşünen bolsa, gözlemegi gowulaşdyrmak peýdasyz (nesil meselesi).
Gözleg ölçegleri
Gözleg - sortlamak / giriş meselesi; nusgawy maglumatlary gözlemek ölçegleri bilen ölçelýär. Munuň üçin altyn klaster bolmaly: her sorag üçin haýsy eseriň “dogrydygyny” bilmek.
metrik
Näme çäreleri görýär
Simönekeý kesgitleme
@ Kady ýada salyň
Topokardaky k dogry bölekmi?
Bölümi düşürmegiň derejesi
takyklyk @ k
Yzyna gaýtarylan k bölekleriň näçesi degişlidir?
Getirilen zady arassalamak
MRR (ortaça ikitaraplaýyn dereje)
Dogry bölek haýsy tertipde?
Iň ýokary hatarda bolmak
Hit derejesi
Iň bolmanda bir dogry eser geldi?
Üstünligiň iň esasy çäresi
Amaly düşündiriş: allatlaň @ k pes bolsa, gözlemek ýa-da gözleg strategiýasy (gibrid, k, gaýtadan reýting) gaýtadan işlenmeli. Takyklygy pes bolsa, ýöne ýatlamak ýokary bolsa, gaýtadan reýting goşmak gowy ädimdir.
Nesil ölçegleri
Dogry bölegi gelende, modeliň öndüren jogabynyň hilini ölçeris. Üç esasy ölçeg:
- Wepalylyk: Jogapdaky her bir talap kontekst bilen goldanýarmy? Gabat gelýän barmy? Galýusinasiýanyň gönüden-göni çäresi.
- Jogap ýerlikliligi: Jogap hakykatdanam soraga jogap berýärmi ýa-da mowzuk dälmi?
- Doly: Kontekstdäki ähli degişli maglumatlar ulanyldymy ýa-da ýokmy?
Bular köplenç “hakyky / ýalan” ýaly ikilik däl-de, derejelendirilen esasda (meselem 1-5) bal alýarlar.
Maslahat: Wepalylygy aýratyn ölçeg hökmünde yzarlaň. Takyklygyň peselmegi bilen wepalylyk azalsa, mesele nesildir; Wepalylyk ýokary bolsa, jogap nädogry bolsa, mesele nädogry bölek (gözleg). Bu iki ölçeg bilelikde, näsazlygyň ýerleşýän ýerini görkezýän kompasdyr.
Altyn soraglar toplumyny döretmek
Her ölçeg altyn toplum / baha beriş maglumatlar toplumyny talap edýär: hakyky soraglar + garaşylýan dogry jogaplar + dogry çeşme bölekleri. 30-50 gowy saýlanan soraglardan başlamak, 500 tötänleýin soragdan has gowudyr. Toplumda aşakdakylary goşuň: ýygy-ýygydan berilýän hakyky soraglar, belli kyn soraglar, jogap ýok duzak soraglary (biri "bilemok" diýmeli), gapma-garşy çeşmeler bilen soraglar.
# Altyn klaster mysaly (konseptual) null, "kategoriýa": "duzak"}]
LLM-kazy: Awtomatiki baha bermek
Hundredsüzlerçe jogaplary el bilen almak ýadadýar. LLM-kazy modeli, bir model belli bir kriteriýalara esaslanyp, başga bir modeliň beren jogabyny esaslandyrýar. Gowy kazy derrew kriteriýalary kesgitleýär, mysallar berýär we delillendirilmegini soraýar.
# LLM-kazy gyssagly (düşünjeli) Siz bitarap baha beriji. Aşakdaky Jogap berlen KONTEXT we Garaşylan Jogap boýunça baha beriň. Bal (1-5) we esaslandyryň: - wepalylyk: jogapdaky her bir talap kontekstde goldanýarmy? - takyklygy: jogap garaşylýan jogaba laýyk gelýärmi? - dolulygyna: degişli maglumatlar dolymy? Hususan-da: jogap kontekstde däl maglumatlary öz içine alýan bolsa, wepalylyk beriň we haýsy talapyň toslandygyny görkeziň.
Üns beriň: LLM-kazy kämil däl; Olaryň öz taraplary bolup biler (uzyn jogap, öz stilini ileri tutup). Kazy hem barlaň: kazy we adam tarapyndan berlen käbir jogaplary alyň we olaryň arasyndaky ylalaşygy ölçäň. Kazy adam ballaryna laýyk gelýän bolsa, oňa ynanyp bilersiňiz.
Gowşak / güýçli baha
Gowşak ("bu meniň üçin gowy boldy"):
Birnäçe sorag berdim, jogaplary gowy ýalydy. Ony göni düşündim. # Mesele: ölçeg ýok, regressiýa duýulmaýar, gowulaşma kör.
Güýçli (altyn klaster + aýratyn ölçegler + awtomatiki höküm + regressiýa):
40 soragdan ybarat altyn topar. Her üýtgeşme bilen, @ 5-i ýada salyň, wepalylyk we takyklyk awtomatiki ölçelýär. Bal peselse, üýtgeşiklik yzyna gaýtarylýar. Önümçilikde ulanyjylaryň pikirleri ýygnalyp, toplumyna goşulýar.
Önümçilikde gözegçilik we regressiýa
Baha bermek bir gezek edilmeýär we gutarýar. Üç yzygiderli tejribe:
- Regressiýa synagy: Her isleg / gözleg / model üýtgemesinde altyn topar. Bal azalsa, üýtgeşiklik tersine bolar. Bu "has gowulaşdyrjak bolanyňyzda ony döwmegiň" öňüni alýar.
- Önümçilik gözegçiligi: Hakyky soraglarda "maglumat tapyp bilmedim" derejesi, ortaça gijä galmak, bahasy, ulanyjylaryň pikirleri (👍 / 👎) gözegçilik edilýär. "Bilmedim" -iň birden ýokarlanmagy köplenç indeksiň ýa-da gözlegiň näsazlygynyň ilkinji alamatydyr.
- Seslenme aýlawy: Ulanyjy tarapyndan berlen hakyky soraglar gözden geçirilýär we altyn üýşmeleňe goşulýar; Şeýlelik bilen, toplum wagtyň geçmegi bilen baýlaşýar we ulgamyň kör nokatlary ýapylýar.
Üç kiçi waka
1-nji waka - Ümsüm regressiýa. Topar haýyşy "gowulaşdyrmak" üçin üýtgetdi; Umumy takyklyk ýokarlandy, ýöne duzak soraglarynda wepalylyk 30% azaldy (model has laýyk bolup başlady). Altyn topardaky duzak soraglary bolmadyk bolsa, üns berilmezdi; Regressiýa synagy üýtgemäni yzyna gaýtardy.
2-nji hadysa - Nädogry aýagy düzeltmek. Bir kömekçide jogaplar erbetdi; Topar birnäçe hepde işledi. Gözleg ölçeglerini ölçänimizde, @ 5-iň bary-ýogy 48% bolandygyny ýada salyň - mesele nesil däl-de, gözlegde boldy. Gibrid + gaýtadan reýting goşulanda, yzyna gaýtarmak 89% -e çenli ýokarlandy we takyklygy hem ýokarlandy.
3-nji hadysa - Önümçilik duýduryşy. Günleriň birinde goldawçy üçin "Maglumat tapyp bilmedim" derejesi 6% -den 34% -e çykdy. Gorag paneli duýduryş berdi; Munuň sebäbi, gijelerine işleýän indeksirleme işiniň sessiz başa barmagy we täze makalalaryň ýüklenmezligi. Gözegçilik etmezden, nädogry "bilemok" jümleleri birnäçe gün dowam ederdi.
Adaty ýalňyşlyklar
- “Bu meniň üçin gowy işledi” bilen kanagatlanmak: Ölçegsiz regressiýa üns berilmeýär.
- Gözleg we nesli bölmeýän: Nädogry aýagy düzedersiňiz we wagt ýitirersiňiz.
- Duzak soraglaryny bermezlik: Zatlary düzmek meýli altyn toparda görünmeýär.
- Kazy barlamazlyk: Ikitaraplaýyn eminler ýalan ynam berýär.
- Önümçilige gözegçilik etmezlik: Indeksiň näsazlygy, çykdajy partlamasy sessiz dowam edýär.
Gysgaça
- RAG-da gözleg we nesil hili aýratyn ölçelýär; Ilki bilen haýsy aýagyň zeperlenendigini kesgitlemeli.
- gözlemek üçin @ k, takyklyk @ k, MRR ýadyňyza salyň; Wepalylyk, laýyklyk, dolylyk nesil üçin ulanylýar.
- Her ölçeg altyn toparyny talap edýär; Oňa hakyky, kyn, duzak we gapma-garşy soraglary goýuň.
- LLM-kazy uly awto-ballar; ýöne kazynyň özi adama garşy aklanmalydyr.
- Regressiýa synagy, önümçilige gözegçilik we seslenme aýlawy wagtyň geçmegi bilen hilini saklaýar.
Programma meselesi
(1) Öz kömekçiňiz üçin azyndan 15 soragdan ybarat altyn toplum dörediň: azyndan 3 duzak (jogap ýok), 3 kyn, 2 gapma-garşy çeşme soragyny goşuň. Her soraga garaşylýan jogaby we dogry bölegini ýazyň. (2) Bu toplum bilen iki dürli gyssagly wersiýany el bilen deňeşdiriň; Wepalylyk we takyklyk üçin her jogaba 1-5 bal beriň. (3) aboveokardaky LLM-kazy kazyýetini öz ölçegleriňize laýyklaşdyryň. (4) Önümçilikde yzarlajak 3 ölçegiňizi kesgitläň we her biri üçin "haýsy bosagada duýduryş berýärin?" bahasyny ýazyň.
gözegçilik sanawy
- [] Tutulmagy we nesil hilini aýratyn ölçegler bilen ölçäp bilerin.
- [] Recallatlamak @ k, wepalylygyň nämäni aňladýandygyny bilýärin.
- [] Hakyky, kyn, duzak we gapma-garşy soraglary öz içine alýan altyn topar gurup bilerin.
- [] Awtomatiki baha berip, LLM-kazy bilen kazy barlap bilerin.
- [] Regressiýa synagyny, önümçilige gözegçilik we seslenme aýlawyny işledip bilerin.