Awọn anfani:
- Ti n ṣalaye awọn metiriki ti o wiwọn idaduro ati didara iran lọtọ
- Ṣeto ṣeto ibeere goolu kan ati ṣiṣe igbelewọn adaṣe pẹlu LLM-bi onidajọ
- Mimu didara nipasẹ awọn esi, ibojuwo ati idanwo ifaseyin ni iṣelọpọ
Awọn gbolohun ọrọ "Mo ti fi sori ẹrọ oluranlọwọ, o dabi pe o n ṣiṣẹ daradara" kii ṣe alaye imọ-ẹrọ. Awọn ọna ṣiṣe RAG fọ lulẹ ni idakẹjẹ: iru iwe tuntun kan jẹ aṣiwèrè igbapada, iyipada iyara kan dinku deede, atọka naa di arugbo. Ọna kan ṣoṣo lati mọ eyi ni lati wiwọn. Ninu ẹyọ yii, a bo bi o ṣe le wiwọn didara RAG (imupadabọ ati iran lọtọ), igbelewọn adaṣe (LLM-bi-adajọ) ati ṣetọju didara ni iṣelọpọ (abojuto, iṣipopada). "O ko le ṣe ilọsiwaju ohun ti o ko ni iwọn" ni gbolohun ọrọ ti ẹyọ yii.
Ṣe iwọn Awọn nkan meji lọtọ
RAG ni awọn ẹsẹ meji ati pe o gbọdọ wọn ni lọtọ nitori iṣoro naa le wa ninu ọkan ninu wọn:
- Didara igbapada: Njẹ apakan to pe de?
- Didara iran: Ṣe idahun ti o pe lati nkan ti nwọle bi?
Ti idahun ba buru, o nilo lati mọ ẹsẹ wo ni buburu ni akọkọ. Ti apakan ọtun ko ba de, paapaa itọsi to dara julọ ko le fipamọ (iṣoro imupadabọ). Ti apakan ti o pe ti de ṣugbọn awoṣe ṣika rẹ, imudara igbapada jẹ asan (iṣoro iran).
Awọn Metiriki igbapada
Imupadabọ jẹ iṣoro yiyan/iwọle; diwọn nipasẹ awọn metiriki igbapada alaye kilasika. Fun eyi o gbọdọ ni iṣupọ goolu: imọ ti nkan wo ni "ti o tọ" fun ibeere kọọkan.
metric
Kini iwọn
Itumọ ti o rọrun
Ṣe iranti @ k
Ṣe nkan ti o pe ni oke k?
Iwọn igbasilẹ apakan ti o tọ
konge @ k
Bawo ni ọpọlọpọ awọn ege k ti o pada jẹ pataki?
Ninu ohun ti a mu
MRR (Itumọ ipo Atunse)
Ni ibere wo ni nkan ti o pe?
Awọn ere wa ni awọn ipo giga
Oṣuwọn kọlu
Njẹ o kere ju nkan ti o tọ de?
Awọn julọ ipilẹ odiwon ti aseyori
Ọrọìwòye ti o wulo: Ti Recall@k ba lọ silẹ, chunking tabi ilana wiwa (arabara, k, tun ipo) yẹ ki o tun ṣiṣẹ. Ti konge jẹ kekere ṣugbọn iranti jẹ giga, fifi tun-ni ipo jẹ gbigbe to dara.
Awọn Metiriki iran
Nigbati apakan ti o tọ ba de, a ṣe iwọn didara esi ti a ṣe nipasẹ awoṣe. Awọn iwọn ipilẹ mẹta:
- Otitọ: Njẹ ibeere kọọkan ninu idahun ni atilẹyin nipasẹ ọrọ-ọrọ bi? Ṣe eyikeyi ibamu? O jẹ iwọn taara ti hallucination.
- Idahun ibaramu: Ṣe idahun gangan dahun ibeere naa tabi ko jẹ koko-ọrọ bi?
- Ipari: Njẹ gbogbo alaye ti o ni ibatan ninu ọrọ-ọrọ ti lo tabi nsọnu?
Iwọnyi ni a gba wọle nigbagbogbo lori ipilẹ iwọn (fun apẹẹrẹ 1-5), dipo alakomeji bi “otitọ/eke.”
Imọran: Tọpa Otitọ bi metiriki lọtọ. Ti otitọ ba dinku bi otitọ ṣe n dinku, iṣoro naa ni iran; Ti otitọ ba ga ṣugbọn idahun ko tọ, iṣoro naa jẹ nkan ti ko tọ (imupadabọ). Papọ, awọn metiriki meji wọnyi jẹ kọmpasi kan ti o fihan ipo aṣiṣe naa.
Igbekale kan Golden ibeere Ṣeto
Iwọn wiwọn kọọkan nilo ipilẹ goolu kan / igbelewọn data: awọn ibeere ojulowo + awọn idahun ti o nireti + awọn ege orisun to pe. Bibẹrẹ pẹlu awọn ibeere 30-50 ti a yan daradara dara ju awọn ibeere laileto 500 lọ. Fi nkan wọnyi sinu eto: nigbagbogbo beere awọn ibeere gidi, awọn ibeere ti o nira ti a mọ, awọn ibeere idẹkùn laisi awọn idahun (ọkan yẹ ki o sọ “Emi ko mọ”), awọn ibeere pẹlu awọn orisun ilodi.
# Apeere iṣupọ goolu (conceptual)[ {"ibeere": "Ọjọ isinmi ọdun melo ni?", "Idahun_reti": "ọjọ mẹrinla fun ọdun 1-5 ti oga", "apakan_ti o tọ": "ipin-meji-3", "ẹka": "fi silẹ"}, {"ibeere", "INFOR": "Nibo ni ile-iṣẹ naa wa? # pakute: Emi ko mọ "atunse_part_id": asan, "ẹka": "pakute"}]
LLM-bi-Odajọ: Aifọwọyi Igbelewọn
Ifimaaki awọn ọgọọgọrun ti awọn idahun pẹlu ọwọ jẹ agara. LLM-bi-adajọ awoṣe ni nigbati ọkan awoṣe Dimegilio ati ki o lare miiran awoṣe ká idahun da lori awọn àwárí mu. Adajọ ti o dara ni kiakia n ṣalaye awọn ibeere, fun apẹẹrẹ ati beere fun idalare.
# LLM-bi-idajọ tọ (imọran) Iwọ jẹ oluyẹwo alaiṣojuuju. Ṣe iṣiro IDAHUN ti o wa ni isalẹ ni ibamu si CONTEXT ti a fun ati idahun ti a nireti. Dimegilio (1-5) ati idalare: - otitọ: jẹ ibeere kọọkan ninu idahun ni atilẹyin ni ọrọ-ọrọ? - deede: idahun naa baamu idahun ti a reti? - pipe: alaye ti o yẹ ni pipe bi? Paapa: ti idahun ko ba ni alaye ninu ọrọ-ọrọ, fun ni otitọ1 ki o tọka si iru ẹtọ ti a ṣe.
Išọra: LLM-bi onidajọ ko pe; Wọn le ni awọn aiṣedeede tiwọn (idahun gigun, fẹran ara wọn). Tun ṣe idaniloju Adajọ: ni diẹ ninu awọn idahun ti o gba wọle nipasẹ adajọ ati eniyan ati wiwọn adehun laarin wọn. Ti Adajọ ba ni ibamu pẹlu awọn nọmba eniyan, o le gbẹkẹle e.
Ailagbara / Alagbara Rating
Alailagbara ("o dara fun mi"):
Mo beere awọn ibeere diẹ ati pe awọn idahun dabi ẹni pe o dara. Mo ti gba laaye. # Isoro: ko si wiwọn, ifaseyin imperceptible, ilọsiwaju afọju.
Alagbara (iṣupọ goolu + awọn metiriki ọtọtọ + idajọ adaṣe + ipadasẹhin):
Iṣupọ goolu ti awọn ibeere 40. Pẹlu iyipada kọọkan, iranti @ 5, iṣotitọ ati deede jẹ iwọn laifọwọyi. Ti Dimegilio ba lọ silẹ, iyipada ti yiyi pada. Ni iṣelọpọ, awọn esi olumulo ni a gba ati ṣafikun si ṣeto.
Abojuto ati Padasẹyin ni Production
A ko ṣe ayẹwo ni ẹẹkan ati pari. Awọn iṣe igbagbogbo mẹta:
- Idanwo ipadasẹhin: iṣupọ goolu ti n ṣiṣẹ ni aifọwọyi lori gbogbo iyipada / imupadabọ / awoṣe. Ti o ba ti Dimegilio ti wa ni dinku, awọn ayipada ti wa ni ifasilẹ awọn. Eyi ṣe idilọwọ “fifọ lakoko igbiyanju lati jẹ ki o dara julọ”.
- Abojuto iṣelọpọ: “Emi ko le rii alaye” ni awọn ibeere gidi, aropin idaduro, idiyele, esi olumulo (👍/👎) jẹ abojuto. Ilọsoke lojiji ni "Emi ko mọ" nigbagbogbo jẹ ami akọkọ ti atọka tabi aiṣe atunṣe.
- Loop esi: Awọn ibeere gidi ti olumulo pese 👎 jẹ atunyẹwo ati ṣafikun si opoplopo goolu; Nitorinaa, ṣeto naa di ọlọrọ ni akoko pupọ ati awọn aaye afọju ti eto naa ti wa ni pipade.
Mẹta Mini igba
Ọran 1 - ipalọlọ ipalọlọ. Ẹgbẹ kan ṣe atunṣe itọsi lati “mu si” rẹ; Ipeye gbogbogbo pọ si, ṣugbọn iṣotitọ dinku nipasẹ 30% ni awọn ibeere pakute (awoṣe bẹrẹ lati baamu diẹ sii). Kii yoo ti ṣe akiyesi ti kii ba ṣe fun awọn ibeere idẹkùn ninu iṣupọ goolu; Idanwo ifasẹyin yi iyipada pada.
Ọran 2 - Titọ ẹsẹ ti ko tọ. Ninu oluranlọwọ kan awọn idahun ko dara; Ẹgbẹ naa ṣiṣẹ ni kiakia fun awọn ọsẹ. Nigba ti a ba wọn awọn metiriki igbapada, ranti@5 jẹ 48% nikan - iṣoro naa wa ni igbapada, kii ṣe iran. Nigbati arabara + tun-ni ipo ti a ṣafikun, iranti pọ si 89% ati pe deede pọ si daradara.
Ọran 3 - Itaniji iṣelọpọ. Ni ọjọ kan, oṣuwọn “Emi ko le rii alaye” fun oluranlọwọ atilẹyin kan fo lati 6% si 34%. Awọn trackpad kilo; Idi ni pe iṣẹ atọka, eyiti o nṣiṣẹ ni alẹ, kuna ni ipalọlọ ati pe awọn nkan tuntun ko gbejade. Laisi abojuto, awọn alaye “Emi ko mọ” ti ko tọ yoo ti tẹsiwaju fun awọn ọjọ.
Awọn aṣiṣe ti o wọpọ
- Ni itẹlọrun pẹlu "o ṣiṣẹ daradara fun mi": Laisi wiwọn, ifasilẹyin lọ lai ṣe akiyesi.
- Ko ṣe iyasọtọ igbapada ati iran: Iwọ yoo ṣe atunṣe ẹsẹ ti ko tọ ki o padanu akoko.
- Ko beere awọn ibeere pakute: Awọn ifarahan lati ṣe awọn ohun soke ko han ninu iṣupọ goolu.
- Kii ṣe idaniloju Adajọ: Igbimọ alaiṣedeede n funni ni igbẹkẹle eke.
- Ko ṣe abojuto iṣelọpọ: Ikuna atọka, bugbamu idiyele tẹsiwaju ni ipalọlọ.
Ni akojọpọ
- Ni RAG, igbapada ati didara iran jẹ wiwọn lọtọ; O gbọdọ pinnu akọkọ eyi ti ẹsẹ ti bajẹ.
- ranti @ k, precision@k, MRR fun igbapada; Otitọ, ibamu, pipe ni a lo fun iran.
- Iwọn wiwọn kọọkan nilo iṣupọ goolu; Fi gidi, nira, pakute ati awọn ibeere ilodi sinu rẹ.
- LLM-bi-idajọ ti o tobi tosaaju auto-ikun; ṣùgbọ́n a gbọ́dọ̀ dá adájọ́ fúnra rẹ̀ láre lòdì sí ènìyàn.
- Idanwo ipadasẹhin, ibojuwo iṣelọpọ, ati lupu esi kan ṣetọju didara lori akoko.
Ohun elo iṣẹ-ṣiṣe
(1) Ṣẹda ṣeto goolu ti o kere ju awọn ibeere 15 fun oluranlọwọ tirẹ: pẹlu o kere ju awọn ẹgẹ 3 (ko si awọn idahun), 3 nira, awọn ibeere orisun ilodi meji. Kọ idahun ti a reti ati apakan ti o pe fun ibeere kọọkan. (2) Fi ọwọ ṣe afiwe awọn ẹya iyara meji ti o yatọ pẹlu eto yii; Fun idahun kọọkan ni awọn aaye 1-5 fun otitọ ati deede. (3) Mu LLM-bi-idajọ tọ loke si awọn ibeere tirẹ. (4) Ṣe idanimọ awọn metiriki 3 iwọ yoo tọpinpin ni iṣelọpọ ati fun ọkọọkan beere “ni iloro wo ni MO ṣe itaniji?” kọ iye.
akojọ ayẹwo
- [] Mo le wiwọn idaduro ati didara iran pẹlu awọn metiriki lọtọ.
- [] Mo mọ kini awọn metiriki bii recall@k, iṣotitọ tumọ si.
- [] Mo le kọ iṣupọ goolu kan ti o pẹlu gidi, nira, pakute ati awọn ibeere ilodi.
- [] Mo le ṣeto igbelewọn aifọwọyi ati ṣayẹwo adajọ pẹlu LLM-bi-adajọ.
- [] Mo le ṣiṣẹ idanwo ifaseyin, ibojuwo iṣelọpọ ati lupu esi.