Awọn anfani:
- Agbara lati ṣe idanimọ awọn idi ipalọlọ ti ibajẹ ti awoṣe (fiseete data, fiseete ero, aṣiṣe oke) ati iṣeto ibojuwo mẹta-Layer (isẹ, titẹ sii, iṣelọpọ)
- Agbara lati ṣe iṣiro awọn ọna ṣiṣe LLM ni awọn ipele pupọ pẹlu awọn sọwedowo ofin, LLM-referee ati igbelewọn eniyan, ati iwọn pẹlu LLM-referee oran eniyan
- Agbara lati ṣe apẹrẹ eto eval ti o ni eti ati awọn ọran aabo ati yi aṣiṣe kọọkan mu sinu ọran idanwo ayeraye
Ni kete ti awoṣe ba lọ sinu iṣelọpọ, iṣẹ rẹ ko ṣe; Ojuse gidi kan bẹrẹ. Nitoripe awoṣe le dakẹjẹ ṣubu nigbati ko si ẹnikan ti n wo. Ninu ẹyọ yii, a bo awọn ilana ibaramu meji: igbelewọn (iwọn wiwọn didara awoṣe ni ọna ṣiṣe) ati ibojuwo (abojuto igbagbogbo ti awoṣe ni iṣelọpọ). Paapa ni awọn eto LLM, eval jẹ iṣoro diẹ sii ati pe o nilo itọju diẹ sii ju ML kilasika lọ.
Kini idi ti awoṣe iṣelọpọ ti n fọ laiparuwo
Kokoro kan kọlu, awọn iwe-ipamọ ti tẹ jade, itaniji lọ ni pipa. Awoṣe ML, ni apa keji, le jẹ aṣiṣe laisi fa awọn aṣiṣe. Awọn idi pataki mẹta ti ibajẹ:
- Gbigbe data: Pipin data titẹ sii yipada lori akoko (awọn ọja tuntun, iyipada ihuwasi olumulo, akoko). Awoṣe naa wa kanna ṣugbọn agbaye yipada.
- Gbigbe ero: Ibasepo igbewọle-jade yipada. Awọn ilana ẹtan ati awọn ilana àwúrúju ti dagbasoke; Ohun ti o tọ lana yoo jẹ aṣiṣe loni.
- Ibajẹ ti oke: orisun data kan yipada ọna kika, agbegbe kan di ọfẹ; Awoṣe naa ni ipalọlọ silẹ pẹlu titẹ sii ibajẹ.
Ṣiṣawari n jẹ ki awọn ipalọlọ ipalọlọ wọnyi gbọ.
Kini lati wo: awọn ipele mẹta
Abojuto to dara ni wiwa awọn ipele mẹta:
- Awọn metiriki iṣẹ: Lairi, oṣuwọn aṣiṣe, iwọn didun ibeere, lilo awọn orisun. "Ṣe eto naa duro?"
- Awọn metiriki data/igbewọle: Njẹ pinpin igbewọle jẹ iru iyẹn ni ikẹkọ bi? Njẹ oṣuwọn iye ti o padanu ti pọ si? Njẹ awọn ẹka tuntun ti de? “Ṣe awoṣe naa n rii data ti o faramọ?”
- Awoṣe/awọn metiriki igbejade: Akọọlẹ pinpin asọtẹlẹ bi? Ṣe awọn ikun igbẹkẹle ti lọ silẹ? Ati pe ti o ba ṣeeṣe, kini deede ni akawe si otitọ ilẹ? "Ṣe awoṣe naa tun jẹ deede?"
Layer kẹta jẹ iye julọ ṣugbọn o nira julọ; nitori abajade gidi nigbagbogbo wa pẹlu idaduro (o han lẹhin awọn oṣu boya awin kan yoo san tabi rara).
Imọran: Ti abajade gangan ba ni idaduro, ṣe atẹle titẹ sii ati pinpin asọtẹlẹ ni akọkọ. Yiyi pinpin igbewọle jẹ ami ibẹrẹ ti ibajẹ deede ati pe o le gbe itaniji soke laisi iduro fun abajade gangan.
Iṣiro awọn ọna ṣiṣe LLM: ipenija pataki
Ni kilasika ML, "idahun to pe" jẹ kedere (kilasi 0 tabi 1). Abajade LLM, ni ida keji, wa ni ṣiṣi: ọpọlọpọ awọn idahun ti o peye le wa si ibeere kanna, “atunse” ko baamu si nọmba kan. LLM awọn isunmọ eval:
- Awọn metiriki itọkasi: Ṣe afiwe abajade si idahun to dara julọ. Lopin; nitori o le ro idahun ti o pe ti a sọ ni iyatọ bi "aṣiṣe".
- Awọn sọwedowo ti o da lori awọn ofin: Njẹ iṣelọpọ wulo JSON bi? Ṣe awọn ọrọ ti a gbesele eyikeyi wa? Ṣe o ni awọn aaye ti o fẹ ninu? Olowo poku, gbẹkẹle, ju.
- LLM-onidajọ (LLM-bi-adajọ): Maa ko ṣe a awoṣe a beere "yi idahun dara ni ibamu si yi ami?" O ṣe iwọn, ṣugbọn agbẹjọro funrararẹ gbọdọ rii daju.
- Atunwo eniyan: Iwọn goolu ṣugbọn gbowolori ati o lọra. O ti lo lori apẹẹrẹ.
Ni asa awọn wọnyi ti wa ni lilo pọ: poku ofin sọwedowo lori kọọkan o wu, LLM-adajo lori kan ti o tobi ayẹwo, eda eniyan igbelewọn lori kan kekere sugbon nira ayẹwo.
Ọna ti ko lagbara / Ona ti o lagbara
Ailagbara: "LLM-Mo beere lọwọ apaniyan, 92% ti awọn idahun wa dara. Eto naa dara."
Güçlü: "A akọkọ eda eniyan-aami 100 printouts. A ran awọn LLM-onidajọ lori kanna 100 printouts ati ki o won eda eniyan-onidajọ adehun - 85% adehun, itewogba. A ni akọsilẹ ibi ti awọn onidajọ letoleto lọ ti ko tọ (iṣafihan lati ri gun idahun unfairly ti o dara) ati ki o wa titi rẹ kiakia. Nikan ki o si ni a gbẹkẹle onidajọ. "
Iyatọ naa: ọna ti o lagbara ṣe idaniloju oniduro pẹlu oran eniyan, kii ṣe afọju. Agbẹjọro LLM ti a ko rii daju n funni ni wiwo ti o wuyi ṣugbọn igbẹkẹle eke.
Akiyesi: LLM-referee jẹ tun kan awoṣe; hallucinogenic, abosi (awọn ojurere gun / awọn idahun ti o ni igbẹkẹle), le jẹ aisedede. Calibrate referee ikun pẹlu awọn afi eniyan ṣaaju ṣiṣe awọn ipinnu iṣelọpọ.
Eto igbelewọn: fara apẹrẹ
Eto eval ti o dara duro fun ọpọlọpọ lilo gidi ati awọn ọran ti o nira. Eval ti o kun pẹlu awọn apẹẹrẹ irọrun yoo fi ọ silẹ ni igbẹkẹle eke. Rii daju lati fi sii sinu iṣupọ eval:
- Awọn ọran eti: Iṣagbewọle ofo, igbewọle gigun pupọ, ọna kika dani.
- Awọn ọran lile ti a mọ: Awọn apẹẹrẹ nibiti awoṣe ti ṣe awọn aṣiṣe ni igba atijọ (gẹgẹbi idanwo ipadasẹhin).
- Awọn iṣẹlẹ aabo: Awọn igbiyanju abẹrẹ kiakia, awọn ibeere irira, awọn ẹgẹ irufin ikọkọ.
Iṣupọ eval n dagba ni akoko pupọ: kokoro tuntun kọọkan ti o mu ni iṣelọpọ di ọran idanwo fun igbelewọn atẹle.
Itaniji ati idasi
Abojuto ṣi wa ni pipe laisi itaniji. O yẹ ki ẹnu-ọna ati ero idahun kan wa fun metiriki pataki kọọkan: “Fi leti ẹlẹrọ ti o ba ti fiseete titẹ sii ju X”, “Yipo laifọwọyi ti oṣuwọn aṣiṣe ba kọja Y”. Jeki awọn itaniji ni itumọ - ọpọlọpọ awọn itaniji eke jẹ ki ẹgbẹ naa jẹ ki wọn padanu itaniji gidi.
mẹta mini igba
Case 1 - Tete Ikilọ. Iṣe deede otitọ ti awoṣe asọtẹlẹ eletan kan han gbangba ni opin ọsẹ. Ẹgbẹ naa n ṣe abojuto pinpin igbewọle ati rii igbega lojiji ti ẹya ọja tuntun ni ọjọ Tuesday kan - nkan ti awoṣe ko tii rii. Wọn ṣe imudojuiwọn awoṣe laisi iduro fun sisọ deede. Abojuto igbewọle ti o fipamọ awọn ọjọ.
irú 2 - Unverified referee. Ẹgbẹ kan royin “didara wa dara julọ” ti o da lori oluyẹwo LLM. Nigbati awọn ẹdun ọkan alabara pọ si, ibojuwo eniyan ti ṣafihan: agbẹjọro naa ka igboya ṣugbọn awọn idahun ti ko tọ bi “dara.” Ni kete ti a ti ṣe iwọn oniduro pẹlu awọn aami eniyan, didara otitọ ti ṣafihan ati pe o kere pupọ. Ẹkọ: maṣe gbẹkẹle adajọ laisi ijẹrisi rẹ.
Ọran 3 - Idanwo ifasẹyin. Iyipada kiakia kan yanju ọrọ kan lakoko ti o n fọ omiran ni ipalọlọ. Ṣugbọn awọn egbe pa ti o ti kọja idun ni eval garawa; Nigbati iyipada tuntun ti ni idanwo lori iṣupọ yii, ọran ti o fọ ni a mu lẹsẹkẹsẹ ati pe iyipada naa wa titi. Ẹkọ: gbogbo kokoro ti o wa titi yẹ ki o di ọran idanwo ayeraye.
Awọn awoṣe idakọ
Ṣe agbejade ero ipasẹ fun awoṣe iṣelọpọ yii. Bo awọn ipele mẹta: 1) Iṣẹ-ṣiṣe (lairi, oṣuwọn aṣiṣe, iwọn didun) 2) Input / data (iyipada pinpin, iye ti o padanu, ẹka titun) 3) Awoṣe / abajade (pinpin asọtẹlẹ, igbẹkẹle, deede ti o ba ṣeeṣe) Awoṣe: [apejuwe]. Bawo ni o ṣe pẹ to fun abajade gangan lati de: [akoko] Ṣafikun ala ati iṣeduro idasi fun metiriki kọọkan.
Ṣe imọran ilana igbelewọn (eval) fun eto LLM yii. Iṣẹ-ṣiṣe: [apejuwe] Ṣe ipinnu awọn ipele: - Awọn sọwedowo ti o da lori ofin wo ni o yẹ ki o ṣiṣẹ lori abajade kọọkan?
Ṣayẹwo itọsẹ-referee LLM yii: - Ṣe awọn ilana igbelewọn ko o tabi ti ara-ara? - Ṣe o ni itara si gigun / aiṣojusọna igbẹkẹle bi? - Bawo ni MO ṣe ṣe calibrate referee pẹlu awọn aami eniyan?
Kọ iwe idahun idahun fun itaniji ibojuwo yii.Itaniji: [fun apẹẹrẹ. ẹnu-ọna fiseete titẹ sii ti kọja] Gbọdọ ni: awọn igbesẹ iṣakoso akọkọ, awọn idi ti o ṣeeṣe, awọn ibeere yipo pada, tani lati sọ fun.
Idibajẹ fa tabili
ipalọlọ
aami aisan
Ona lati tete erin
fiseete data
Awọn iyipada pinpin igbewọle
Input pinpin monitoring
ayipada ero
Ododo ṣubu ni ipalọlọ
Asọtẹlẹ + gangan lafiwe
aṣiṣe oke
Awọn aaye di ofo / awọn iyipada ọna kika
Afọwọsi ero + oṣuwọn sonu
Aiṣedeede awoṣe
Awọn iyipada pinpin jade
O wu pinpin monitoring
Awọn aṣiṣe ti o wọpọ
- Ko idasile monitoring. Awoṣe naa ṣubu ni idakẹjẹ, ko si ẹnikan ti o rii.
- Tọpa awọn metiriki iṣẹ nikan. Eto naa ti wa ni oke, ṣugbọn awọn asọtẹlẹ le jẹ aṣiṣe.
- Lilo LLM laisi idaniloju adari. O fun eke igbekele.
- Eval pẹlu awọn apẹẹrẹ ti o rọrun. Ko ṣe afihan iṣoro gidi.
- Ko pẹlu awọn aṣiṣe ti o kọja ni eval. Aṣiṣe kanna tun pada.
- Awọn itaniji ti npariwo. Ẹgbẹ naa di aibikita, nsọnu itaniji gidi.
Ni akojọpọ
Awọn awoṣe le jẹ aiṣedeede lai fa awọn aṣiṣe ni iṣelọpọ; nitorina eval ati ibojuwo jẹ pataki bi idagbasoke. Ṣeto ibojuwo ni awọn ipele mẹta (iṣiṣẹ, titẹ sii, iṣelọpọ); Lo fiseete titẹ sii bi ikilọ kutukutu ti abajade gangan ba ni idaduro. Ninu awọn ọna ṣiṣe LLM, eval jẹ ṣiṣi-ipari; Lo awọn sọwedowo ofin, LLM-referee, ati igbelewọn eniyan papọ - ṣugbọn rii daju pe o fọwọsi agbẹjọro LLM pẹlu oran eniyan kan. Ṣe alekun iṣupọ Eval rẹ pẹlu eti ati awọn ọran aabo ati yi gbogbo aṣiṣe ti a mu sinu ọran idanwo ayeraye.
Ohun elo iṣẹ-ṣiṣe
Kọ ero ibojuwo mẹta-mẹta fun awoṣe iṣelọpọ (tabi isunmọ-igbejade) ati ṣalaye ala-ilẹ + itaniji fun o kere ju metiriki igbewọle-pinpin kan. Ti o ba ni eto LLM kan: tag awọn abajade 30 pẹlu eniyan, ṣiṣẹ LLM-referee lori awọn abajade kanna, ki o si wiwọn adehun eniyan-referee; Ṣe akiyesi ojuṣaaju eleto. Ṣafikun o kere ju awọn egbegbe mẹta ati awọn ọran aabo 2 si iṣupọ eval rẹ.
akojọ ayẹwo
- [] Abojuto ni wiwa gbogbo awọn ipele mẹta (iṣiṣẹ, titẹ sii, iṣẹjade).
- [] Mo lo fifa titẹ sii bi ikilọ kutukutu ti abajade gangan ba ni idaduro.
- [] Mo calibrated LLM-arbitrator pẹlu eda eniyan aami.
- [] Iṣupọ Eval ni eti ati awọn ọran aabo ninu.
- [] Mo ti yi gbogbo kokoro ti mo mu sinu apoti idanwo titilai.
- [] Metiriki pataki kọọkan ni iloro ati ero idahun.