Uru:
- Ikike ịmata ihe ndị na-agbachi nkịtị na-akpata mmebi nke ihe nlereanya ahụ (draft data, echiche drift, njehie elu) ma guzobe nleba anya nke atọ (ọrụ, ntinye, mmepụta)
- Ikike iji nyochaa sistemụ LLM n'ọtụtụ ọkwa yana nyocha iwu, LLM-referee na nyocha mmadụ, yana ịhazi ya na arịlịka mmadụ-referee LLM.
- Ikike ị chepụta setịpụ eval nwere ikpe ihu na nchekwa wee tụgharịa njehie nke ọ bụla ejidere ka ọ bụrụ ikpe nnwale na-adịgide adịgide
Ozugbo ihe nlereanya na-abanye na mmepụta, ọrụ gị anaghị arụ ọrụ; Ezigbo ọrụ na-amalite. N'ihi na ihe nlereanya ahụ nwere ike ịda jụụ mgbe ọ dịghị onye na-ele anya. N'ime nkeji a, anyị na-ekpuchi nkuzi abụọ na-akwado: nyocha (n'usoro na-atụle àgwà nke ihe nlereanya) na nlekota (nleba anya mgbe niile nke ihe nlereanya na mmepụta). Karịsịa na sistemụ LLM, eval siri ike ma chọọ nlekọta karịa ML oge gboo.
Ihe mere ụdị mmepụta ahụ ji nwayọọ na-agbaji
Otu ahụhụ daa, ebipụta ndekọ, mkpu na-agbanyụ. Ụdị ML, n'aka nke ọzọ, nwere ike ịdị njọ n'emeghị ka njehie. Ihe atọ na-ebute mbibi:
- Ntugharị data: Nkesa data ntinye na-agbanwe ka oge na-aga (ngwaahịa ọhụrụ, omume onye ọrụ na-agbanwe, oge oge). Ụdị ahụ ka dị otu ma ụwa na-agbanwe.
- Ntụgharị echiche: Mmekọrịta ntinye-mpụta na-agbanwe. Usoro aghụghọ na usoro spam na-amalite; Ihe ziri ezi ụnyaahụ ga-abụ ihe ọjọọ taa.
- Nrụrụ aka elu: Ebe data na-agbanwe usoro, mpaghara na-aghọ n'efu; Ihe nlereanya ahụ na-ada jụụ na ntinye mebiri emebi.
Ịchọgharị na-eme ka a na-anụ ụda mgbagwoju anya ndị a gbachiri nkịtị.
Ihe na-ekiri: atọ oyi akwa
Ezigbo nlekota na-ekpuchi akwa atọ:
- Metiriks ọrụ: Latency, ọnụego mperi, olu arịrịọ, ojiji akụrụngwa. "Sistemụ ahụ ọ na-eguzo?"
- Metiriki data/ntinye: Nkesa ntinye ọ dị ka nke ahụ na ọzụzụ? Ọnụego uru efu abawanyela? Ụdị ọhụrụ abịala? "Ihe nlereanya a ọ na-ahụ data amaara?"
- Ụdị/metric mmepụta: ndekọ nkesa amụma? Enwerela akara ntụkwasị obi? Ma ọ bụrụ na ọ ga-ekwe omume, gịnị bụ izi ezi ma e jiri ya tụnyere eziokwu nke ala? "Ihe nlereanya ahụ ọ ka ziri ezi?"
Nke atọ oyi akwa bụ kasị bara uru ma kasị sie ike; n'ihi na ezigbo nsonaazụ na-abịakarị na igbu oge (ọ na-edo anya mgbe ọnwa gachara ma a ga-akwụghachi mbinye ego ma ọ bụ na a gaghị akwụghachi ya).
NDỤMỌDỤ: Ọ bụrụ n'ezie na-egbu oge, nyochaa ntinye na amụma nkesa. Mgbanwe nke nkesa ntinye bụ ihe nrịbama mbụ nke nbibi ziri ezi ma nwee ike iwelite mkpu na-echeghị nsonaazụ n'ezie.
Nyochaa sistemụ LLM: ihe ịma aka pụrụ iche
Na oge gboo ML, "azịza ziri ezi" doro anya (klas 0 ma ọ bụ 1). Nsonaazụ LLM, n'aka nke ọzọ, bụ nke mepere emepe: enwere ike inwe ọtụtụ azịza ziri ezi maka otu ajụjụ ahụ, "ndozi" adabaghị n'ime otu nọmba. LLM eval na-abịa:
- Metiriks atụnyere aka: Tụnyere mmepụta na azịza dị mma. Oke; n'ihi na ọ nwere ike were azịza ziri ezi ekwuputara n'ụzọ dị iche dị ka "ezighị ezi".
- Nlele ndị dabere na iwu: mmepụta a ọ bara uru JSON? Enwere okwu amachibidoro? Ọ nwere mpaghara achọrọ? Dị ọnụ ala, ntụkwasị obi, siri ike.
- LLM-onye ọka ikpe (LLM-dị ka onye ikpe): Emela ka ihe atụ jụọ "ọzịza a ọ dị mma dịka akara a si dị?" Ọ na-atụ ọnụ, mana a ga-enyocharịrị onye ọka ikpe n'onwe ya.
- Nyocha mmadụ: Ọkọlọtọ ọla edo mana ọnụ na nwayọ. A na-eji ya na sample.
Na omume na-eji ndị a ọnụ: ọnụ ala iwu elele na onye ọ bụla mmepụta, LLM-ekpe ikpe na a nnukwu sample, mmadụ nwale on a obere ma siri ike sample.
Ụzọ adịghị ike / Ụzọ siri ike
Adịghị ike: "LLM-M jụrụ onye ọka ikpe, 92% nke azịza anyị dị mma. Usoro ahụ dị mma."
Güçlü: "Anyị mbụ mmadụ-labeled 100 printouts. Anyị na-agba ọsọ LLM-onyeikpe na otu 100 printouts na tụrụ mmadụ-ikpe nkwekọrịta - 85% nkwekọrịta, na-anabata. Anyị na-ede akwụkwọ ebe onye ikpe n'usoro wee na-ezighị ezi (a ọchịchọ ịchọta ogologo azịza na-ezighị ezi) na edozi ya ngwa ngwa. Naanị mgbe ahụ ka anyị tụkwasịrị onye ikpe ahụ obi. "
Ihe dị iche: ụzọ siri ike na-eme ka onye na-atụgharị ya na arịlịka mmadụ, ọ bụghị na-ekpuchi anya. Onye ọka ikpe LLM na-enyochabeghị na-enye ọmarịcha ọmarịcha mana ntụkwasị obi ụgha.
Ntị: LLM-referee bụkwa ihe nlereanya; hallucinogenic, ele mmadụ anya n'ihu (na-anabata azịza ogologo / ntụkwasị obi), nwere ike ịbụ ekwekọghị ekwekọ. Calibrate onye ọka ikpe nwere akara mmadụ tupu eme mkpebi mmepụta.
Ntọala nyocha: ejiri nlezianya mee ya
Ezi ntọala eval na-anọchi anya ụdị ojiji dị iche iche nke ezigbo ojiji yana ikpe siri ike. Eval nke jupụtara na naanị ihe atụ dị mfe ga-ahapụ gị n'enweghị ntụkwasị obi ụgha. Jide n'aka na itinye ya na ụyọkọ eval:
- Okwu ihu: Ntinye efu, ntinye ogologo dị ogologo, usoro pụrụ iche.
- Ọnọdụ siri ike mara amara: Ihe atụ ebe ihe nlereanya ahụ mehiere n'oge gara aga (dị ka ule nlọghachi).
- Ihe omume nchekwa: Mgbalị ịgba ọgwụ ozugbo, arịrịọ ọjọọ, ọnyà mebiri nzuzo.
Ụyọkọ eval na-eto ka oge na-aga: ahụhụ ọhụrụ ọ bụla ị nwetara na mmepụta ga-abụ ihe nlele maka nyocha na-esote.
Mkpu na ntinye aka
Nleba anya ka ezughị oke na-enweghị mkpu. Ekwesịrị inwe ọnụ ụzọ na atụmatụ nzaghachi maka metric ọ bụla dị mkpa: "Gwa injinia mara ma ọ bụrụ na ntinye ntinye gafere X", "Ntugharị na-akpaghị aka ma ọ bụrụ na ọnụego mperi gafere Y". Debe mkpu ka ọ bara uru - ọtụtụ mkpu ụgha na-eme ka ndị otu ahụ ghara inwe mmetụta ma mee ka ha tufuo ezigbo mkpu.
Obere ikpe atọ
Ikpe 1 - ịdọ aka ná ntị mbụ. Ezi izi ezi nke ụdị amụma ihe achọrọ pụtara naanị na ngwụcha izu. Ndị otu ahụ na-enyocha nkesa ntinye wee hụ ịrị elu na mberede nke ụdị ngwaahịa ọhụrụ na Tuesday - ihe ihe nlereanya ahụ ahụbeghị. Ha emelitere ihe nlereanya na-echeghị maka ọdịda ziri ezi. Ụbọchị echekwara ntinye ntinye.
Ikpe 2 - onye ọka ikpe na-akwadoghị. Otu otu kwuru na "mma anyị mara oke mma" dabere na onye nyocha LLM. Mgbe mkpesa ndị ahịa na-abawanye, e webatara nlekota mmadụ: onye na-ekpe ikpe ahụ weere obi ike ma azịza na-ezighị ezi dị ka "ezigbo." Ozugbo ejiri mkpado mmadụ dezie onye ọka ikpe ahụ, ekpughere ezigbo àgwà ya ma dị obere. Ihe nkuzi: atụkwasịla onye ọka iwu ntụkwasị obi na-enyochaghị ya.
Ikpe 3 - Nnwale nlọghachi azụ. Mgbanwe ozugbo mere otu okwu ma na-agbaji nke ọzọ. Mana otu ahụ debere ahụhụ gara aga na bọket eval; Mgbe a nwalere mgbanwe ọhụrụ na ụyọkọ a, a na-ejide ikpe gbajiri ozugbo ma dozie mgbanwe ahụ. Ihe nkuzi: ahụhụ ọ bụla edoziri kwesịrị ịbụ ikpe ule na-adịgide adịgide.
Ụdị ndebiri nwere ike iṅomi
Mepụta atụmatụ nsochi maka ụdị mmepụta a. Kpuchie akwa akwa atọ: 1) Ọrụ (latency, ọnụego njehie, olu) 2) Ntinye / data (ngbanwe nkesa, uru efu, ụdị ọhụrụ) 3) Nlereanya / mmepụta (nkesa amụma, ntụkwasị obi, izi ezi ma ọ bụrụ na ọ ga-ekwe omume) Nlereanya: [nkọwa]. Ogologo oge ole ka ọ na-ewe tupu nsonaazụ ya bịarute: [ogologo oge] Tinye ntinye na ntinye aka maka metrik ọ bụla.
Tụpụta atụmatụ nyocha (eval) maka sistemụ LLM a. Ọrụ: [nkọwa] Kpebisie ike n'ígwé: - Kedu akwụkwọ nyocha nke dabeere na iwu kwesịrị ịgba ọsọ na mmepụta ọ bụla?
Lelee ngwa ngwa LLM-referee a: - Ntụle nyocha ọ doro anya ka ọ bụ nke onwe? - Ọ na-adị ogologo ogologo / enweghị ntụkwasị obi? - Kedu otu m ga-esi jiri mkpado mmadụ mee ka onye ọka ikpe?
Dee akwụkwọ nzaghachi maka mkpu nleba anya a. Mkpu: [dịka ọmụmaatụ. Ntinye mbugharị gafere gafere] Ga-enwerịrị: usoro njikwa mbụ, ihe nwere ike ime, njirisi nlọghachi, onye ga-agwa.
Mbelata na-akpata tebụl
agbagọ
akara
Ụzọ iji chọpụta n'oge
mkpafu data
Mgbanwe nkesa ntinye
Nlebanya nkesa ntinye
mgbanwe echiche
Ezi omume na-ada na nkịtị
Amụma + ntụnyere n'ezie
njehie elu
Oghere ga-aghọ ohere efu/mgbanwe usoro
Nkwado atụmatụ + ọnụego efu
Enweghị nkwekọ n'ụdị
Mgbanwe nkesa mmepụta
Nlebanya nkesa mmepụta
Mmejọ ndị nkịtị
- Ọ bụghị na-eguzobe nlekota oru. Ihe nlereanya ahụ na-agbaji nwayọọ nwayọọ, ọ dịghị onye na-ahụ ya.
- Soro naanị metrik arụ ọrụ. Usoro ahụ dị elu, mana amụma nwere ike ịdị njọ.
- Iji LLM na-akwadoghị onye ọka ikpe. Ọ na-enye obi ike ụgha.
- Eval nwere ihe atụ dị mfe. Ọ naghị egosi ezigbo ihe isi ike.
- Agụnyeghị mperi ndị gara aga na eval. Otu njehie ahụ na-alaghachi ọzọ.
- Mkpu mkpu. Ndị otu ahụ na-enwe nkụda mmụọ, na-efunahụ ezigbo mkpu.
Na nchịkọta
Ụdị ahụ nwere ike ịbụ ihe na-ezighị ezi n'emeghị ka njehie na mmepụta; ya mere eval na nlekota oru dị oke mkpa dị ka mmepe. Mepụta nlekota oru na ọkwa atọ (ọrụ, ntinye, mmepụta); Jiri ntinye ntinye dị ka ịdọ aka ná ntị mbụ ma ọ bụrụ na arụpụtaghị ihe na-egbu oge. Na sistemụ LLM, eval na-emeghe; Jiri nlele iwu, LLM-referee, na nyocha mmadụ ọnụ - mana jide n'aka na ị ga-eji arịlịka mmadụ kwadoo onye ọka iwu LLM. Mee ka ụyọkọ Eval gị nwee ihu na nchekwa ma tụgharịa njehie ọ bụla enwetara ka ọ bụrụ ikpe ule na-adịgide adịgide.
Ọrụ ngwa
Dee atụmatụ nleba anya nke oyi akwa atọ maka ụdị mmepụta (ma ọ bụ nso-mmepụta) ma kọwaa ọnụ ụzọ + mkpu maka opekata mpe otu metric ntinye-nkesa. Ọ bụrụ na ị nwere usoro LLM: kpado 30 mmepụta na mmadụ, mee ọsọ ọsọ LLM-referee n'otu ihe ahụ, ma tụọ nkwekọrịta mmadụ-onye na-ekpe ikpe; Rịba ama nhụsianya n'usoro nke onye ọka iwu. Tinye opekata mpe akụkụ 3 na ikpe nchekwa 2 na ụyọkọ eval gị.
ndetu
- [] Nleba anya na-ekpuchi ọkwa atọ niile (ọrụ, ntinye, mmepụta).
- [ ] M na-eji ntinye ntinye dị ka ịdọ aka ná ntị mbụ ma ọ bụrụ na arụpụtaghị ihe n'egbughị oge.
- [ ] Eji m akara mmadụ mee ka onye na-ekpe ikpe LLM.
- [] Ụyọkọ Eval nwere ikpe ihu na nchekwa.
- [ ] M tụgharịrị ahụhụ ọ bụla m jidere ka ọ bụrụ ikpe ule na-adịgide adịgide.
- [] metrik ọ bụla dị mkpa nwere atụmatụ ụzọ na nzaghachi.