Nhọrọ Nlereanya: Nlereanya ziri ezi maka ọrụ ziri ezi — API, Ọnụ na Mgbakwunye

Uru:

Nwere ike iji ezinaụlọ atụnyere (ngwa ngwa/nhazi/ike) na ike, ọsọ na ọnụ ahịa
Na-echepụta ụdị nhọrọ na usoro ụzọ dị ka mgbagwoju anya ọrụ siri dị
Ntọala nhọrọ nlereanya na ihe akaebe nwere obere ihe nlele

Otu mkpebi na-ekpebi ihe kacha mma maka ego gị na ịdịmma gị na ntinye LLM bụ ụdị ị na-eji. Ntugharị nkịtị bụ "họrọ ihe nlereanya kachasị ike"; Agbanyeghị, nke a na-apụtakarị ụgwọ na igbu oge na-enweghị isi. Ụzọ ziri ezi bụ ịhọrọ ụdị kachasị mfe nke na-arụ ọrụ ọ bụla ma dabere na nhọrọ ahụ na nha, ọ bụghị ịkọ nkọ. N'ime nkeji a, ị ga-atụnyere ezinaụlọ ihe atụ n'ikike/ọsọ/ọnụ axis, guzobe usoro ịkwọgharị ihe nlegharị anya dịka mgbagwoju anya ọrụ siri dị, wee gosipụta nhọrọ ahụ na obere nyocha.

Ịghọta Ezinụlọ Nlereanya

Ndị na-enye ihe n'ozuzu na-enye klas atọ: ngwa ngwa / ọnụ ala, kwụsiri ike na ike. A na-achịkọta mmekọrịta dị n'etiti ha na axes atọ: ikike (ike iji dozie ọrụ ndị siri ike), ọsọ (latency), ego (ọnụahịa token).

klas

ihe atụ

talent

ọsọ

Ọnụ

Ọrụ ndị dị

ngwa ngwa

Haiku 4.5

ọkara

nke ukwuu

ala

Nhazi, ntinye aha, nchịkọta nkenke, nhazi

guzozie eguzozie

sonnet 5

elu

ọkara

Nzube izugbe, nzuzo, ntinye ọtụtụ nzọụkwụ, ọtụtụ ndị ọrụ na-arụ ọrụ

ike

Ngwa ngwa 4.8

kacha elu

ọkara

elu

Echiche mgbagwoju anya, ọrụ ndị kwụụrụ onwe ha ogologo oge, nyocha siri ike

Nghọta dị oke mkpa: ụdị dị ike karị adịghị arụ ọrụ nke ọma na ọrụ ọ bụla. Na akara "ngwa ngwa ma ọ bụ na ọ bụghị" dị mfe, ihe nlereanya siri ike na ngwa ngwa na-enye otu azịza ziri ezi; naanị ihe dị iche bụ na ndị dị ike bụ 5 ugboro karịa ọnụ na nwayọọ nwayọọ. Talent ọzọ na-arụpụta uru naanị mgbe ozi chọrọ ya.

Nzọụkwụ site nzọụkwụ: Olee otú ịhọrọ a nlereanya?

Hazie ọrụ ahụ. Ọ bụ ihe na-emekarị/ụdị (ịkpọ aha, inference), ma ọ bụ meghere njedebe/ọtụtụ nzọụkwụ (nyocha, atụmatụ, koodu)?
Malite na onye kacha dị mfe. Gbalịa ya na ihe nlereanya ngwa ngwa. Ọ bụrụ na nke ahụ ezuola, kwụsị.
Ọ bụrụ na ezughị oke, gaa na klas dị elu. Ọ bụrụ na izi ezi dị ala, gaa na nke ziri ezi, ọ bụrụ na nke ahụ ezughị, gaa na nke siri ike.
Tulee, echela. Tụlee izi ezi na ọnụ ahịa onye ọ bụla na-azọ ọkwa ya na obere eval (n'okpuru).
Hazie ntụgharịgharị. Kama ijikọ na otu ụdị, kesaa ọrụ ahụ na ihe nlereanya ziri ezi na "router".

Ntugharị Model

Ezigbo ọrụ na-agwakọta: ọtụtụ arịrịọ na-abata dị mfe, ụfọdụ siri ike. Ọ bụ ihe efu iziga ha niile na ụdị dị ike; Izipu ha niile na ụdị ngwa ngwa na-ebelata mma. Ntugharị na-edozi nke a: ụdị ọnụ ala (ma ọ bụ iwu dị mfe) na-ekewa ọrụ ahụ na mbụ, mgbe ahụ, ọrụ ahụ na-aga na ụdị kwesịrị ekwesị.

# Router ozugbo (na-arụ ọrụ na ụdị dị ọnụ ala) Kewaa arịrịọ na-abata dị ka isi ike ya si dị. Weghachite naanị JSON ndị a:{"ihe isi ike":"simple|mgbagwoju anya"}Mfe: otu nzọụkwụ, usoro, nkenke-azịza. Mgbagwoju anya: chọrọ echiche ọtụtụ nzọụkwụ, nyocha, ma ọ bụ ogologo ọgbọ. Arịrịọ: """"{{request}}""

gaa na mfe → ngwa ngwa nlereanya (dị ọnụ ala, ngwa ngwa).
gaa na mgbagwoju anya → ụdị dị ike (dị ọnụ mana ọ dị mkpa).

Ụkpụrụ a na-ebelata nke ọma nkezi ọnụ ahịa n'ihi na ọtụtụ n'ime okporo ụzọ na-adịkarị mfe.

Ndụmọdụ: Mkpebi ntinye aka anaghị achọ LLM mgbe niile. Iwu dị mfe dị ka "Gaa na ụdị ngwa ngwa ma ọ bụrụ na ederede na-erughị okwu 20" bụkwa onye ndu ma weta ọnụ ahịa akara ngosi efu. Gbalịa buru ụzọ nwaa iwu.

Nhọrọ Njikọ na Akaebe: Obere ụyọkọ Eval

Achọla ihe nlereanya dabere na "ọ dị m mma". Eval (ntụle nyocha) bụ obere ihe nlele nke ejiri mara azịza ziri ezi maka ya; ị na-eme ihe nlereanya ọ bụla na ntọala a wee tụọ izi ezi, ọnụ ahịa, na ịnwụghị.

# Eval setup template1) Anakọta 20-50 ezigbo ihe atụ, aka dee "azịza ziri ezi" na nke ọ bụla.2) Na-agba ọsọ ọ bụla nlereanya (ngwa ngwa / ziri ezi / ike) na nke a set.3) N'ihi na nke ọ bụla nlereanya: ọnụ ọgụgụ nke corrects, nkezi throughput tokens, na-eri kwa arịrịọ, nkezi oge.4) Họrọ ihe nlereanya na "na-enye zuru ezu ziri ezi dị ọnụ ala".

# Eval ntụnyere tebụl (jupụta) Model | Izi ezi | Ọnụ maka arịrịọ | Nkezi ogeHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ... sk

Ngwa ngwa adịghị ike / siri ike (mkpebi nhọrọ ụdị)

# WEAK (enweghị ndabere maka mkpebi)Ka anyị jiri ụdị kachasị mma, mmefu ego adịghị mkpa.

# IKE (mkpebi dabere na nha) N'ihe nlele 50, Haiku nyere izi ezi 96%, Sonnet nyere 97% ziri ezi; Ihe dị iche bụ ọnụ ọgụgụ na-abaghị uru. A họọrọ Haiku n'ihi na ọ dị okpukpu ise dị ọnụ ala yana ugboro abụọ ngwa ngwa. Ọ bụrụ na izi ezi daa n'okpuru 95%, a ga-eme mkpebi ịkwalite na Sonnet na-akpaghị aka.

Ụdị dị ike; na-ejikọta nhọrọ ahụ na ọnụọgụgụ, ọnụ ụzọ, na iwu mmụba. Nke a na-agbachitere mkpebi nke taa ma na-achịkwa mgbanwe n'ọdịnihu.

Obere obere atọ

Ikpe 1 - Gbanahụ n'ụdị ike karịrị akarị. Ebe a na-akpọ oku nọ na-ewepụta mkparịta ụka niile na Opus; ụgwọ ọnwa dị elu. Na 40-sample eval, Sonnet nọ 1% n'azụ Opus na izi ezi mana ọ na-efu otu ụzọ n'ụzọ atọ. Ha bufere ọrụ nchịkọta na Sonnet; Ọnụ ego kwa ọnwa gbadara site na $9,000 ruo $3,100, na-enweghị mkpesa dị mma.

Ikpe 2 - Ngwakọta okporo ụzọ na redirection. 80% nke arịrịọ ndị otu teknụzụ iwu kwadoro bụ mkpado akwụkwọ dị mfe, 20% bụ nyocha nkwekọrịta dị mgbagwoju anya. Ha na-ezigara ha niile na ụdị dị ike. Ha gbakwunyere rawụta dị ọnụ ala ma kesaa ọrụ dị mfe na Haiku na ọrụ mgbagwoju anya na Opus; Ọnụ ego arịrịọ gbadara 64%, ebe a na-edobe ogo nyocha.

Ikpe 3 - Ọnụ ego nke ibelata na-enweghị atụ. Iji belata ọnụ ahịa, otu otu belatara mwepu koodu ahụike siri ike ozugbo na ụdị ngwa ngwa; Ha abaghị uru. Na ndụ, izi ezi gbadara site na 92% ruo 78%, na-ebute nloghachi nke ntinye ezighi ezi. Ha ga-ebu ụzọ mebie: ọrụ ahụ chọrọ ihe nlereanya dị ike. Ihe nkuzi: ma mbelata na elu ka a na-eme site na nha.

Mmejọ ndị nkịtị

Ihe nlere anya "ihe nlereanya kachasị ike": n'efu na igbu oge na-enweghị isi na ọrụ dị mfe.
Ịgbanwe ihe nlereanya na-enweghị atụ: Mbelata na mgbasawanye dị ize ndụ na-enweghị eval.
Ikpọchi n'ime otu ụdị: Ntugharị na okporo ụzọ agwakọtara na-adịkarị mma karịa.
Na-emehie router mgbe niile maka LLM: Iwu dị mfe nwere ike ịrụ ọrụ na efu efu.
Ọ bụghị ịtọlite ọnụ ụzọ nkwalite: Kedu ihe ga-eme ma ọ bụrụ na ọ dabara nke ọma kwesịrị ịkọwapụta tupu oge eruo.
Ọ bụghị idozi ụdị ụdị: Dekọọ ụdị/ụdị ị na-arụ ọrụ na mmepụta; Mgbanwe ụdị nwere ike ịgbanwe omume.

Dị omimi: Ọnwụnwa na-abawanye na Eval na-adịgide adịgide

Nhọrọ ụdị abụghị mkpebi otu oge. Ndị na-enye ihe na-ewebata ụdị ọhụrụ, mgbanwe ọnụahịa, nkọwa ọrụ gị na-apụta. Ya mere, guzobe ụyọkọ eval otu ugboro ma echefula; jide ya ka ihe dị ndụ. Mgbe ihe nlereanya ọhụrụ pụtara, ị na-agba otu ihe ahụ 20-50 samples site na ya, melite tebụl ma mee mkpebi gị ọzọ. Nke a na-echebe gị pụọ na ọnyà "ụkpụrụ na-agbanwe agbanwe".

Usoro nke abụọ dị elu bụ usoro ọdịda / cascade. Ị na-enye ọrụ ahụ na ihe nlereanya dị ọnụ ala mbụ; Ọ bụrụ na mmepụta ahụ nwere ntụkwasị obi dị ala ma ọ bụ oyi akwa nkwenye (nkeji 11) jụrụ ya, ị na-ebuli otu arịrịọ ahụ. Ya mere, a na-edozi ọtụtụ n'ime okporo ụzọ na ụdị dị ọnụ ala, na naanị ndị fọdụrụnụ na-aga na ụdị dị oke ọnụ. Nke a dị ọnụ ala ma dịkwa ogologo karịa usoro a kapịrị ọnụ nke otu ụdị.

Isi ihe nke atọ bụ na eval na-agụnye ọ bụghị naanị izi ezi kamakwa ọnụ ahịa na latency. Ọ bụrụ na ihe nlereanya bụ 1% ziri ezi ma 3 ugboro karịa ọnụ na 2 ugboro nwayọọ nwayọọ, ahia-apụ abaghị uru maka ọtụtụ ọrụ. Mee mkpebi ahụ n'akụkụ anyụike atọ (nkenke, ọnụ ahịa, nkwụsị) wee kọwapụta “ọnụ ụzọ zuru oke”: “ọ bụrụ na izi ezi dị n'elu 95%, họrọ nke kacha ọnụ ala.”

N'ikpeazụ, dekọọ ụdị/ụdị ị jiri na mmepụta. Ọ bụrụ na otu ụbọchị mmepụta àgwà gbanwere, ihe mbụ ị ga-ele anya bụ ma ụdị ụdị agbanweela. Ụdị traceability nke ụdị na-eme ka ọ dị ngwa ngwa ịchọta ihe kpatara nsogbu ịdịmma.

Otu ịdọ aka ná ntị ọzọ: ụyọkọ eval kwesịrị ịnọchite anya ọrụ gị n'ezie. Otu eval nke nwere naanị ihe atụ dị mfe na-ezobe ebe ihe nlereanya ahụ na-asụ ngọngọ n'okwu siri ike ma mee ka ị banye na ntụkwasị obi ụgha. Eval mara mma; Ọ na-agụnye ọmụmaatụ dị mfe nkịtị yana ikpe nkuku ị na-ezute n'eziokwu (ntinye na-enweghị mgbagha, ezughị ezu, na-emegiderịta onwe ya). Ndị nta a siri ike na-ekpebi nhọrọ nlereanya gị, n'ihi na ụdị ọ bụla na-aga nke ọma n'ọtụtụ dị mfe na agbanyeghị. Mee ka Eval gị dị ọhụrụ na onye nnọchi anya site n'inye ya ezigbo ihe atụ ọhụrụ kwa oge.

Na nchịkọta

Ihe nlereanya ziri ezi bụ ihe nlereanya kachasị mfe nke na-arụ ọrụ ahụ; Ike kariri adịghị mma n'ọrụ ọ bụla, ọ na-adị oke ọnụ yana nwayọ. Ịkọwa ọrụ ahụ na ịmalite site na onye na-agba ọsọ kachasị mfe, na-ekesa okporo ụzọ agwakọta na ntụgharị ụzọ, na ịkwado nhọrọ na obere ihe nyocha na-ebelata ọnụ ahịa ọtụtụ ugboro mgbe ị na-ejigide mma.

Ọrụ ngwa

Họrọ ibu ọrụ. (1) Kewaa ọrụ ahụ ka ọ dị mfe / mgbagwoju anya. (2) Chepụta obere eval setịpụ ezigbo ihe atụ 20 (ya na azịza ha ziri ezi). (3) Wepụta atụmatụ iji mejupụta tebụl ntụnyere ziri ezi/ọnụahịa/oge maka klaasị atọ ahụ. (4) Ọ bụrụ na ị gwakọtara okporo ụzọ, dee iwu ịkwọgharị wee tọọ oke nrịgo elu.

ndetu

[] Enwere m ike iji ezinụlọ ihe atụ atụnyere na ikike / ọsọ / ọnụ ahịa axis.
[ ] Enwere m ike itinye ụkpụrụ "ụkpụrụ kacha aga nke ọma".
[] Enwere m ike ịtọlite ụzọ ụgbọ ala dịka mgbagwoju anya ọrụ siri dị.
[] Site na obere usoro eval enwere m ike jikọta nhọrọ ahụ na ihe akaebe.
[] Enwere m ike ịkọwa ọkwa nkwalite/mbelata.