Awọn anfani:
- Le ṣe afiwe idile awoṣe (yara / iwọntunwọnsi / alagbara) lori agbara, iyara ati idiyele
- Awọn apẹrẹ awoṣe yiyan ati awọn ilana ipa-ọna ni ibamu si idiju iṣẹ-ṣiṣe
- Awọn ipilẹ aṣayan awoṣe lori ẹri pẹlu kekere ṣeto ti evals
Ipinnu ẹyọkan ti o ṣe ipinnu bang rẹ pupọ julọ fun owo rẹ ati didara ni iṣọpọ LLM ni awoṣe wo ti o lo. Ifiweranṣẹ ti o wọpọ ni “yan awoṣe ti o lagbara julọ”; Sibẹsibẹ, eyi nigbagbogbo tumọ si awọn idiyele ti ko wulo ati awọn idaduro. Ọna ti o tọ ni lati yan awoṣe ti o fẹẹrẹ julọ ti o ṣe iṣẹ-ṣiṣe kọọkan ati ipilẹ ti yiyan lori wiwọn, kii ṣe amoro. Ninu ẹyọ yii, iwọ yoo ṣe afiwe idile awoṣe lori agbara/iyara/apa iye owo, fi idi ilana ipa-ọna awoṣe kan ni ibamu si idiju iṣẹ-ṣiṣe, ati ẹri yiyan pẹlu ṣeto awọn igbelewọn kekere.
Agbọye Awoṣe Ìdílé
Awọn olupese ni gbogbogbo nfunni ni awọn kilasi mẹta: iyara / olowo poku, iduroṣinṣin ati agbara. Ibasepo laarin wọn ni akopọ lori awọn aake mẹta: agbara (agbara lati yanju awọn iṣẹ ṣiṣe ti o nira), iyara (lairi), iye owo (iye owo ami).
kilasi
apẹẹrẹ
talenti
iyara
Iye owo
Awọn iṣẹ-ṣiṣe ti o wa
sare
Haiku 4.5
alabọde
ga pupọ
kekere
Isọri, isamisi, akopọ kukuru, iṣalaye
iwontunwonsi
sonnet 5
ga
ga
alabọde
Idi gbogbogbo, ifaminsi, ṣiṣan-igbesẹ pupọ, iṣẹ aṣoju pupọ julọ
lagbara
Opus 4.8
ti o ga julọ
alabọde
ga
Idiyele eka, awọn iṣẹ ṣiṣe adase gigun, itupalẹ ti o nira
Imọye pataki: awoṣe ti o lagbara diẹ sii ko ṣe dara julọ lori gbogbo iṣẹ. Ni aami “akikanju tabi rara” ti o rọrun, awoṣe ti o lagbara ati awoṣe iyara fun idahun ti o pe kanna; awọn nikan ni iyato ni wipe awọn alagbara ni 5 igba diẹ gbowolori ati losokepupo. Talent afikun ṣe agbejade iye nikan nigbati iṣẹ apinfunni nilo rẹ.
Igbesẹ nipasẹ Igbesẹ: Bawo ni lati Yan Awoṣe kan?
- Ṣe iyasọtọ iṣẹ-ṣiṣe naa. Ṣe o jẹ deede / apẹrẹ (aami aami, itọkasi), tabi ṣiṣi-ipari/igbesẹ pupọ (itupalẹ, eto, koodu)?
- Bẹrẹ pẹlu oludije ti o rọrun julọ. Gbiyanju o pẹlu awọn sare awoṣe. Ti iyẹn ba to, da.
- Ti ko ba to, gbe soke si kilasi ti o ga julọ. Ti deede ba kere, lọ si iwọntunwọnsi, ti iyẹn ko ba to, lọ si ọkan ti o lagbara.
- Ṣe iwọn, maṣe gboju. Ṣe afiwe deede ati idiyele ti oludije kọọkan pẹlu eto eval kekere kan (ni isalẹ).
- Ṣeto atunto. Dipo asopọ si awoṣe kan, pin kaakiri iṣẹ naa si awoṣe ti o tọ pẹlu “olulana” kan.
Awoṣe afisona
Awọn ẹru iṣẹ gidi jẹ idapọ: ọpọlọpọ awọn ibeere ti nwọle jẹ rọrun, diẹ ninu ni o nira. O jẹ egbin lati fi gbogbo wọn ranṣẹ si awoṣe alagbara; Fifiranṣẹ gbogbo wọn si awoṣe iyara dinku didara. Ipa ọna ṣe ipinnu eyi: awoṣe olowo poku (tabi ofin ti o rọrun) ṣe iyasọtọ iṣẹ-ṣiṣe ni akọkọ, lẹhinna iṣẹ naa lọ si awoṣe ti o yẹ.
# Itọkasi olulana (ṣiṣẹ pẹlu awoṣe olowo poku) Ṣe iyatọ ibeere ti nwọle ni ibamu si iṣoro rẹ. Dapada JSON wọnyi nikan:{"iṣoro": "rọrun|eka"}Rọrun: Igbesẹ ẹyọkan, agbekalẹ, idahun kukuru.Complex: to nilo ero-igbesẹ pupọ, itupalẹ, tabi iran pipẹ. Ibere: """{{beere}}""
- lọ si rọrun → awoṣe yara (olowo poku, yara).
- lọ si eka → awoṣe alagbara (gbowolori ṣugbọn pataki).
Àpẹẹrẹ yii ṣe pataki dinku iye owo apapọ nitori pupọ julọ ijabọ jẹ rọrun gbogbogbo.
Imọran: Ipinnu itọkasi ko nilo LLM nigbagbogbo. Awọn ofin ti o rọrun bii “Lọ si awoṣe yara ti ọrọ ba kere ju awọn ọrọ 20” tun jẹ itọsọna kan ati mu iye owo ami-ami odo odo. Gbiyanju ofin ni akọkọ.
Yiyan Sisopo si Ẹri: Iṣupọ Eval Kekere
Maṣe yan awoṣe ti o da lori “o dara julọ fun mi”. Igbelewọn (eto igbelewọn) jẹ apẹrẹ kekere ti awọn ayẹwo eyiti a mọ idahun ti o pe; o nṣiṣẹ awoṣe kọọkan lori ṣeto yii ati wiwọn deede, idiyele, ati airi.
# Eval setup template1) Gba 20-50 awọn apẹẹrẹ gidi, ọwọ kọ “idahun ti o tọ” lori kọọkan.2) Ṣiṣe awoṣe kọọkan (yara / iwọntunwọnsi / lagbara) lori ṣeto yii.3) Fun awoṣe kọọkan: nọmba awọn atunṣe, awọn ami ifasilẹ apapọ, iye owo fun ibeere, akoko apapọ.4) Yan awoṣe ti o “funni ni deede to lawin”.
# Eval lafiwe tabili (kun) Awoṣe | Yiye | Iye owo fun ìbéèrè | Apapọ iye akokoHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ... iṣẹju-aaya
Ilọsiwaju alailagbara / itara to lagbara (ipinnu yiyan awoṣe)
# WEAK (ko si ipilẹ fun ipinnu) Jẹ ki a lo awoṣe ti o dara julọ, isuna kii ṣe pataki.
# STRONG (ipinnu ti o da lori wiwọn) Ni eval ti awọn ayẹwo 50, Haiku fun ni deede 96%, Sonnet fun ni deede 97%; Iyatọ naa jẹ iṣiro ti ko ṣe pataki. A yan Haiku nitori pe o din owo ni igba 5 ati awọn akoko 2 yiyara. Ti deede ba lọ silẹ ni isalẹ 95%, ipinnu lati ṣe igbesoke si Sonnet yoo ṣee ṣe laifọwọyi.
Alagbara ti ikede; so yiyan si nọmba kan, iloro, ati ofin escalation kan. Eyi mejeeji ṣe aabo ipinnu oni ati ṣakoso iyipada ọjọ iwaju.
Mẹta Mini igba
Ọran 1 - Sa lati awọn overpowering awoṣe. Ile-iṣẹ ipe kan n ṣe agbejade gbogbo awọn akopọ ibaraẹnisọrọ pẹlu Opus; oṣooṣu owo wà ga. Ni 40-ayẹwo eval, Sonnet jẹ 1% lẹhin Opus ni deede ṣugbọn idiyele ọkan-mẹta. Wọn gbe iṣẹ akopọ si Sonnet; idiyele oṣooṣu silẹ lati $9,000 si $3,100, laisi awọn ẹdun didara.
Ọran 2 - Ijabọ ti o dapọ pẹlu atunṣe. 80% ti awọn ibeere ẹgbẹ imọ-ẹrọ ti ofin jẹ fifi aami si iwe ti o rọrun, 20% jẹ itupalẹ iwe adehun eka. Wọn fi gbogbo wọn ranṣẹ si awoṣe alagbara. Wọn ṣafikun olulana olowo poku ati pinpin awọn iṣẹ ti o rọrun si Haiku ati awọn iṣẹ eka si Opus; iye owo ibeere apapọ silẹ nipasẹ 64%, lakoko ti o ti ṣetọju didara itupalẹ.
Ọran 3 - Awọn iye owo ti downsizing lai idiwon. Lati dinku idiyele, ẹgbẹ kan dinku isediwon koodu iṣoogun ti eka taara si awoṣe iyara; Wọn ko yipada. Ni igbesi aye, išedede lọ silẹ lati 92% si 78%, ti o fa ipadabọ ti awọn imọran ti ko tọ. Wọn ni lati kọkọ mulẹ: iṣẹ yẹn nilo awoṣe ti o lagbara. Ẹkọ: mejeeji idinku ati igbega ni a ṣe nipasẹ wiwọn.
Awọn aṣiṣe ti o wọpọ
- “Awoṣe ti o lagbara julọ” ifasilẹ: Egbin ati idaduro ti ko wulo ni awọn iṣẹ ṣiṣe ti o rọrun.
- Yiyipada awoṣe laisi wiwọn: Mejeeji idinku ati gbooro jẹ eewu laisi eval.
- Titiipa sinu awoṣe ẹyọkan: Lilọ kiri ni ijabọ alapọpọ nigbagbogbo jẹ daradara siwaju sii.
- Nigbagbogbo asise olulana fun LLM: Awọn ofin ti o rọrun le ṣiṣẹ ni idiyele odo.
- Kii ṣe eto ala-igbelaruge kan: Kini yoo ṣẹlẹ ti deede ba lọ silẹ yẹ ki o ṣalaye ni ilosiwaju.
- Ko ṣe atunṣe ẹya awoṣe: Ṣe igbasilẹ iru awoṣe / ẹya ti o n ṣiṣẹ ni iṣelọpọ; Iyipada ẹya le yipada ihuwasi.
Ti o jinle: Eval ti n tẹsiwaju ati Idanwo Imudara
Aṣayan awoṣe kii ṣe ipinnu akoko kan. Awọn olupese n ṣafihan awọn awoṣe tuntun, iyipada awọn idiyele, apejuwe iṣẹ rẹ ti dagbasoke. Nitorinaa ṣeto iṣupọ eval lẹẹkan ati maṣe gbagbe; mu u bi a alãye eda. Nigbati awoṣe titun ba jade, o ṣiṣe awọn ayẹwo 20-50 kanna nipasẹ rẹ, ṣe imudojuiwọn tabili, ki o tun ṣe ipinnu rẹ lẹẹkansi. Eyi ṣe aabo fun ọ lati inu ẹgẹ “iyipada-iyipada”.
Ilana ilọsiwaju keji jẹ apẹrẹ fallback / kasikedi. O fun iṣẹ-ṣiṣe naa si awoṣe olowo poku akọkọ; Ti o ba ti awọn ti o wu ni o ni kekere igbekele tabi awọn ijerisi Layer (kuro 11) o, ti o escalate kanna ìbéèrè. Nitorinaa ọpọlọpọ awọn ijabọ ni ipinnu lori awoṣe olowo poku, pẹlu awọn ti o ku nikan ti o lọ si awoṣe gbowolori. Eleyi jẹ mejeeji din owo ati diẹ ti o tọ ju awọn ti o wa titi nikan-awoṣe ona.
Ojuami kẹta ni pe eval pẹlu kii ṣe deede nikan ṣugbọn idiyele ati lairi. Ti awoṣe ba jẹ deede 1% ṣugbọn awọn akoko 3 gbowolori diẹ sii ati awọn akoko 2 losokepupo, iṣowo-pipa ko tọsi fun ọpọlọpọ awọn iṣẹ. Ṣe ipinnu pẹlu awọn aake mẹta (ipeye, idiyele, aiduro) ati asọye “Ipele iloye”: “ti deede ba ju 95% lọ, yan eyi ti o kere julọ.”
Lakotan, ṣe igbasilẹ iru awoṣe / ẹya ti o lo ninu iṣelọpọ. Ti ọjọ kan ba yipada didara iṣẹjade, ohun akọkọ ti iwọ yoo wo ni boya ẹya awoṣe ti yipada. Itọpa ẹya jẹ ki o yara lati wa idi root ti awọn ọran didara.
Ikilọ kan diẹ sii: iṣupọ eval yẹ ki o ṣe aṣoju ẹru iṣẹ rẹ gangan. Eval ti o ni awọn apẹẹrẹ irọrun nikan tọju nibiti awoṣe ti kọsẹ ni awọn ọran ti o nira ati mu ọ sinu igbẹkẹle eke. Eval ti o dara; O pẹlu awọn apẹẹrẹ irọrun ti o wọpọ gẹgẹbi awọn ọran igun ti o ba pade ni otitọ (aiṣedeede, ti ko pe, awọn igbewọle ilodisi). Yi nira nkan ipinnu awoṣe rẹ wun, nitori gbogbo awoṣe aseyori ninu awọn ti o rọrun poju lonakona. Jeki Eval rẹ jẹ alabapade ati aṣoju nipasẹ ifunni lorekore awọn apẹẹrẹ gidi tuntun.
Ni akojọpọ
Awoṣe ọtun jẹ awoṣe ti o fẹẹrẹfẹ ti o gba iṣẹ naa; Agbara diẹ sii ko dara ni gbogbo iṣẹ, o kan diẹ gbowolori ati losokepupo. Ṣiṣeto iṣẹ-ṣiṣe naa ati bẹrẹ lati ọdọ oludije ti o fẹẹrẹfẹ, pinpin awọn ijabọ ti a dapọ pẹlu ipa-ọna, ati ṣiṣe ipinnu yiyan pẹlu eto kekere ti awọn evals dinku iye owo ni ọpọlọpọ igba lakoko mimu didara.
Ohun elo iṣẹ-ṣiṣe
Yan fifuye iṣẹ kan. (1) Ṣe iyatọ iṣẹ-ṣiṣe bi o rọrun / eka. (2) Ṣe apẹrẹ eto eval kekere ti awọn apẹẹrẹ gidi 20 (pẹlu awọn idahun to pe wọn). (3) Ṣe eto lati gbe tabili deede / iye owo / akoko lafiwe fun awọn kilasi awoṣe mẹta. (4) Ti o ba ni awọn ọna gbigbe ti o dapọ, kọ ofin ipa-ọna kan ki o ṣeto iloro igbekalẹ.
akojọ ayẹwo
- [] Mo le ṣe afiwe idile awoṣe lori agbara / iyara / iye owo.
- [] Mo ti le waye ni "lightest aseyori awoṣe" opo.
- [] Mo ti le ṣeto soke awoṣe afisona ni ibamu si iṣẹ-ṣiṣe complexity.
- [] Pẹlu eto kekere ti eval Mo le di yiyan si ẹri naa.
- [] Mo ti le setumo ohun igbesoke/idasonu ala.