Uteuzi wa Mfano: Mfano Sahihi kwa Kazi Inayofaa

Faida:

• Inaweza kulinganisha familia ya mfano (haraka/usawa/nguvu) juu ya uwezo, kasi na gharama
• Hubuni uteuzi wa kielelezo na mikakati ya uelekezaji kulingana na ugumu wa kazi
• Misingi ya uteuzi wa mfano juu ya ushahidi na seti ndogo ya evals

Uamuzi mmoja ambao huamua kishindo chako zaidi kwa pesa yako na ubora katika ujumuishaji wa LLM ni muundo gani unatumia. Reflex ya kawaida ni "chagua mfano wenye nguvu"; Hata hivyo, hii mara nyingi inamaanisha gharama zisizohitajika na ucheleweshaji. Mbinu sahihi ni kuchagua mtindo mwepesi zaidi unaotimiza kila kazi na kuegemeza chaguo hilo kwenye kipimo, si kubahatisha. Katika kitengo hiki, utalinganisha familia ya kielelezo kwenye mhimili wa uwezo/kasi/gharama, kuanzisha mkakati wa uelekezaji wa kielelezo kulingana na utata wa kazi, na uthibitishe uteuzi kwa seti ndogo ya tathmini.

Kuelewa Familia ya Mfano

Watoa huduma kwa ujumla hutoa madarasa matatu: haraka/nafuu, thabiti na yenye nguvu. Uhusiano kati yao ni muhtasari wa shoka tatu: uwezo (nguvu ya kutatua kazi ngumu), kasi (latency), gharama (bei ya ishara).

darasa

mfano

talanta

kasi

Gharama

Kazi zinazopatikana

haraka

Haiku 4.5

kati

juu sana

chini

Uainishaji, uwekaji lebo, muhtasari mfupi, mwelekeo

usawa

soneti 5

juu

juu

kati

Kusudi la jumla, usimbaji, mtiririko wa hatua nyingi, kazi nyingi za wakala

nguvu

Opus 4.8

ya juu zaidi

kati

juu

Hoja ngumu, kazi za uhuru wa masafa marefu, uchambuzi mgumu

Ufahamu muhimu: mtindo wenye nguvu zaidi haufanyi kazi vizuri zaidi kwa kila kazi. Katika uwekaji alama rahisi wa "haraka au la", kielelezo chenye nguvu na kielelezo cha haraka hutoa jibu sawa sawa; tofauti pekee ni kwamba nguvu ni mara 5 zaidi ya gharama kubwa na polepole. Kipaji cha ziada hutoa thamani pale tu misheni inapohitaji.

Hatua kwa hatua: Jinsi ya kuchagua mfano?

1. Kuainisha kazi. Je, ni utaratibu/muundo (uwekaji lebo, uelekezaji), au wazi/hatua nyingi (uchambuzi, upangaji, msimbo)?
2. Anza na mgombea mwepesi zaidi. Jaribu na mtindo wa haraka. Ikiwa hiyo inatosha, acha.
3. Ikiwa haitoshi, nenda hadi darasa la juu. Ikiwa usahihi ni mdogo, nenda kwa usawa, ikiwa haitoshi, nenda kwa nguvu.
4. Pima, usidhani. Linganisha usahihi na gharama ya kila mgombea na seti ndogo ya eval (chini).
5. Sanidi uelekezaji kwingine. Badala ya kuunganisha kwa mfano mmoja, usambaze kazi kwa mfano sahihi na "router".

Uelekezaji wa Mfano

Mzigo halisi wa kazi umechanganywa: maombi mengi yanayoingia ni rahisi, mengine ni magumu. Ni kupoteza kuwatuma wote kwa mfano wa nguvu; Kuzituma zote kwa muundo wa haraka hupunguza ubora. Njia hutatua hii: mfano wa bei nafuu (au sheria rahisi) huainisha kazi kwanza, kisha kazi inakwenda kwa mfano unaofaa.

# Agizo la Njia (inafanya kazi na modeli ya bei rahisi) Ainisha ombi linaloingia kulingana na ugumu wake. Rejesha JSON ifuatayo pekee:{"ugumu": "rahisi|tata"}Rahisi: hatua moja, fomula, jibu fupi. Tata: inayohitaji hoja za hatua nyingi, uchambuzi, au kizazi kirefu.Omba: """{{request}}"""

• nenda kwa rahisi → mfano wa haraka (nafuu, haraka).
• nenda kwa tata → mfano wenye nguvu (ghali lakini muhimu).

Mtindo huu kwa kiasi kikubwa hupunguza gharama ya wastani kwa sababu trafiki nyingi kwa ujumla ni rahisi.

Kidokezo: Uamuzi wa rufaa hauhitaji LLM kila wakati. Sheria rahisi kama vile "Nenda kwenye muundo wa haraka ikiwa maandishi ni chini ya maneno 20" pia ni mwongozo na huleta sifuri gharama ya ziada ya tokeni. Jaribu kanuni kwanza.

Kuunganisha Chaguo kwa Ushahidi: Nguzo Ndogo ya Eval

Usichague mfano kulingana na "inaonekana bora kwangu". Eval (seti ya tathmini) ni seti ndogo ya sampuli ambazo jibu sahihi linajulikana; unaendesha kila modeli kwenye seti hii na kupima usahihi, gharama na muda wa kusubiri.

# Kiolezo cha usanidi wa Eval1) Kusanya mifano 20-50 halisi, andika kwa mkono "jibu sahihi" kwa kila moja.2) Endesha kila muundo (haraka/uwiano/nguvu) kwenye seti hii.3) Kwa kila modeli: idadi ya masahihisho, tokeni za wastani za matokeo, gharama kwa kila ombi, muda wa wastani.4) Chagua muundo "hutoa usahihi wa kutosha".

# Jedwali la kulinganisha la Eval (jaza)Mfano | Usahihi | Gharama kwa kila ombi | Muda wa wastaniHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Mwongozo dhaifu / Mwongozo mkali (uamuzi wa uteuzi wa mfano)

# DHAIFU (hakuna msingi wa uamuzi)Tutumie mtindo bora, bajeti sio muhimu.

# IMARA (uamuzi kulingana na kipimo) Katika tathmini ya sampuli 50, Haiku alitoa usahihi wa 96%, Sonnet ilitoa usahihi wa 97%; Tofauti ni ndogo kitakwimu. Haiku ilichaguliwa kwa sababu ni mara 5 ya bei nafuu na mara 2 kwa kasi zaidi. Ikiwa usahihi utashuka chini ya 95%, uamuzi wa kuboresha hadi Sonnet utafanywa moja kwa moja.

Toleo la nguvu; hufunga uteuzi kwa nambari, kizingiti, na sheria ya kupanda. Hii yote inatetea uamuzi wa leo na kudhibiti mabadiliko ya baadaye.

Kesi Tatu Ndogo

Kesi ya 1 - Epuka modeli inayozidi nguvu. Kituo cha simu kilikuwa kikitoa muhtasari wa mazungumzo yote na Opus; bili ya kila mwezi ilikuwa juu. Katika eval ya sampuli 40, Sonnet ilikuwa 1% nyuma ya Opus kwa usahihi lakini iligharimu theluthi moja. Walihamisha kazi ya muhtasari kwa Sonnet; gharama ya kila mwezi imeshuka kutoka $9,000 hadi $3,100, bila malalamiko ya ubora.

Kesi ya 2 - Trafiki mchanganyiko na uelekezaji kwingine. 80% ya maombi ya timu ya teknolojia ya kisheria yalikuwa ni kuweka alama kwenye hati rahisi, 20% yalikuwa uchambuzi changamano wa mikataba. Walikuwa wanawapeleka wote kwa mfano wa nguvu. Waliongeza kipanga njia cha bei nafuu na kusambaza kazi rahisi kwa Haiku na kazi ngumu kwa Opus; wastani wa gharama ya ombi ilishuka kwa 64%, huku ubora wa uchanganuzi ukidumishwa.

Kesi ya 3 - Gharama ya kupunguza bila kupimia. Ili kupunguza gharama, timu moja ilipunguza uchimbaji tata wa kanuni za matibabu moja kwa moja kwa mtindo wa haraka; Hawakuwa eval. Moja kwa moja, usahihi ulishuka kutoka 92% hadi 78%, na kusababisha kurudi kwa makisio yasiyo sahihi. Ilibidi wafanye eval kwanza: kazi hiyo ilihitaji kielelezo chenye nguvu. Somo: kupunguza na mwinuko hufanywa kwa kipimo.

Makosa ya kawaida

• Reflex ya "mfano wa nguvu zaidi": Upotevu na ucheleweshaji usio wa lazima katika kazi rahisi.
• Kubadilisha modeli bila kupima: Kupunguza na kupanua ni hatari bila eval.
• Kujifungia katika muundo mmoja: Uelekezaji katika trafiki mchanganyiko mara nyingi huwa na ufanisi zaidi.
• Kukosea kila wakati kipanga njia cha LLM: Sheria rahisi zinaweza kufanya kazi kwa gharama ya sifuri.
• Sio kuweka kizingiti cha kuongeza: Nini kitatokea ikiwa matone ya usahihi yatafafanuliwa mapema.
• Sio kurekebisha toleo la mfano: Rekodi ni modeli/toleo gani unafanyia kazi katika uzalishaji; Mabadiliko ya toleo yanaweza kubadilisha tabia.

Kina zaidi: Kuendeleza Eval na Jaribio la Kuongezeka

Uchaguzi wa mfano sio uamuzi wa mara moja. Watoa huduma huanzisha miundo mipya, bei hubadilika, maelezo yako ya kazi yanabadilika. Kwa hivyo sanidi nguzo ya eval mara moja na usisahau; kushikilia kama kiumbe hai. Wakati muundo mpya unatoka, unaendesha sampuli sawa za 20-50 kupitia hiyo, sasisha jedwali, na ufanye uamuzi wako tena. Hii inakulinda kutokana na mtego wa "kubadili muundo".

Mbinu ya pili ya hali ya juu ni muundo wa kurudi nyuma / kuteleza. Unatoa kazi kwa mfano wa bei nafuu kwanza; Ikiwa pato lina imani ya chini au safu ya uthibitishaji (kitengo cha 11) inaikataa, unaongeza ombi sawa. Kwa hivyo trafiki nyingi hutatuliwa kwa mfano wa bei nafuu, na wachache tu waliobaki wanaenda kwa mfano wa gharama kubwa. Hii ni ya bei nafuu na ya kudumu zaidi kuliko mbinu iliyowekwa ya mfano mmoja.

Jambo la tatu ni kwamba eval inajumuisha sio tu usahihi lakini pia gharama na latency. Ikiwa muundo ni sahihi kwa 1% lakini ghali mara 3 zaidi na polepole mara 2, ubadilishanaji haufai kwa kazi nyingi. Fanya uamuzi kwa kutumia shoka tatu (usahihi, gharama, muda wa kusubiri) na ubainishe "kiwango cha utoshelevu": "ikiwa usahihi ni zaidi ya 95%, chagua gharama nafuu zaidi."

Hatimaye, rekodi ni modeli/toleo gani ulilotumia katika uzalishaji. Ikiwa siku moja ubora wa pato utabadilika, jambo la kwanza utakaloangalia ni ikiwa toleo la mfano limebadilika. Ufuatiliaji wa toleo huifanya haraka kupata chanzo cha masuala ya ubora.

Tahadhari moja zaidi: nguzo ya eval inapaswa kuwakilisha mzigo wako halisi wa kazi. Eval inayojumuisha tu mifano rahisi hujificha ambapo mtindo hujikwaa katika hali ngumu na kukuingiza kwenye imani ya uwongo. Eval mzuri; Inajumuisha mifano rahisi ya kawaida pamoja na kesi za kona unazokutana nazo katika uhalisia (utata, haujakamilika, pembejeo zinazokinzana). Wachache hawa wagumu huamua chaguo lako la mfano, kwa sababu kila mtindo hufaulu kwa idadi rahisi hata hivyo. Weka Eval wako safi na mwakilishi kwa kulisha mara kwa mara mifano mipya halisi.

Kwa muhtasari

Mfano unaofaa ni mfano mwepesi zaidi ambao hufanya kazi ifanyike; Nguvu zaidi sio bora katika kila kazi, ni ghali zaidi na polepole zaidi. Kuainisha kazi na kuanzia kwa mgombeaji mwepesi zaidi, kusambaza trafiki mchanganyiko na uelekezaji, na kuthibitisha uteuzi kwa seti ndogo ya tathmini hupunguza gharama mara nyingi wakati wa kudumisha ubora.

Jukumu la maombi

Chagua mzigo wa kazi. (1) Ainisha kazi kama rahisi/tata. (2) Tengeneza seti ndogo ya eval ya mifano 20 halisi (pamoja na majibu yao sahihi). (3) Chora mpango wa kujaza jedwali la ulinganisho la usahihi/gharama/wakati kwa madarasa matatu ya modeli. (4) Iwapo umechanganya trafiki, andika sheria ya uelekezaji na uweke kizingiti cha kupanda.

orodha ya ukaguzi

• [ ] Ninaweza kulinganisha familia ya mfano kwenye mhimili wa uwezo/kasi/gharama.
• [ ] Ninaweza kutumia kanuni ya "mfano mwepesi uliofanikiwa".
• [ ] Ninaweza kusanidi uelekezaji wa kielelezo kulingana na ugumu wa kazi.
• [ ] Kwa seti ndogo ya eval naweza kufunga uteuzi kwa ushahidi.
• [ ] Ninaweza kufafanua kiwango cha juu cha kuboresha/kushusha daraja.