Zaɓin Samfurin: Samfurin Da Ya dace don Aikin Da Ya dace — API, Kuɗi da Haɗin kai

Riba:

Za a iya kwatanta dangin ƙirar (mai sauri/madaidaici/mai ƙarfi) akan iyawa, gudu da farashi
Yana ƙirƙira ƙirar zaɓin zaɓi da dabarun bi da bi bisa ga wahalar aiki
Zaɓin ƙirar ƙira akan shaida tare da ƙaramin saiti na kimantawa

Shawarar guda ɗaya da ta ƙayyade mafi girman kuɗin ku don kuɗin ku da ingancin ku a cikin haɗin gwiwar LLM shine wane samfurin kuke amfani da shi. Reflex na gama gari shine "zaɓa mafi ƙarfi samfurin"; Koyaya, wannan sau da yawa yana nufin farashi mara amfani da jinkiri. Hanyar da ta dace ita ce zabar samfurin mafi sauƙi wanda ke cika kowane ɗawainiya kuma tushen wannan zaɓi akan ma'auni, ba zato ba. A cikin wannan rukunin, zaku kwatanta dangin ƙirar akan iyawa/gudu/tsari mai tsada, kafa dabarar tuƙi bisa ga rikitaccen ɗawainiya, da shaidar zaɓin tare da ƙaramin saiti na kimantawa.

Fahimtar Iyali Model

Masu samarwa gabaɗaya suna ba da azuzuwan guda uku: sauri/arha, barga da ƙarfi. An taƙaita alaƙar da ke tsakanin su akan gatura guda uku: iyawa (ikon warware ayyuka masu wahala), saurin (latency), farashi (farashin alama).

aji

misali

baiwa

gudun

Farashin

Akwai ayyuka

sauri

Haiku 4.5

matsakaici

mai girma

ƙananan

Rabewa, lakabi, taƙaitaccen bayani, daidaitawa

daidaitacce

sonnet 5

babba

matsakaici

Babban manufa, coding, kwararar matakai da yawa, yawancin aikin wakili

mai karfi

Shafin 4.8

mafi girma

matsakaici

babba

Hankali mai rikitarwa, ayyuka masu cin gashin kai na dogon zango, bincike mai wahala

Hankali mai mahimmanci: ƙirar mafi ƙarfi ba ta yin aiki mafi kyau akan kowane aiki. A cikin alamar "gaggawa ko a'a" mai sauƙi, ƙirar mai ƙarfi da ƙirar sauri suna ba da amsa daidai daidai; Bambanci kawai shine cewa mai iko shine sau 5 mafi tsada da hankali. Ƙarin basira yana samar da ƙima kawai lokacin da manufa ta buƙaci shi.

Mataki-mataki: Yadda za a Zaɓan Samfura?

Rarraba aikin. Shin shi ne na yau da kullun / ƙira (lakabi, ƙididdigewa), ko buɗe-ƙarshe/mataki da yawa (bincike, tsarawa, lamba)?
Fara da ɗan takara mafi sauƙi. Gwada shi tare da samfurin sauri. Idan hakan ya isa, tsaya.
Idan bai isa ba, matsa zuwa matsayi mafi girma. Idan daidaito ya yi ƙasa, je zuwa madaidaicin, idan hakan bai isa ba, je wurin mai ƙarfi.
Auna, kar a yi tsammani. Kwatanta daidaito da farashin kowane ɗan takara tare da ƙaramin saiti na eval (a ƙasa).
Saita juyawa. Maimakon haɗawa zuwa samfurin guda ɗaya, rarraba aikin zuwa samfurin daidai tare da "na'ura mai ba da hanya tsakanin hanyoyin sadarwa".

Hanyar Hanyar Hanya

Ayyukan aiki na gaske suna haɗuwa: yawancin buƙatun masu shigowa suna da sauƙi, wasu suna da wahala. Yana da ɓata don aika su duka zuwa samfurin mai ƙarfi; Aika su duka zuwa samfurin sauri yana rage inganci. Gudanarwa yana warware wannan: samfurin mai arha (ko ƙa'ida mai sauƙi) yana rarraba aikin farko, sannan aikin ya tafi zuwa samfurin da ya dace.

# Mai ba da hanya tsakanin hanyoyin sadarwa (yana aiki tare da ƙirar arha) Rarraba buƙatun mai shigowa gwargwadon wahalar sa. Mai da JSON mai zuwa kawai:{"wahala":"sauki|mai rikitarwa"}Mai sauƙaƙa: mataki ɗaya, dabara, gajeriyar amsa.Complex: na buƙatar tunani mai yawa, bincike, ko dogon tsara. Buƙatar: """{{request}}"""

je zuwa sauƙi → samfurin sauri (arha, sauri).
je zuwa hadaddun → samfuri mai ƙarfi (tsada amma dole).

Wannan tsari yana rage matsakaicin farashi sosai saboda yawancin zirga-zirgar ababen hawa gabaɗaya mai sauƙi ne.

Tukwici: Shawarar mikawa baya buƙatar LLM koyaushe. Dokoki masu sauƙi kamar "Je zuwa samfurin sauri idan rubutu bai wuce kalmomi 20 ba" suma jagora ne kuma suna kawo ƙarin farashin alamar sifili. Gwada dokar tukuna.

Haɗin Zaɓin zuwa Shaida: Ƙaramar Tarin Haɓaka

Kada ku zaɓi samfurin bisa "ya fi kyau a gare ni". Eval (saitin kimantawa) ƙananan samfurori ne waɗanda aka san ainihin amsar su; kuna gudanar da kowane samfurin akan wannan saitin kuma ku auna daidaito, farashi, da latency.

# Eval saitin samfuri1) Tattara misalan 20-50 na gaske, hannu rubuta "madaidaicin amsa" akan kowane.2) Gudun kowane samfuri (sauri/daidaitacce/ƙarfi) akan wannan saiti.3) Ga kowane samfuri: adadin gyare-gyare, matsakaicin abubuwan fitarwa, farashi akan buƙatu, matsakaicin lokaci.4) Zaɓi samfurin da "ba da isasshen daidaito mafi arha".

# Eval kwatanta tebur (cika) Model | Daidaito | Farashin kowace bukata | Matsakaicin tsawon lokaciHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ... dakika

Rauni mai ƙarfi / Ƙarfi mai ƙarfi (yanke zaɓin zaɓi)

# NUFIN (babu tushen yanke shawara) Bari muyi amfani da mafi kyawun ƙirar, kasafin kuɗi ba shi da mahimmanci.

# KARFI (yanke shawara dangane da aunawa) A cikin ƙimar samfuran 50, Haiku ya ba da daidaito 96%, Sonnet ya ba da daidaiton 97%; Bambancin ba shi da mahimmanci a kididdiga. An zabi Haiku ne saboda ya fi sau 5 arha kuma sau 2 cikin sauri. Idan daidaito ya faɗi ƙasa da 95%, za a yanke shawarar haɓakawa zuwa Sonnet ta atomatik.

Sigar mai ƙarfi; yana ɗaure zaɓin zuwa lamba, kofa, da ƙa'idar haɓakawa. Wannan duka yana kare shawarar yau kuma yana sarrafa canjin nan gaba.

Mini Cases guda uku

Shari'a ta 1 - Kuɓuta daga ƙira mai ƙarfi. Cibiyar kira tana samar da duk taƙaitaccen bayani tare da Opus; lissafin wata-wata ya yi yawa. A 40-samfurin eval, Sonnet ya kasance 1% a bayan Opus a daidaito amma ya biya kashi ɗaya bisa uku. Sun motsa aikin taƙaitawa zuwa Sonnet; Farashin kowane wata ya ragu daga $9,000 zuwa $3,100, ba tare da korafe-korafe masu inganci ba.

Case na 2 - Haɗaɗɗen zirga-zirga tare da juyawa. Kashi 80% na buƙatun ƙungiyar fasaha ta doka sun kasance masu tambarin takarda mai sauƙi, 20% ƙididdiga ce ta kwangila. Suna aika su duka zuwa ga samfurin mai ƙarfi. Sun kara na'ura mai ba da hanya tsakanin hanyoyin sadarwa mai arha kuma sun rarraba ayyuka masu sauki ga Haiku da hadaddun ayyuka ga Opus; matsakaicin farashin buƙatun ya ragu da kashi 64%, yayin da ana kiyaye ingancin bincike.

Case 3 - Kudin ragewa ba tare da aunawa ba. Don rage farashi, ƙungiya ɗaya ta rage hadaddun hakar lambar likitanci kai tsaye zuwa ƙirar sauri; Ba su daidaita ba. A cikin raye-raye, daidaito ya ragu daga 92% zuwa 78%, yana haifar da dawowar abubuwan da ba daidai ba. Dole ne su fara ɓata: wannan aikin yana buƙatar samfurin mai ƙarfi. Darasi: duka raguwa da haɓaka ana yin su ta hanyar aunawa.

Kuskuren gama gari

Reflex "mafi ƙarfi samfurin": Sharar gida da jinkirin da ba dole ba a cikin ayyuka masu sauƙi.
Canza samfurin ba tare da aunawa ba: Dukansu raguwa da haɓaka suna da haɗari ba tare da eval ba.
Makulle cikin ƙira ɗaya: Gudanar da zirga-zirgar ababen hawa yawanci yakan fi inganci.
Koyaushe kuskuren na'ura mai ba da hanya tsakanin hanyoyin sadarwa don LLM: Dokoki masu sauƙi na iya aiki akan sifili.
Ba saita ƙaramar haɓakawa ba: Me zai faru idan daidaito ya faɗi ya kamata a bayyana a gaba.
Ba gyara sigar ƙirar ba: Yi rikodin samfurin / sigar da kuke aiki akan samarwa; Canjin sigar na iya canza hali.

Zurfafa: Cigaba da Gwajin Ƙarfafawa

Zaɓin samfurin ba yanke shawara ne na lokaci ɗaya ba. Masu samarwa suna gabatar da sabbin samfura, canjin farashin, bayanin aikin ku ya samo asali. Don haka saita kullin eval sau ɗaya kuma kar a manta; rike shi kamar mai rai. Lokacin da sabon samfurin ya fito, kuna gudanar da samfuran 20-50 iri ɗaya ta ciki, sabunta tebur, kuma sake yanke shawarar ku. Wannan yana ba ku kariya daga tarkon "hanyar canza tsarin".

Dabarar ci gaba ta biyu ita ce tsarin faɗuwa/cascade. Kuna ba da aikin ga samfurin mai arha da farko; Idan abin fitarwa yana da ƙarancin ƙarfin gwiwa ko matakin tabbatarwa (naúrar 11) ya ƙi shi, kuna haɓaka wannan buƙatar. Don haka yawancin zirga-zirgar ababen hawa ana warware su akan ƙirar mai arha, tare da ragowar tsirarun kawai suna zuwa ƙirar tsada. Wannan duka yana da arha kuma ya fi ɗorewa fiye da ƙayyadaddun tsarin ƙirar ƙira ɗaya.

Batu na uku shine eval ya ƙunshi ba kawai daidaito ba har ma farashi da latency. Idan samfurin ya fi 1% daidai amma sau 3 ya fi tsada kuma sau 2 a hankali, cinikin ba shi da daraja ga yawancin ayyuka. Yi yanke shawara tare da gatura guda uku (daidai, farashi, latency) kuma ayyana “ƙofar isa”: “idan daidaito ya wuce 95%, zaɓi mafi arha.”

A ƙarshe, yi rikodin ƙirar / sigar da kuka yi amfani da ita wajen samarwa. Idan wata rana ingancin fitarwa ya canza, abu na farko da za ku duba shine ko sigar ƙirar ta canza. Binciken sigar yana sa ya zama cikin sauri don nemo tushen tushen lamuran inganci.

Ƙarin faɗakarwa ɗaya: rukunin eval ya kamata ya wakilci ainihin nauyin aikin ku. Eval wanda ya ƙunshi misalai masu sauƙi kawai yana ɓoye inda ƙirar ta yi tuntuɓe a cikin lokuta masu wahala kuma ya sa ku cikin amincewar ƙarya. Kyakkyawan darajar; Ya haɗa da misalai masu sauƙi na gama gari da kuma lamurra na kusurwa da kuka ci karo da su a zahiri (masu fahimta, waɗanda ba su cika ba, bayanai masu karo da juna). Wannan ƴan tsiraru masu wahala suna ƙayyadad da zaɓin ƙirar ku, saboda kowane ƙirar yana yin nasara a mafi yawan sauƙi ta wata hanya. Sanya Eval ɗinku sabo da wakilci ta hanyar ciyar da shi sabbin misalai na gaske lokaci-lokaci.

A takaice

Samfurin da ya dace shine samfurin mafi sauƙi wanda ke samun aikin; Ƙarfin da ya fi ƙarfin ba shi da kyau a kowane aiki, yana da tsada da hankali. Rarraba ɗawainiya da farawa daga ɗan takara mafi sauƙi, rarraba zirga-zirgar zirga-zirgar zirga-zirgar zirga-zirgar zirga-zirgar ababen hawa, da tabbatar da zaɓin tare da ƙaramin tsari na kimantawa yana rage farashin sau da yawa yayin kiyaye inganci.

Aikin aikace-aikace

Zaɓi nauyin aiki. (1) Rarraba aikin a matsayin mai sauƙi / rikitarwa. (2) Zana ƙaramin saiti na misalan gaske guda 20 (tare da ingantattun amsoshinsu). (3) Zana tsari don cika daidaito/farashi/lokaci kwatancen tebur don azuzuwan samfurin uku. (4) Idan kun haɗu da zirga-zirgar ababen hawa, rubuta ƙa'idar tuƙi kuma saita matakin haɓakawa.

jerin abubuwan dubawa

[ ] Zan iya kwatanta dangin abin ƙira akan iyawa / saurin / farashi.
[ ] Zan iya amfani da ƙa'idar "samfurin nasara mafi sauƙi".
[ ] Zan iya saita tsarin tuƙi bisa ga wahalar aiki.
[ ] Tare da ƙaramin saiti na eval zan iya ɗaure zaɓin ga shaidar.
[ ] Zan iya ayyana haɓakawa/kofar ragewa.