Mga nadagdag:
- Pagkilala sa magaan, balanse at makapangyarihang mga yugto ng modelo at mode ng pangangatwiran
- Pagpili ng naaangkop na antas ng modelo batay sa kahirapan ng isang gawain
- Kakayahang sinasadyang itatag ang balanse sa pagitan ng latency, katumpakan at gastos
Natuto kaming kalkulahin ang presyo; Ngayon pag-usapan natin kung ano ang makukuha natin para sa presyong iyon, katulad ng mga antas at kakayahan ng modelo. Tatlong puwersa ang patuloy na nakikipagkumpitensya kapag pumipili ng modelo: kalidad (katumpakan), bilis (latency), at gastos. Ang pagpapabuti ng dalawa sa tatlong ito ay kadalasang nangangahulugan ng pagkompromiso sa pangatlo. Sa unit, matututunan mo ang tungkol sa magaan, balanse at makapangyarihang mga antas, mode ng pangangatwiran at kagustuhan sa maliit/malaking modelo; Magagawa mong sinasadya na maitatag ang tamang balanse ayon sa kahirapan ng gawain.
Tatlong Antas, Tatlong Iba't ibang Trabaho
Halos bawat provider ay nag-aalok ng tatlong antas sa loob ng parehong pamilya. Itugma natin ang mga ito sa katangian ng gawain:
- Banayad na tier (maliit na modelo): Napakabilis, napakamura, "sapat na mabuti". Tamang-tama para sa simple, paulit-ulit, mataas na dami ng mga gawain: pag-uuri, briefing, pag-tag, paglilinis ng data, mga simpleng draft ng tugon.
- Balanseng tier (medium model): Magandang kalidad, makatwirang bilis, makatwirang gastos. Ang pagpipiliang "default" para sa karamihan ng pang-araw-araw na gawain: paggawa ng nilalaman, pagsusuri sa kalagitnaan, mga tugon ng customer.
- Napakahusay na tier (malaking modelo): Pinakamataas na kalidad, pinakamabagal, pinakamahal. Para sa kumplikadong pangangatwiran, mahaba at maraming hakbang na pagsusuri, mahirap na code, tumpak na legal/pinansyal na pagsusuri.
Tip: Isang magandang panimulang panuntunan: Magsimula sa balanseng antas. Kung ang kalidad ay mahina, umakyat sa malakas na antas; Kung ang kalidad ay napakahusay at ang volume ay mataas, bumaba sa antas ng liwanag. Ang diskarte na "magsimula sa sapat na mabuti", hindi ang "magsimula sa pinakamalakas" na diskarte, ay nakakatipid ng pera at oras.
Ano ang Reasoning Mode?
Ang ilang mga modelo ay maaaring unang "isipin" ang sagot nang sunud-sunod kaysa sa direktang pagbuo nito. Ito ay tinatawag na reasoning mode. Hinahati-hati ng modelo ang isang problema sa mga bahagi, pinoproseso ang mga intermediate na hakbang sa loob nito, at pagkatapos lamang ibigay ang panghuling sagot. Ito ay katulad ng isang mag-aaral sa paglutas ng isang problema sa matematika hakbang-hakbang sa papel.
Kailan ito mahalaga? Sa multi-step, lohikal na mga problema: isang kumplikadong pagkalkula, pagtuklas ng kontradiksyon, isang mahabang hanay ng hinuha, isang mahirap na error sa code. Sa ganitong uri ng trabaho, ang pangangatwiran ay makabuluhang nagpapataas ng katumpakan.
Ano ang halaga? Ang pangangatwiran ay nagpapataas ng gastos at latency habang ang modelo ay bumubuo ng higit pang "mga token sa pag-iisip." Kaya magiging mas mahal at mas mabagal. Isang simpleng "positibo ba ang pagsusuring ito?" Ang pangangatwiran sa tanong ay parang pagpatay ng langaw gamit ang martilyo; lumilikha ng mga hindi kinakailangang gastos at pagkaantala.
Babala: Huwag hayaang bukas ang reasoning mode para sa bawat gawain. Parehong mas mabilis at mas mura ang panatilihin itong sarado para sa mga simpleng gawain. Ang ilan sa mga modernong modelo ay may "adaptive" na mode ng pag-iisip na nagpapasya para sa sarili nito kung kailan ito kailangang mag-isip; Gayunpaman, ito ay ang iyong trabaho upang pamahalaan ito sinasadya.
Kalidad, Bilis, Tatsulok ng Gastos
priority
Angkop na antas
pangangatwiran
Pinakamababang gastos, mataas na volume
magaan ang timbang
sarado
Balanse (karamihan sa mga trabaho)
balanse
depende sa sitwasyon
Pinakamataas na katumpakan, kritikal na desisyon
malakas
bukas
Agad na tugon, mababang latency (chat)
Banayad/balanse
sarado
Kumplikado, multi-step na pagsusuri
malakas
bukas
Habang tinitingnan mo ang talahanayang ito, tanungin ang iyong sarili: "Ano ang magiging halaga kung magkamali ako sa gawaing ito?" Kung mataas ang presyo (wrong legal assessment, wrong financial decision) ang pamumuhunan ng malakas na kalibre at pangangatwiran ay makatwiran. Kung mababa ang presyo (misclassification ng isang label ng produkto), sapat na ang magaan at mabilis na modelo.
Maliit na Modelo o Malaking Modelo?
Taliwas sa popular na paniniwala, hindi lahat ng trabaho ay nangangailangan ng malaking modelo. Ang mga mas maliliit na modelo ay naging nakakagulat na may kakayahang, gumaganap ng maraming mga gawain sa ikasampu ang halaga at ilang beses ang bilis ng mas malaking modelo. Tatlong tanong para sa desisyon:
- Simple at formulaic ba ang gawain? (Pag-uuri, pagkuha, maikling buod) → Maliit na modelo.
- Masyado bang mataas ang volume at kritikal ang bilis? → Maliit na modelo, dahil ang malaking modelo ay mahal at mabagal.
- Nangangailangan ba ang gawain ng nuanced na pangangatwiran, pinahabang konteksto, o pagkamalikhain? → Malaking modelo.
Tatlong Makatotohanang Kaso
Case 1 — Ang magaan na modelo ay sapat na. Ang isang e-commerce team ay nag-uuri ng 40,000 komento ng customer sa isang araw sa positibo/negatibo/neutral. Sinusubukan nila ito sa makapangyarihang modelo at pagkatapos ay ihambing ito sa magaan na modelo: ang katumpakan ay halos pareho (96% vs 94%), ngunit ang magaan na modelo ay 8 beses na mas mura at 3 beses na mas mabilis. Ang magaan na modelo ay sa ngayon ang tamang pagpipilian para sa gawaing ito; Ang sobrang 2% na katumpakan ay hindi nagbibigay-katwiran sa 8x ng gastos.
Kaso 2 — Matibay na modelo + pangangatwiran ay kinakailangan. Nais ng isang tax consulting firm na kalkulahin ang isang kumplikadong multi-stage tax scenario. Ang magaan na modelo ay nagkakamali sa mga intermediate na hakbang at nagbibigay ng mga maling resulta. Kapag ginamit nila ang makapangyarihang modelo na naka-on ang reasoning mode, umuusad ang modelo nang hakbang-hakbang at naabot ang tamang konklusyon. Dito, katanggap-tanggap ang mga karagdagang gastos at pagkaantala dahil mataas ang halaga ng error; Gayunpaman, kinumpirma ng isang eksperto ang resulta.
Kaso 3 — Pinaghalong paggamit. Pinoproseso ng call center ang mga transcript ng tawag sa dalawang hakbang: una, maikli nitong ibinubuod ang bawat tawag gamit ang magaan na modelo (mataas na volume, simpleng trabaho), pagkatapos ay ibinibigay lang nito ang mga tawag na minarkahan bilang "mga reklamo" sa makapangyarihang modelo at nagsasagawa ng root cause analysis (low volume, kumplikadong trabaho). Kaya pinoproseso nila ang karamihan ng volume nang mura, habang inilalaan ang kapangyarihan ng malakas na pattern para sa ilang mga tawag na talagang mahalaga.
Mahina Prompt / Malakas na Prompt
Mahinang prompt:
Lutasin ang senaryo ng buwis na ito. [komplikadong senaryo]
Hindi malinaw kung gaano kaingat na isasaalang-alang ng modelo.
Napakahusay na prompt:
Ang iyong tungkulin: senior tax specialist. Gawain: Lutasin ang sumusunod na multi-stage scenario sunud-sunod. Ilista muna ang mga pagpapalagay, pagkatapos ay kalkulahin at ipakita ang bawat hakbang nang hiwalay, at sa wakas ay ibigay ang netong resulta. Kung may punto na hindi ka sigurado o depende sa batas, markahan ito bilang "kinakailangan ng kumpirmasyon ng eksperto". Nilaktawan ang mga intermediate na hakbang.[scenario]
Ginagabayan ng malakas na prompt ang modelo sa pamamagitan ng sunud-sunod na pag-iisip (naghihikayat sa pangangatwiran) at ginagawang nakikita ang mga intermediate na hakbang para sa pagpapatunay.
Mga Kopyadong Template
Stage 1 diagnosis:
Ang aking misyon: [GAWAIN]. Volume: [NUMBER/araw]. Gastos ng error: [LOW/MEDIUM/HIGH].Priyoridad sa bilis: [LOW/HIGH]. Batay sa profile na ito, anong antas (magaan/balanseng/malakas) at pangangatwiran (bukas/sarado) ang iyong irerekomenda? Pangatwiranan.
2. Maliit/malaking modelong desisyon:
Tinukoy ko ang sumusunod na gawain: [GAWAIN]. Maaari bang malutas ang problemang ito sa isang maliit (magaan) na modelo, o kailangan ba ng malaking modelo? Magmungkahi ng 3 test case at isang threshold ng tagumpay para subukan kong lutasin gamit ang maliit na modelo.
3. Kaangkupan ng pangangatwiran:
Magiging kapaki-pakinabang ba o magastos ang pangangatwiran (step-by-step na pag-iisip) sa sumusunod na gawain: [GAWAIN]? Pangatwiranan ang iyong desisyon batay sa bilang ng mga hakbang at lohikal na pagiging kumplikado ng gawain.
4. Dalawang yugto ng disenyo ng daloy ng trabaho:
Magdisenyo ng dalawang yugto ng daloy upang mabawasan ang gastos sa sumusunod na mataas na dami ng gawain [GAWAIN]: aling bahagi ang dapat pumunta sa magaan na modelo, aling bahagi ang dapat pumunta sa makapangyarihang modelo? Isulat ang antas at katwiran para sa bawat hakbang.
Mga karaniwang pagkakamali
- Isang makapangyarihang modelo para sa bawat trabaho: Paglikha ng mga hindi kinakailangang gastos at pagkaantala sa pamamagitan ng paggamit ng pinakamakapangyarihang modelo sa simple at malalaking trabaho.
- Palaging iwanan ang pangangatwiran: Pagpapanatiling naka-on ang mode ng pag-iisip sa mga simpleng gawain at pag-aaksaya ng oras at pera sa walang kabuluhan.
- Paggawa ng mga desisyon nang hindi sinusukat ang kalidad: Ipagpalagay na "mas malaki ang mas mahusay" nang hindi inihahambing ang dalawang antas sa iyong sariling data.
- Nakakalimutan ang pangangailangan para sa bilis: Sa mga lugar kung saan kailangan ng agarang tugon, gaya ng chat, pagpili ng mabagal na makapangyarihang modelo at pagpapanatiling naghihintay sa user.
- Hindi iniisip ang tungkol sa dalawang yugto ng daloy: Hindi pagkakaroon ng buong volume na binuo ng isang modelo at hindi nagtitipid sa bahagi na maaaring gawin nang mura.
Sa buod
- Ang pagpili ng modelo ay isang pagkilos ng pagbabalanse sa tatsulok ng kalidad, bilis at gastos; Ang pagpapabuti ng dalawa ay kadalasang nangangailangan ng pagkompromiso sa pangatlo.
- Ang liwanag na yugto ay angkop para sa mga simple/malalaking trabaho, ang malakas na yugto ay angkop para sa kumplikado/kritikal na mga trabaho; Ang balanseng yugto ay isang magandang simula para sa karamihan ng mga trabaho.
- Pinapabuti ng reasoning mode ang katumpakan sa mga multi-step na problema ngunit pinapataas ang gastos at latency; Hindi ito dapat hayaang bukas sa bawat gawain.
- "Ano ang halaga ng kabiguan sa misyong ito?" Ang tanong ay ang kumpas ng desisyon ng antas at pangangatwiran. Ang dalawang yugto ng daloy ay nagbibigay ng malaking pagtitipid sa dami ng mga trabaho.
Gawain ng aplikasyon
Pumili ng isang gawain sa iyong trabaho at tukuyin kung aling yugto at setting ng pangangatwiran ang naaangkop sa template 1 (stage diagnosis). Kung mataas ang volume ng gawain, gumawa ng disenyo na nagdidirekta ng ilan sa volume sa magaan na modelo at ang kritikal na bahagi sa malakas na modelo na may template 4 (two-stage workflow). Gagamitin natin ang disenyong ito sa pag-aaral ng portfolio ng modelo sa yunit 9.
checklist
- [ ] Maaari kong tugma ang katangian ng trabaho ng magaan, balanse at makapangyarihang mga yugto.
- [ ] Maaari kong ipaliwanag kung ano ang ginagawa ng reasoning mode at kung ano ang halaga nito.
- [ ] Malamang kong maitatag ang balanse ng kalidad-bilis-gastos para sa isang gawain.
- [ ] Masasagot ko ang maliit o malaking modelong tanong na may tatlong tanong.
- [ ] Maaari akong magdisenyo ng dalawang yugto ng daloy para sa isang mataas na dami ng trabaho.