Ieguvumi:
- Vieglu, līdzsvarotu un jaudīgu modeļa posmu un spriešanas režīma atpazīšana
- Atbilstoša modeļa līmeņa izvēle, pamatojoties uz uzdevuma sarežģītību
- Spēja apzināti noteikt līdzsvaru starp latentumu, precizitāti un izmaksām
Iemācījāmies aprēķināt cenu; Tagad parunāsim par to, ko mēs iegūstam par šo cenu, proti, modeļu līmeņiem un iespējām. Izvēloties modeli, pastāvīgi sacenšas trīs spēki: kvalitāte (precizitāte), ātrums (latents) un izmaksas. Divu no šiem trim uzlabošana bieži nozīmē trešās puses kompromisu. Vienībā jūs uzzināsiet par viegliem, līdzsvarotiem un jaudīgiem līmeņiem, spriešanas režīmu un maza/liela modeļa izvēli; Tu spēsi apzināti nodibināt pareizo līdzsvaru atbilstoši uzdevuma sarežģītībai.
Trīs līmeņi, trīs dažādi darba varoņi
Gandrīz katrs pakalpojumu sniedzējs piedāvā trīs līmeņus vienā ģimenē. Saskaņosim tos ar uzdevuma raksturu:
- Viegls līmenis (mazs modelis): ļoti ātrs, ļoti lēts, "pietiekami labs". Ideāli piemērots vienkāršiem, atkārtotiem, liela apjoma uzdevumiem: klasifikācija, instruktāža, marķēšana, datu tīrīšana, vienkārši atbilžu melnraksti.
- Līdzsvarots līmenis (vidējs modelis): laba kvalitāte, saprātīgs ātrums, saprātīgas izmaksas. “Noklusējuma” izvēle lielākajai daļai ikdienas darbu: satura veidošana, vidēja garuma analīze, klientu atbildes.
- Jaudīgs līmenis (liels modelis): augstākā kvalitāte, lēnākais, visdārgākais. Sarežģītai argumentācijai, ilgstošai un daudzpakāpju analīzei, sarežģītam kodam, precīzam juridiskam/finansiālam novērtējumam.
Padoms: labs sākuma noteikums: sāciet ar līdzsvarotu līmeni. Ja kvalitāte ir slikta, pārejiet uz stipru līmeni; Ja kvalitāte ir ļoti laba un skaļums ir augsts, samaziniet līdz apgaismojuma līmenim. Pieeja “sāc ar pietiekami labu”, nevis “sāc ar spēcīgāko” ietaupa gan naudu, gan laiku.
Kas ir spriešanas režīms?
Daži modeļi var vispirms soli pa solim "izdomāt" atbildi, nevis to ģenerēt tieši. To sauc par spriešanas režīmu. Modelis sadala problēmu daļās, apstrādā starpposmus sevī un tikai tad sniedz galīgo atbildi. Tas ir līdzīgi tam, kā skolēns soli pa solim uz papīra risina matemātikas uzdevumu.
Kad tas ir vērtīgs? Daudzpakāpju loģiskās problēmas: sarežģīts aprēķins, pretrunu noteikšana, gara secinājumu ķēde, sarežģīta koda kļūda. Šāda veida darbā argumentācija ievērojami palielina precizitāti.
Kādas ir izmaksas? Spriedums palielina izmaksas un latentumu, jo modelis ģenerē vairāk "domāšanas žetonu". Tātad tas būs gan dārgāks, gan lēnāks. Vienkāršs jautājums “vai šī atsauksme ir pozitīva?” Jautājuma argumentēšana ir kā muša nogalināšana ar āmuru; rada nevajadzīgas izmaksas un kavēšanos.
Uzmanību: neatstājiet spriešanas režīmu atvērtu katram uzdevumam. Ir gan ātrāk, gan lētāk turēt to slēgtu vienkāršu uzdevumu veikšanai. Daži no mūsdienu modeļiem ir aprīkoti ar "adaptīvo" domāšanas režīmu, kas pats izlemj, kad tam ir jādomā; Tomēr jūsu uzdevums ir to apzināti pārvaldīt.
Kvalitātes, ātruma, izmaksu trīsstūris
prioritāte
Atbilstošs līmenis
argumentācija
Zemākās izmaksas, liels apjoms
viegls
Slēgts
Bilance (lielākā daļa darbu)
līdzsvarots
atkarībā no situācijas
Augstākā precizitāte, kritisks lēmums
stiprs
atvērts
Tūlītēja atbilde, zems latentums (tērzēšana)
Viegls/līdzsvarots
Slēgts
Sarežģīta, daudzpakāpju analīze
stiprs
atvērts
Skatoties uz šo tabulu, pajautājiet sev: "Kādas būs izmaksas, ja es kļūdos šajā uzdevumā?" Ja cena ir augsta (nepareizs juridiskais novērtējums, nepareizs finansiālais lēmums), spēcīga un pamatota investīcija ir pamatota. Ja cena ir zema (preces etiķetes nepareiza klasifikācija), pietiek ar vieglu un ātru modeli.
Mazs modelis vai liels modelis?
Pretēji izplatītajam uzskatam, ne katram darbam ir nepieciešams liels modelis. Mazāki modeļi ir kļuvuši pārsteidzoši spējīgi, veicot daudzus uzdevumus par desmito daļu no izmaksām un vairākas reizes lielāku ātrumu nekā lielākais modelis. Trīs jautājumi lēmuma pieņemšanai:
- Vai uzdevums ir vienkāršs un formulēts? (Klasifikācija, ieguve, īss kopsavilkums) → Mazs modelis.
- Vai skaļums ir pārāk liels un ātrums ir kritisks? → Mazs modelis, jo lielais modelis ir dārgs un lēns.
- Vai uzdevums prasa niansētu argumentāciju, paplašinātu kontekstu vai radošumu? → Liels modelis.
Trīs reāli gadījumi
1. gadījums — pietiek ar vieglo modeli. E-komercijas komanda katru dienu sašķiro 40 000 klientu komentārus pozitīvos/negatīvos/neitrālos. Viņi to izmēģina ar jaudīgo modeli un tad salīdzina ar vieglo modeli: precizitāte ir gandrīz tāda pati (96% pret 94%), bet vieglais modelis ir 8 reizes lētāks un 3 reizes ātrāks. Vieglais modelis ir neapšaubāmi pareizā izvēle šim uzdevumam; Papildu 2% precizitāte neattaisno 8x izmaksas.
2. gadījums — spēcīgs modelis + pamatojums ir obligāts. Nodokļu konsultāciju firma vēlas aprēķināt sarežģītu daudzpakāpju nodokļu scenāriju. Viegls modelis pieļauj kļūdas starpposmos un dod nepareizus rezultātus. Kad viņi izmanto jaudīgo modeli ar ieslēgtu spriešanas režīmu, modelis virzās uz priekšu soli pa solim un nonāk pie pareiza secinājuma. Šeit papildu izmaksas un kavēšanās ir pieņemamas, jo kļūdas izmaksas ir augstas; Tomēr eksperts apstiprina rezultātu.
3. gadījums — jaukta lietošana. Zvanu centrs apstrādā zvanu atšifrējumus divos posmos: pirmkārt, tas īsi apkopo katru zvanu, izmantojot vieglu modeli (liels apjoms, vienkāršs uzdevums), pēc tam nodrošina jaudīgajam modelim tikai zvanus, kas atzīmēti kā "sūdzības", un veic pamatcēloņa analīzi (mazs apjoms, sarežģīts darbs). Tādējādi viņi lēti apstrādā lielāko daļu skaļuma, vienlaikus saglabājot spēcīgā modeļa jaudu dažiem patiešām svarīgiem zvaniem.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Atrisiniet šo nodokļu scenāriju. [sarežģīts scenārijs]
Nav skaidrs, cik rūpīgi modelis tiks apsvērts.
Spēcīga uzvedne:
Jūsu loma: vecākais nodokļu speciālists. Uzdevums: Soli pa solim atrisiniet šādu daudzpakāpju scenāriju. Vispirms uzskaitiet pieņēmumus, pēc tam aprēķiniet un parādiet katru soli atsevišķi un visbeidzot sniedziet neto rezultātu. Ja ir kāds punkts, par kuru neesat pārliecināts vai kas ir atkarīgs no likumdošanas, atzīmējiet to kā "nepieciešams eksperta apstiprinājums". Starpposmu izlaišana.[scenārijs]
Spēcīgā uzvedne virza modeli soli pa solim domāšanā (veicinot argumentāciju) un padara redzamus starpposmus, lai nodrošinātu pārbaudāmību.
Kopējamas veidnes
Diagnoze pirmais posms:
Mana misija: [UZDEVUMS]. Apjoms: [NUMBER/dienā]. Kļūdas izmaksas: [ZEMS/VIDĒJS/AUGSTS]. Ātruma prioritāte: [ZEMS/AUGSTS]. Pamatojoties uz šo profilu, kādu līmeni (viegls/līdzsvarots/spēcīgs) un argumentāciju (atvērts/slēgts) jūs ieteiktu? Pamatot.
2. Maza/liela modeļa lēmums:
Es definēju šādu uzdevumu: [UZDEVUMS]. Vai šo problēmu var atrisināt ar mazu (vieglu) modeli, vai arī ir nepieciešams liels modelis? Iesakiet 3 testa gadījumus un veiksmes slieksni, lai mēģinātu atrisināt ar mazo modeli.
3. Pamatojuma atbilstība:
Vai argumentācijas (soli pa solim domāšanas) režīms būtu izdevīgs vai dārgs šādos uzdevumos: [UZDEVUMS]? Pamatojiet savu lēmumu, pamatojoties uz soļu skaitu un uzdevuma loģisko sarežģītību.
4. Divpakāpju darbplūsmas dizains:
Izveidojiet divpakāpju plūsmu, lai samazinātu izmaksas šādam liela apjoma uzdevumam [UZDEVUMS]: kurai daļai vajadzētu būt vieglajam modelim, kurai daļai jaudīgajam modelim? Uzrakstiet katra soļa līmeni un pamatojumu.
Biežas kļūdas
- Spēcīgs modelis katram darbam: radot nevajadzīgas izmaksas un kavēšanos, izmantojot jaudīgāko modeli vienkāršos un apjomīgos darbos.
- Vienmēr atstājot argumentāciju ieslēgtu: saglabājiet domāšanas režīmu vienkāršos uzdevumos un velti tērējiet laiku un naudu.
- Lēmumu pieņemšana, nemērot kvalitāti: pieņemot, ka “lielāks, jo labāk”, nesalīdzinot divus līmeņus ar saviem datiem.
- Aizmirstot par nepieciešamību pēc ātruma: vietās, kur nepieciešama tūlītēja atbilde, piemēram, tērzēšana, lēna jaudīga modeļa izvēle un lietotāja gaidīšana.
- Nemaz nedomājot par divpakāpju plūsmu: neveidojot visu tilpumu, izmantojot vienu modeli, un netaupot uz daļu, ko var izdarīt lēti.
Rezumējot
- Modeļa izvēle ir līdzsvarošanas akts kvalitātes, ātruma un izmaksu trīsstūrī; Lai uzlabotu divus, bieži vien ir jākompromitē trešais.
- Vieglā skatuve ir piemērota vienkāršiem/lielgabarīta darbiem, stiprā skatuve ir piemērota sarežģītiem/kritiskiem darbiem; Līdzsvarotais posms ir labs sākums lielākajai daļai darbu.
- Spriešanas režīms uzlabo daudzpakāpju problēmu precizitāti, bet palielina izmaksas un latentumu; To nevajadzētu atstāt atvērtu katram uzdevumam.
- "Cik maksā neveiksmes šajā misijā?" Jautājums ir par līmeņa un argumentācijas lēmuma kompasu. Divpakāpju plūsmas nodrošina lielus ietaupījumus, veicot liela apjoma darbus.
Lietojumprogrammas uzdevums
Atlasiet uzdevumu savā darbā un nosakiet, kurš posms un argumentācijas iestatījums ir piemērots, izmantojot 1. veidni (posma diagnostika). Ja uzdevums ir liels apjoms, izstrādājiet dizainu, kas daļu apjoma novirza uz vieglo modeli un kritisko daļu uz spēcīgu modeli ar 4. veidni (divpakāpju darbplūsma). Mēs izmantosim šo dizainu modeļa portfeļa izpētē 9. nodaļā.
kontrolsaraksts
- [ ] Varu pieskaņot darba raksturu vieglām, līdzsvarotām un jaudīgām skatuvēm.
- [ ] Es varu izskaidrot, ko dara argumentācijas režīms un cik tas maksā.
- [ ] Es varu apzināti noteikt kvalitātes, ātruma un izmaksu līdzsvaru uzdevumam.
- [ ] Uz mazā vai lielā modeļa jautājumu varu atbildēt ar trim jautājumiem.
- [ ] Es varu izstrādāt divpakāpju plūsmu liela apjoma darbam.