Aonad 2 / 11

Loighic Chomhartha agus Praghsála

Gnóthachain:

  • Mínigh coincheap an chomharthaíochta, an t-idirdhealú comhartha ionchuir/aschuir agus comharthaíocht.
  • An féidir costas iarratais agus ualach oibre míosúil a ríomh ó líon na n-chomharthaí agus an praghas aonaid
  • Is féidir comparáid a dhéanamh idir tionchar roghnú múnla agus fad pras ar chostas

Ní féidir leat réiteach ar scála a thógáil gan eacnamaíocht LLM APIs a thuiscint. Ritheann taispeántas uair amháin; Is é an rud is mó a bheith in ann a thuar cad a bheidh sa bhille nuair a dhéantar na mílte glaonna in aghaidh na míosa. San aonad seo socraímid taobh an airgid de rudaí: cad is comhartha ann, cén fáth a bhfuil praghas difriúil ar ionchur agus aschur, conas costas iarratais a ríomh, agus conas ualach oibre míosúil a bhuiséadú. Ligeann an fhaisnéis seo duit filleadh na dteicnící leas iomlán a bhaint a thomhas (caching, roghnú múnla, bhaisc) in aonaid ina dhiaidh sin.

Cad é Token?

Is é Token an t-aonad is lú ina bpróiseálann an tsamhail téacs. Ní comhartha i gcónaí é focal; De ghnáth is cuid d'fhocal é token. Go garbh, i mBéarla, tá 1 chomhartha ≈ 4 carachtair ≈ 0.75 focal. Sa Tuircis agus i gcód, athraíonn an cóimheas: is minic a roinntear focail Tuircis i níos mó comharthaí ná mar atá sa Bhéarla mar gheall ar a struchtúr iarmhír agus a aibítir. Dá bhrí sin, is gá líon na n-airíonna a thomhas le huirlis chomhairimh chomharthaí an tsoláthraí seachas buille faoi thuairim de réir súl.

Féadfaidh chomharthaíocht (an próiseas chun téacs a roinnt ina chomharthaí) a bheith difriúil do gach samhail. Tá dhá iarmhairt phraiticiúil ag baint leis seo: (1) D’fhéadfadh líon éagsúil comharthaí a bheith mar thoradh ar an téacs céanna i múnlaí éagsúla; (2) Beidh na réamh-mheastacháin a dhéantar le comharthaíocht ó sholáthraithe eile (m.sh. leabharlann tiktoken de chuid OpenAI) míchruinn do Claude — bain úsáid as an leid chomhairimh chomharthaí don tsamhail atá in úsáid agat.

Leid: "Faoi cé mhéad comhartha?" Ná freagair an cheist go dall. Téacs ionadaíoch a chur ar aghaidh tríd an API comhairimh chomharthaí; Cinntí bonn-bhuiséid ar thomhas.

Comharthaí Ionchuir agus Aschuir

Tá dhá mhír sa sonrasc:

  • Comharthaí ionchuir: Rud ar bith a sheolann tú chuig an tsamhail — leid córais, turais san am atá thart, teachtaireacht úsáideora, doiciméadú más ann dóibh. Déantar iad seo go léir a phróiseáil ag an am céanna.
  • Comharthaí aschuir: An freagra a thug an tsamhail. I gcás gach comhartha aschuir, déanann an tsamhail an ríomh céim ar chéim.

Leis an gcuid is mó de na soláthraithe, bíonn an t-aschur arís agus arís eile níos daoire ná an t-ionchur. Is simplí an chúis: tá sé níos saoire an t-ionchur a léamh ag an am céanna ná an t-aschur comhartha ar chomhartha a tháirgeadh. Agus an neamhshiméadracht seo ar eolas agat, mínítear cén fáth a bhfuil leas iomlán a bhaint cosúil le “freagraí gonta” chomh héifeachtach.

Praghsanna samplacha (in aghaidh 1 milliún comharthaí, USD)

Tagairt atá sa tábla thíos; Féadfaidh praghsanna athrú le himeacht ama, deimhnigh liosta reatha do sholáthraí féin.

rang samhail

samhail samplach

Ionchur ($/1M)

Aschur ($/1M)

Úsáid tipiciúil

tapa/saor

Haiku 4.5

1. 00

5.00

Aicmiú, lipéadú, achoimre shimplí

cothrom

sonnet 5

3. 00

15.00

Cuspóir ginearálta, códú, obair ghníomhaire

láidir

Opus 4.8

5.00

25.00

Réasúnaíocht chasta, tascanna fadraoin

I ngach rang, is é an t-aschur 5 huaire an t-ionchur; Thairis sin, tá fiú ionchur an tsamhail chumhachtach 5 huaire ionchur an mhúnla saor. Cruthaíonn an dá ais seo (ionchur↔aschur agus aicme mhúnla) creat do chinntí costais.

Conas Costas a Ríomh?

Tá an fhoirmle simplí:

costas = (input_token / 1,000,000) × input_price + (aschur_token / 1,000,000) × aschur_praghas

Cuntas samplach. Iarratas le Sonnet 5: 1,500 comhartha ionchuir, 400 comhartha aschuir.

ionchur = 1,500 / 1,000,000 × 3.00 = $0.0045 aschur = 400 / 1,000,000 × 15.00 = $0.0060 iomlán = $0.0105 (thart ar 1 cent)

Breathnaíonn glao amháin saor. Ach méadaigh de réir toirte: 20,000 glao in aghaidh an lae → $210 in aghaidh an lae, ~$6,300 in aghaidh na míosa. Seo an áit a dtagann scála i bhfeidhm.

Teimpléad Buiséid Mhíosúil

Chun costas míosúil ualach oibre a bhaint as, bain úsáid as an teimpléad seo:

1) Meánchomhartha ionchuir in aghaidh an iarratais: ......2) Meánchomhartha aschuir in aghaidh an iarratais: ......3) Líon na n-iarratas in aghaidh an lae: ......4) Laethanta oibrithe in aghaidh na míosa: ......5) Costas in aghaidh an iarratais = (1)/1M×input_price + (2)/1M×output_price6) Costas míosúil = (5) ×

Má dhéantar an patrún seo a dhoirteadh isteach i scarbhileog agus féachaint conas a imríonn an tsuim nuair a athraíonn tú an tsamhail, cuimsíonn sé na cinntí maidir le roghnú na samhla (aonad 5) agus an taisce (aonad 6).

An Leid a ghiorrú le Teimpléid Inchóipeála

Tagann an chuid is mó den chostas ó leideanna fada gan ghá agus aschur amú. Soláthraíonn na teimpléid thíos coigilteas díreach.

# Teorainn a chur le fad aschuir. Freagair le 3 mhír ar a mhéad. Cuir réasúnaíocht nó abairt tosaigh leis.

# Ná tabhair ar ais ach an réimse iarrtha Ná tabhair ar ais ach an JSON seo a leanas, ná cuir téacs ar bith eile leis:{ "category": "...", "práinne": "íseal|meán|ard"}

# Bain comhthéacs neamhriachtanach Bain ach an dáta agus an méid ón téacs seo a leanas. Ná déan an téacs ar fad arís.Text: ""{{text}}"""

# Déan achoimre ar an gcaint fhada (coigilt ionchuir) Déan achoimre ar an gcaint seo i 5 mhír. Bainfidh mé úsáid as an achoimre seo in ionad an am atá caite iomlán sna babhtaí ina dhiaidh sin. Óráid: """{{ past }}"""

Leid lag / Leid láidir (i dtéarmaí costais)

# WEAK (eisíonn sé aschur, costasach)Déan anailís ar an iarratas tacaíochta seo agus scríobh léirmheas cuimsitheach chugam.

# STRONG (srianann aschur, saor agus intuartha) Déan an t-iarratas tacaíochta seo a rangú. Níl le déanamh ach an JSON seo a leanas a chur ar ais:{"category"::sonrasc|teicniúil|aisíocaíocht|eile", "práinne":"íseal|mheánach|ard"}Ná scríobh cur síos.

Táirgeann an leagan lag b'fhéidir 500 comhartha aschuir; leagan láidir ~15. Toisc go bhfuil aschur costasach, is difríocht shuntasach í seo in aghaidh an ghlao agus iolraíonn sé le toirt.

Trí Chás Mini

Cás 1 - Costas folaithe an leid fhada. De réir mar a shórtáil uathoibriú cuntasaíochta gach sonrasc, cuireadh “leabhar rialacha” 40 leathanach leis mar ionchur do gach iarratas: ~12,000 comhartha ionchuir in aghaidh an iarratais. Le Sonnet 5 12,000/1M×3 = $0.036 díreach curtha isteach. 5,000 billí in aghaidh an lae → $180 in aghaidh an lae. Trí thaisceadh a dhéanamh ar an leabhar rialacha (aonad 6) tháinig laghdú ~90% ar an gcostas ionchuir.

Cás 2 - An buntáiste a bhaineann le laghdú méide a dhéanamh ar an tsamhail. Bhí foireann amháin ag déanamh clibeála meon simplí “dearfach/diúltach” le Opus 4.8: 300 ionchur + 10 chomhartha aschuir. Costas Opus 300/1M×5 + 10/1M×25 = $0.00175. Ag aistriú go Haiku, 300/1M×1 + 10/1M×5 = $0.00035 - 5x níos saoire, bhí an difríocht sa chruinneas do-tomhaiste. Ar 3 mhilliún glao in aghaidh na míosa, is é an difríocht ná $5,250 → $1,050.

Cás 3 - An t-aschur a scaoileadh. Nuair a tháirg foireann mhargaíochta tuairisc ar an táirge, níor shocraigh sí aon teorainneacha ar an aschur; dúirt an tsamhail uaireanta 1,500 comhartha. Nuair a chuir mé an treoir "uasmhéid 60 focal" leis, thit an meán-aschur ó 900 go 90 comhartha. Ós rud é go raibh an priontáil costasach, laghdaíodh an bille míosúil faoi thrian, agus tháinig téacsanna níos úsáidí.

Botúin choitianta

  • Ag buille faoi thuairim an chomhartha de réir súl: Is féidir leat a bheith mícheart go háirithe sa Tuircis agus sa chód. Beart.
  • Ag glacadh leis go bhfuil ionchur agus aschur mar an gcéanna: De ghnáth bíonn an t-aschur i bhfad níos costasaí; Tagann an chuid is mó den leas iomlán a bhaint as an t-aschur a ghiorrú.
  • Ná bíodh drochmheas agat ar shaoire aon ghlao amháin: Is de réir toirte a dhéantar an cinneadh. $0.01 × milliún = $10,000.
  • Tuar le comharthaitheoir soláthraí eile: Tugann sé torthaí mícheart; Úsáid uirlis chomhairimh chomharthaí an mhúnla.
  • Méadú gan teorainn ar stair an chomhrá: Cuirtear gach babhta leis an iontráil; achoimre i gcomhráite fada.
  • Ag coinneáil `max_tokens` ard gan ghá: Folaíonn sé plean an bhuiséid agus an baol go ndéanfaí é a ghearradh; Tabhair luach réadúil.

Níos doimhne: Fuinneog Chomhthéacs agus Costas Ionchur Fada

Tá sé ríthábhachtach a fheiceáil conas a chruann an praghas "ar fud an chomhrá" agus ní hamháin "de réir iarratais." Tugtar an fhuinneog comhthéacs ar an méid iomlán téacs is féidir leis an tsamhail a phróiseáil; Caithfidh suim an ionchuir agus an aschuir teacht leis an bhfuinneog seo. Tairgeann samhlacha nua-aimseartha fuinneoga an-mhóra (na céadta mílte, fiú na milliúin comharthaí), ach ní chiallaíonn sé sin gur féidir leat "é a líonadh gan teorainn" - is mar ionchur a ghearrtar ar cibé rud a chuireann tú isteach san fhuinneog.

Is é seo an gaiste i gcomhráite fada: le gach babhta nua seolann tú an stair iomlán arís (gan stát in aonad 1). I gcomhrá 20 babhta, iompraíonn an 20ú iarratas na chéad 19 mbabhta ar fad mar ionchur. Mar sin, de réir mar a éiríonn an comhrá níos faide, méadaíonn an costas in aghaidh an iarratais go carnach seachas go líneach. Is féidir le comhrá 50 babhta le cúntóir gníomhaire costais ionchuir a tháirgeadh mórán uaireanta sa chéad bhabhta.

Tá dhá bhealach ann chun é seo a bhainistiú. Is é an chéad cheann ná achoimre: babhtaí níos sine a chomhbhrú isteach i mbloc athfhillteach amháin, gan ach an cúpla babhta deiridh a choinneáil amh. Is é an dara ceann caching pras (aonad 6): léamh an chomhthéacs seasta ag an deichiú cuid den phraghas in ionad é a phróiseáil arís agus arís eile ar an bpraghas iomlán. Le chéile, laghdaíonn siad go suntasach an bille ar ualaí oibre fada, dian-chomhthéacs. Mar sin baineann eacnamaíocht chomhartha le dearadh an tseisiúin iomláin, ní le hiarratas amháin.

Go hachomair

Is é Token an t-aonad is lú ina ndéantar téacs a phróiseáil; cuirtear praghas ar leith ar ionchur agus aschur, agus is minic go mbíonn an t-aschur i bhfad níos costasaí. Is é an costas ná líon na n-chomharthaí arna iolrú faoin bpraghas aonaid, agus déantar an cinneadh fíor de réir toirte. Is iad na luamháin is dírí a laghdaíonn an costas go leor uaireanta níos mó ná an pras a ghiorrú, an t-aschur a theorannú, agus an tsamhail is éadroime a roghnú a chomhlíonfaidh an tasc.

Tasc feidhmchláir

Roghnaigh tasc de do chuid féin. (1) Déan líon na n-airíonna ionchuir agus measta aschuir le haghaidh leid ionadaíoch a chinneadh (tomhais le huirlis chomhairimh chomharthaí más féidir). (2) Ríomh an costas in aghaidh an iarratais do na trí aicme mhúnla. (3) Déan meastachán ar líon laethúil na n-iarratas agus díorthaigh an buiséad míosúil do na trí mhúnla. (4) Cuir treoir leis chun an t-aschur a ghiorrú agus tabhair faoi deara an coigilteas a bhfuiltear ag súil leis.

seicliosta

  • [ ] Is féidir liom coincheap na chomharthaí a mhíniú agus go n-athraíonn comharthaíocht ag brath ar an tsamhail.
  • [ ] Tá a fhios agam cén fáth a bhfuil praghas difriúil ar chomharthaí ionchuir agus aschuir.
  • [ ] Is féidir liom costas iarratais a ríomh leis an bhfoirmle.
  • [ ] Is féidir liom buiséad míosúil a chruthú le haghaidh ualach oibre ag baint úsáide as teimpléad.
  • [ ] Is féidir liom a thaispeáint le sampla an tairbhe a bhaineann le laghdú an aschuir agus an tsamhail a laghdú.