Awọn anfani:
- Ṣe alaye imọran ti àmi, igbewọle/itọjade ami iyasọtọ ati isọdi.
- Le ṣe iṣiro idiyele ti ibeere kan ati iṣẹ ṣiṣe oṣooṣu kan lati nọmba awọn ami-ami ati idiyele ẹyọkan
- Le ṣe afiwe ipa ti yiyan awoṣe ati gigun gigun lori idiyele
O ko le kọ ojutu kan ni iwọn laisi agbọye ọrọ-aje ti LLM APIs. A demo nṣiṣẹ ni kete ti; Ohun akọkọ ni lati ni anfani lati ṣe asọtẹlẹ kini owo naa yoo jẹ nigbati ẹgbẹẹgbẹrun awọn ipe ṣe ni oṣu kan. Ninu ẹyọ yii a ṣeto ẹgbẹ owo ti awọn nkan: kini ami ami kan, kilode ti titẹ sii ati iṣẹjade ti wa ni idiyele ni oriṣiriṣi, bii o ṣe le ṣe iṣiro idiyele idiyele kan, ati bii o ṣe le ṣe isuna iṣẹ ṣiṣe oṣooṣu kan. Alaye yii ngbanilaaye lati wiwọn ipadabọ ti awọn ilana imudara (caching, yiyan awoṣe, ipele) ni awọn iwọn atẹle.
Kini Token?
Àmi ni awọn kere kuro ninu eyi ti awọn awoṣe ilana ọrọ. Ọrọ kan kii ṣe ami-ami nigbagbogbo; àmi jẹ nigbagbogbo apa kan ọrọ. Ni aijọju, ni ede Gẹẹsi, ami ami kan jẹ ≈ 4 awọn kikọ ≈ 0.75 awọn ọrọ. Ni Tọki ati koodu, ipin naa yatọ: Awọn ọrọ Tọki nigbagbogbo pin si awọn ami-ami diẹ sii ju ni Gẹẹsi nitori eto isunmọ rẹ ati alfabeti. Nitorina, o jẹ dandan lati wiwọn awọn nọmba ti àmi pẹlu awọn olupese ká àmi kika ọpa kuku ju lafaimo nipa oju.
Tokenization (ilana ti pipin ọrọ sinu awọn ami) le yatọ fun awoṣe kọọkan. Eyi ni awọn abajade ilowo meji: (1) Ọrọ kanna le mu awọn nọmba oriṣiriṣi ti awọn ami jade ni awọn awoṣe oriṣiriṣi; (2) Awọn asọtẹlẹ ti a ṣe pẹlu awọn tokenizers lati ọdọ awọn olupese miiran (fun apẹẹrẹ ile-ikawe tiktoken OpenAI) yoo jẹ aiṣedeede fun Claude - lo sample kika ami ami fun awoṣe ti o nlo.
Imọran: "Nipa awọn ami-ami melo ni?" Maṣe dahun ibeere naa ni afọju. Ṣe ọrọ aṣoju nipasẹ API kika kika; Awọn ipinnu isuna ipilẹ lori wiwọn.
Input ati Output Àmi
Iwe-owo naa ni awọn nkan meji:
- Awọn ami titẹ sii: Ohunkohun ti o fi ranṣẹ si awoṣe - eto eto, awọn irin-ajo ti o kọja, ifiranṣẹ olumulo, iwe ti eyikeyi. Awọn wọnyi ti wa ni ilọsiwaju gbogbo ni ẹẹkan.
- Awọn ami iṣejade: Idahun ti a ṣe nipasẹ awoṣe. Fun ami iyasọtọ kọọkan, awoṣe ṣe iṣiro ni igbese nipa igbese.
Pẹlu ọpọlọpọ awọn olupese, iṣẹjade jẹ ọpọlọpọ igba diẹ gbowolori ju titẹ sii. Idi ni o rọrun: kika awọn igbewọle gbogbo ni ẹẹkan jẹ din owo ju producing awọn ti o wu tokini-nipasẹ-àmi. Mọ asymmetry yii ṣalaye idi ti awọn iṣapeye bii “beere awọn idahun ṣoki” jẹ doko.
Awọn idiyele ayẹwo (fun awọn ami-ami miliọnu kan, USD)
Awọn tabili ni isalẹ ni a itọkasi; Awọn idiyele le yipada ni akoko pupọ, jọwọ jẹrisi atokọ lọwọlọwọ ti olupese tirẹ.
kilasi awoṣe
apẹẹrẹ apẹẹrẹ
Iṣawọle ($/1M)
Ijade ($/1M)
Aṣoju lilo
sare / poku
Haiku 4.5
1.00
5.00
Isọri, isamisi, akopọ ti o rọrun
iwontunwonsi
sonnet 5
3.00
15.00
Idi gbogbogbo, ifaminsi, iṣẹ aṣoju
lagbara
Opus 4.8
5.00
25.00
Idiyele idiju, awọn iṣẹ-ṣiṣe gigun-gun
Ni kọọkan kilasi, o wu ni 5 igba awọn input; Pẹlupẹlu, paapaa titẹ sii ti awoṣe ti o lagbara jẹ 5 igba titẹ sii ti awoṣe olowo poku. Awọn aake meji wọnyi (input↔jade ati kilasi awoṣe) ṣe agbekalẹ ilana ti awọn ipinnu idiyele rẹ.
Bawo ni lati ṣe iṣiro iye owo?
Ilana naa rọrun:
iye owo = (input_token / 1,000,000) × input_price + (jade_token / 1,000,000) ×jade_price
Apeere iroyin. Ibeere kan pẹlu Sonnet 5: awọn ami titẹ sii 1,500, awọn ami itẹjade 400.
titẹ sii = 1,500 / 1,000,000 × 3.00 = $0.0045 iṣẹjade = 400 / 1,000,000 × 15.00 = $0.0060 lapapọ = $0.0105 (nipa 1 senti)
Ọkan ipe wulẹ poku. Ṣugbọn isodipupo nipasẹ iwọn didun: Awọn ipe 20,000 fun ọjọ kan → $210 fun ọjọ kan, ~ $6,300 fun oṣu kan. Eyi ni ibi ti iwọn ba wa sinu ere.
Oṣooṣu Isuna Àdàkọ
Lati yọkuro idiyele oṣooṣu ti ẹru iṣẹ kan, lo awoṣe yii:
1) Àmì ìdánilẹ́kọ̀ọ́ ìpíndọ́gba fún ìbéèrè: ......2) Àmì àbájáde ìpíndọ́gba fún ìbéèrè: ......3) Nọmba àwọn ìbéèrè fún ọjọ́ kan: ......4) Àwọn ọjọ́ tí a ń ṣiṣẹ́ fún oṣù: ......5) Iye owó fún ìbéèrè = (1)/1M×input_price + (2)/1M×output_price6) Iye owó oṣù = (5) × (3) × (4)
Tú apẹrẹ yii sinu iwe kaunti kan ati rii bi apao ṣe n ṣiṣẹ nigbati o ba yipada awoṣe ṣe afihan yiyan awoṣe (kuro 5) ati kaṣe (ipin 6) awọn ipinnu.
Kikuru Tọ pẹlu Awọn awoṣe Copiable
Pupọ julọ idiyele naa wa lati awọn itusilẹ gigun ti ko wulo ati iṣelọpọ asonu. Awọn awoṣe ti o wa ni isalẹ pese awọn ifowopamọ taara.
# Fi opin si ipari ipari. Dahun pẹlu o pọju awọn nkan mẹta. Ṣafikun ọgbọn-ipin tabi gbolohun ifọrọwerọ.
# Pada aaye ti o beere nikan Pada JSON wọnyi nikan, maṣe fi ọrọ kankan kun:{"ẹka": "...", "ikanju": "kekere|alabọde|giga"}
# Yọọ ọrọ ti ko wulo Yọ ọjọ ati iye nikan kuro ni ọrọ atẹle. Maṣe tun gbogbo ọrọ naa ṣe. Ọrọ: """{{text}}""
# Ṣe akopọ ọrọ gigun (fifipamọ awọn titẹ sii) Ṣe akopọ ọrọ yii ni awọn nkan 5. Emi yoo lo akopọ yii dipo ti o ti kọja ni kikun ni awọn iyipo ti o tẹle. Ọrọ: """{{ti o ti kọja}}"""
Ilọsiwaju alailagbara / itara to lagbara (ni awọn ofin idiyele)
# WEAK (ijadejade, gbowolori) Ṣe itupalẹ ibeere atilẹyin yii ki o kọ atunyẹwo pipe si mi.
# STRONG (ijade awọn idiwọ, olowo poku ati asọtẹlẹ) Sọtọ ibeere atilẹyin yii. Kan da JSON wọnyi pada:{"ẹka":"risiti|imọ-ẹrọ| agbapada|miiran","ijakadi":"kekere|medium|giga"}Maṣe kọ apejuwe kan.
Awọn ailagbara ti ikede fun wa boya 500 o wu àmi; lagbara ti ikede ~ 15. Nitori iṣẹjade jẹ gbowolori, eyi jẹ iyatọ nla fun ipe ati isodipupo pẹlu iwọn didun.
Mẹta Mini igba
Irú 1 - Awọn farasin iye owo ti awọn gun tọ. Gẹgẹbi adaṣe ṣiṣe iṣiro ṣe lẹsẹsẹ lẹsẹsẹ risiti kọọkan, o ṣafikun “iwe ofin” oju-iwe 40 kan gẹgẹbi titẹ si ibeere kọọkan: ~ 12,000 awọn ami titẹ sii fun ibeere. Pẹlu Sonnet 5 12,000/1M × 3 = $ 0.036 kan wọle. Awọn owo 5,000 fun ọjọ kan → $ 180 fun ọjọ kan. Nipa fifipamọ iwe ofin (ẹyọkan 6) idiyele titẹ sii silẹ nipasẹ ~90%.
Ọran 2 - Isanwo ti idinku awoṣe. Ẹgbẹ kan n ṣe afiṣamisi imọlara “rere/odi” ti o rọrun pẹlu Opus 4.8: 300 input + 10 awọn ami igbejade. Opus iye owo 300/1M×5 + 10/1M×25 = $0.00175. Yipada si Haiku, 300/1M×1 + 10/1M×5 = $0.00035 — 5x din owo, iyato ni deede ko ni iwọn. Lori awọn ipe miliọnu mẹta fun oṣu kan, iyatọ jẹ $5,250 → $1,050.
Ọran 3 - Idasile abajade. Nigba ti ẹgbẹ tita kan ṣe apejuwe ọja kan, ko ṣeto awọn opin lori iṣẹjade; awoṣe ma wi 1.500 àmi. Nigbati mo ṣafikun itọnisọna “awọn ọrọ 60 ti o pọju”, iṣelọpọ apapọ silẹ lati awọn ami-ami 900 si 90. Níwọ̀n bó ti jẹ́ pé títẹ̀ wọ́n lọ́wọ́, iye owó oṣù náà ti dín kù sí ìdá mẹ́ta, àwọn ọ̀rọ̀ inú ìwé sì túbọ̀ wúlò.
Awọn aṣiṣe ti o wọpọ
- Ti o gboju aami nipasẹ oju: O le jẹ aṣiṣe ni pataki ni Tọki ati koodu. Iwọn.
- Ti a ro pe titẹ sii ati iṣelọpọ jẹ kanna: Ijade jẹ nigbagbogbo gbowolori diẹ sii; Pupọ julọ ti iṣapeye wa lati kikuru iṣẹjade.
- Maṣe jẹ ki o tan ọ jẹ nipasẹ aiku ti ipe kan: Ipinnu naa jẹ nipasẹ iwọn didun. $0.01 × milionu = $10,000.
- Asọtẹlẹ pẹlu olutọpa olupese miiran: Nfun awọn abajade ti ko tọ; Lo ohun elo kika àmi awoṣe.
- Unlimited gbooro ti itan ibaraẹnisọrọ: Kọọkan yika ti wa ni afikun si awọn Akọsilẹ; akopọ ninu awọn ibaraẹnisọrọ gigun.
- Ntọju `max_tokens' ti ko ni dandan: tọju ero isuna ati eewu ti gige; Fun kan bojumu iye.
Jinle: Ferese ọrọ ati idiyele Input Gigun
O ṣe pataki lati rii bi idiyele ṣe ṣe akopọ “kọja ibaraẹnisọrọ naa” kii ṣe “fun ibeere nikan.” Lapapọ iye ọrọ ti awoṣe le ṣe ni a pe ni window ti o tọ; Apapọ igbewọle ati iṣẹjade gbọdọ baamu si window yii. Awọn awoṣe ode oni nfunni awọn ferese ti o tobi pupọ (awọn ọgọọgọrun egbegberun, paapaa awọn miliọnu awọn ami), ṣugbọn iyẹn ko tumọ si pe o le “kun ni ailopin” - ohunkohun ti o ba fi sinu window ti wa ni idiyele bi titẹ sii.
Pakute ni awọn ibaraẹnisọrọ gigun ni eyi: pẹlu iyipo tuntun kọọkan o tun fi gbogbo itan ranṣẹ lẹẹkansii (aini ipinlẹ ni ẹyọkan 1). Ninu ibaraẹnisọrọ 20-yika, ibeere 20th gbe gbogbo awọn iyipo 19 akọkọ bi titẹ sii. Nitorinaa, bi ibaraẹnisọrọ naa ṣe gun, idiyele fun ibeere kan n dagba ni akopọ dipo laini. Ibaraẹnisọrọ 50-yika pẹlu oluranlọwọ aṣoju le gbejade awọn idiyele titẹ sii awọn dosinni ti awọn akoko yika akọkọ.
Awọn ọna meji lo wa lati ṣakoso eyi. Ni igba akọkọ ti ni atunṣe: compressing agbalagba iyipo sinu kan nikan recap Àkọsílẹ, fifi nikan awọn ti o kẹhin diẹ iyipo aise. Awọn keji ni kiakia caching (kuro 6): kika awọn ti o wa titi ipo ni idamẹwa ti awọn owo dipo ti leralera processing ni kikun owo. Papọ, wọn dinku owo naa ni pataki lori awọn iṣẹ ṣiṣe to gun, ti o lekoko. Nitorinaa ọrọ-aje tokini jẹ nipa apẹrẹ ti gbogbo igba, kii ṣe ibeere kan.
Ni akojọpọ
Tokini jẹ ẹyọ ti o kere julọ ninu eyiti a ṣe ilana ọrọ; input ati o wu wa ni owole lọtọ, ati awọn ti o wu ni igba Elo diẹ gbowolori. Iye owo naa jẹ nọmba awọn ami-ami ti o pọ si nipasẹ idiyele ẹyọkan, ati pe ipinnu gidi jẹ nipasẹ iwọn didun. Kikuru itọka, didin abajade, ati yiyan awoṣe ti o fẹẹrẹ julọ ti o ṣe iṣẹ-ṣiṣe naa jẹ awọn lefa taara julọ ti o dinku idiyele ni ọpọlọpọ igba.
Ohun elo iṣẹ-ṣiṣe
Yan iṣẹ-ṣiṣe ti ara rẹ. (1) Ṣe ipinnu nọmba ti titẹ sii ati awọn ami itẹjade ifoju fun itọsi aṣoju (diwọn pẹlu ohun elo kika ami ti o ba ṣeeṣe). (2) Ṣe iṣiro idiyele fun ibeere fun awọn kilasi awoṣe mẹta. (3) Ṣe iṣiro nọmba awọn ibeere rẹ lojoojumọ ki o gba isuna oṣooṣu fun awọn awoṣe mẹta naa. (4) Ṣafikun itọnisọna kan lati kuru iṣẹjade ati akiyesi awọn ifowopamọ ti a nireti.
akojọ ayẹwo
- [] Mo ti le se alaye awọn Erongba ti àmi ati pe tokenization yatọ da lori awọn awoṣe.
- [] Mo mọ idi ti awọn titẹ sii ati awọn ami-ijade ti wa ni idiyele ti o yatọ.
- [] Mo le ṣe iṣiro iye owo ti ibeere kan pẹlu agbekalẹ.
- [] Mo ti le ṣẹda kan oṣooṣu isuna fun a iṣẹ kan lilo awoṣe.
- [] Mo le ṣe afihan pẹlu apẹẹrẹ anfani ti kikuru iṣẹjade ati idinku awoṣe.