Табыстар:
- Токен, енгізу/шығару маркерін ажырату және токенизация ұғымын түсіндіріңіз.
- Токендер саны мен бірлік бағасынан сұрау құнын және айлық жұмыс көлемін есептей алады
- Модельді таңдау мен жылдам ұзындықтың шығынға әсерін салыстыра алады
LLM API интерфейстерінің экономикасын түсінбей, шешімді масштабта құра алмайсыз. Демонстрация бір рет орындалады; Ең бастысы, айына мыңдаған қоңыраулар түскенде есепшоттың қандай болатынын болжай білу. Бұл бөлімде біз заттардың ақша жағын орнатамыз: таңбалауыш дегеніміз не, кіріс пен шығыс неліктен әртүрлі бағаланады, сұраныс құнын қалай есептеу керек және айлық жұмыс жүктемесін қалай бюджеттеу керек. Бұл ақпарат оңтайландыру әдістерінің (кэштеу, үлгіні таңдау, топтама) кейінгі бірліктерде қайтарылуын өлшеуге мүмкіндік береді.
Токен дегеніміз не?
Токен - модель мәтінді өңдейтін ең кіші бірлік. Сөз әрқашан белгі бола бермейді; лексема әдетте сөздің бір бөлігі болып табылады. Шамамен айтқанда, ағылшын тілінде 1 таңбалауыш ≈ 4 таңба ≈ 0,75 сөзді құрайды. Түрік тілінде және код тілінде қатынас өзгереді: түрік сөздері жұрнақ құрылымы мен әліпбиіне байланысты ағылшын тіліне қарағанда көбірек лексемаларға бөлінеді. Сондықтан токендердің санын көзбен болжаудың орнына провайдердің токендерді санау құралымен өлшеу қажет.
Токенизация (мәтінді таңбалауыштарға бөлу процесі) әр модель үшін әртүрлі болуы мүмкін. Мұның екі практикалық салдары бар: (1) Бір мәтін әртүрлі үлгілердегі таңбалауыштардың әртүрлі санын бере алады; (2) Басқа провайдерлердің токенизаторларымен жасалған болжамдар (мысалы, OpenAI тиктокен кітапханасы) Клод үшін дәл емес болады — пайдаланып жатқан модель үшін таңбалауыштарды санау кеңесін пайдаланыңыз.
Нұсқау: «Қанша токен туралы?» Сұраққа соқыр жауап бермеңіз. Төкендерді санау API арқылы өкілдік мәтінді өткізу; Бюджеттік шешімдерді өлшеуге негіздеу.
Енгізу және шығару таңбалауыштары
Шот-фактура екі элементтен тұрады:
- Енгізу таңбалауыштары: үлгіге жіберетін кез келген нәрсе — жүйе шақыруы, өткен турлар, пайдаланушы хабарламасы, бар болса құжаттама. Олардың барлығы бірден өңделеді.
- Шығару белгілері: үлгі шығарған жауап. Әрбір шығыс таңбалауышы үшін модель есептеуді қадам бойынша орындайды.
Көптеген провайдерлерде шығыс кірістен бірнеше есе қымбат. Себебі қарапайым: кірісті бірден оқу шығыс таңбалауышын таңбалауыш бойынша шығарудан арзанырақ. Бұл асимметрияны білу «қысқа жауаптарды қажет етеді» сияқты оңтайландырулардың неге соншалықты тиімді екенін түсіндіреді.
Үлгі бағалар (1 миллион токенге, АҚШ доллары)
Төмендегі кесте сілтеме болып табылады; Уақыт өте келе бағалар өзгеруі мүмкін, өзіңіздің провайдеріңіздің ағымдағы тізімін растаңыз.
үлгі класы
үлгі үлгісі
Кіріс ($/1 млн)
Шығару ($/1 млн)
Әдеттегі қолдану
жылдам/арзан
Хайку 4.5
1.00
5.00
Классификация, таңбалау, қарапайым түйіндеме
теңдестірілген
сонет 5
3.00
15.00
Жалпы мақсат, кодтау, агент жұмысы
күшті
Opus 4.8
5.00
25.00
Күрделі пайымдау, ұзақ мерзімді тапсырмалар
Әрбір сыныпта шығыс кірістен 5 есе көп; Оның үстіне, тіпті қуатты модельдің кірісі арзан модельдің кірісінен 5 есе көп. Бұл екі ось (кіріс↔шығыс және үлгі класы) сіздің шығындар туралы шешімдеріңіздің негізін құрайды.
Құнды қалай есептеу керек?
Формула қарапайым:
құны = (кіріс_таңбалауышы / 1,000,000) × кіріс_бағасы + (шығыс_токен / 1,000,000) × шығыс_бағасы
Есептік жазба үлгісі. Sonnet 5 бар сұрау: 1500 енгізу таңбалауышы, 400 шығыс таңбалауышы.
кіріс = 1,500 / 1,000,000 × 3,00 = $0,0045 шығыс = 400 / 1,000,000 × 15,00 = $0,0060 жалпы = $0,0105 (шамамен 1 цент)
Бір қоңырау арзан көрінеді. Бірақ көлемі бойынша көбейтіңіз: күніне 20 000 қоңырау → күніне $ 210, айына ~ $ 6 300. Бұл жерде масштаб ойнайды.
Ай сайынғы бюджет үлгісі
Жұмыс жүктемесінің айлық құнын шығару үшін мына үлгіні пайдаланыңыз:
1) Сұраныс бойынша орташа кіріс таңбалауышы: ......2) Сұраныс бойынша орташа шығыс таңбалауышы: ......3) Тәулігіне сұраулар саны: ......4) Бір айда жұмыс істеген күндер: ......5) Сұраныс құны = (1)/1М×кіріс_бағасы + (2)/1М×шығару_бағасы6) Айлық құн = (5) ×) (3) ×
Бұл үлгіні электрондық кестеге құйып, үлгіні өзгерткен кезде қосындының қалай орындалатынын көру үлгі таңдауы (5-бірлік) және кэш (6-бірлік) шешімдерін қамтиды.
Көшірілетін үлгілермен шақыруды қысқарту
Шығынның көп бөлігі қажетсіз ұзақ шақырулардан және ысырапталған өнімнен келеді. Төмендегі үлгілер тікелей үнемдеуді қамтамасыз етеді.
# Шығару ұзындығын шектеңіз. Ең көбі 3 элементпен жауап беріңіз. Негіздеме немесе кіріспе сөйлемді қосыңыз.
# Тек сұралған өрісті ғана қайтарыңыз Тек келесі JSON файлын қайтарыңыз, басқа мәтінді қоспаңыз:{"санат": "...", "шұғыл": "төмен|орташа|жоғары"}
# Қажетсіз контекстті жою Келесі мәтіннен тек күн мен соманы алып тастаңыз. Бүкіл мәтінді қайталамаңыз.Мәтін: """{{text}}"""
# Ұзақ сөйлеуді қорытындылау (енгізуді сақтау) Бұл сөзді 5 тармақта қорытындылаңыз. Мен келесі раундтарда толық өткеннің орнына осы қорытындыны қолданамын. Сөйлеу: """{{өткен}}"""
Әлсіз жедел / Күшті жедел (құны бойынша)
# ƏЛСІЗ (шығарылады, қымбат) Осы қолдау сұрауын талдап, маған жан-жақты шолу жазыңыз.
# КҮШТІ (шығаруды шектейді, арзан және болжамды) Осы қолдау сұрауын жіктеңіз. Жай ғана келесі JSON қайтарыңыз:{"категория":"шот-фактура|техникалық|қайтару|басқа","шұғыл":"төмен|орташа|жоғары"}Сипаттамасын жазбаңыз.
Әлсіз нұсқа 500 шығу таңбалауышын шығарады; күшті нұсқасы ~15. Шығару қымбат болғандықтан, бұл бір қоңырау үшін айтарлықтай айырмашылық және дыбыс көлеміне көбейтіледі.
Үш шағын корпус
1-жағдай – Ұзақ шақырудың жасырын құны. Бухгалтерлік есепті автоматтандыру әрбір шот-фактураны сұрыптағандықтан, ол әрбір сұрауға кіріс ретінде 40 беттік «ережелер кітабын» қосты: әрбір сұрау үшін ~12 000 енгізу таңбалауышы. Sonnet 5 арқылы 12 000/1М×3 = $0,036 енді ғана енгізілді. Күніне 5 000 вексель → күніне $180. Ережелер кітабын кэштеу (6 бірлік) енгізу құны ~90%-ға төмендеді.
2-жағдай – Модельді қысқартудың пайдасы. Бір команда Opus 4.8: 300 енгізу + 10 шығыс таңбалауышы арқылы қарапайым «оң/теріс» көңіл-күй тегтерін жасады. Opus құны 300/1М×5 + 10/1М×25 = $0,00175. Хайкуға ауысу, 300/1М×1 + 10/1М×5 = $0,00035 — 5 есе арзан, дәлдіктегі айырмашылық өлшеусіз болды. Айына 3 миллион қоңырауда айырмашылық $5,250 → $1,050 құрайды.
3-жағдай — шығысты шығару. Маркетингтік топ өнім сипаттамасын жасаған кезде, ол өнім көлеміне шектеу қоймады; модель кейде 1500 таңбалауышты айтты. Мен «максимум 60 сөз» нұсқаулығын қосқанда, орташа нәтиже 900-ден 90 токенге дейін төмендеді. Басып шығару қымбат болғандықтан, айлық есепшот үштен біріне қысқарды және мәтіндер пайдалырақ болды.
Жалпы қателер
- Токенді көзбен болжау: Сіз әсіресе түрік тілінде және кодта қателесуіңіз мүмкін. Өлшеу.
- Кіріс пен шығыс бірдей болса: Шығару әдетте әлдеқайда қымбатырақ; Оңтайландырудың көпшілігі шығысты қысқартудан келеді.
- Бір қоңыраудың арзандығына алданбаңыз: Шешім көлемі бойынша қабылданады. $0,01 × миллион = $10 000.
- Басқа провайдердің токенизаторымен болжау: дұрыс емес нәтижелер береді; Үлгінің таңбалауыштарды санау құралын пайдаланыңыз.
- Әңгімелесу тарихын шектеусіз ұлғайту: әр раунд жазбаға қосылады; ұзақ әңгімелерде қорытындылаңыз.
- `max_tokens` мәнін қажетсіз жоғары ұстау: бюджет жоспарын және қысқарту қаупін жасырады; Шынайы мән беріңіз.
Тереңірек: мәтінмәндік терезе және ұзақ енгізу құны
Бағаның тек «сұраныс бойынша» емес, «әңгімелесу бойынша» қалай көтерілетінін көру өте маңызды. Модель өңдей алатын мәтіннің жалпы көлемі контекстік терезе деп аталады; Енгізу мен шығару қосындысы осы терезеге сәйкес келуі керек. Заманауи үлгілер өте үлкен терезелерді (жүздеген мың, тіпті миллиондаған таңбалауыштарды) ұсынады, бірақ бұл «оны шексіз толтыруға» болатынын білдірмейді — терезеге не енгізсеңіз де кіріс ретінде есептелінеді.
Ұзақ сөйлесулердегі тұзақ мынада: әрбір жаңа айналымда сіз бүкіл тарихты қайтадан жібересіз (1-бөлімдегі азаматтығы жоқтық). 20 раундтық әңгімеде 20-шы сұрау барлық алғашқы 19 раундты кіріс ретінде орындайды. Осылайша, әңгіме ұзарған сайын, бір сұраудың құны сызықтық емес, жинақталған түрде өседі. Агент көмекшісімен 50 раундтық әңгіме енгізу шығындарын бірінші айналымға қарағанда ондаған есе арттыруы мүмкін.
Мұны басқарудың екі жолы бар. Біріншісі - қайталау: тек соңғы бірнеше раундтарды өңделмеген күйде сақтай отырып, ескі раундтарды бір қайталау блогына қысу. Екіншісі - жедел кэштеу (6 блок): бекітілген контекстті толық бағамен қайталап өңдеудің орнына бағаның оннан бір бөлігінде оқу. Олар бірге ұзақ, мәтінмәнді көп қажет ететін жұмыс жүктемелері бойынша заң жобасын айтарлықтай азайтады. Сонымен, токен экономикасы бір сұраныс емес, бүкіл сессияның дизайны туралы.
Қысқаша айтқанда
Токен – мәтін өңделетін ең кіші бірлік; кіріс пен шығыс бөлек бағаланады, ал шығару көбінесе әлдеқайда қымбатырақ болады. Шығын - бірлік бағасына көбейтілген токендердің саны, ал нақты шешім көлемі бойынша қабылданады. Шақыруды қысқарту, шығысты шектеу және тапсырманы орындайтын ең жеңіл үлгіні таңдау - шығындарды бірнеше есе төмендететін ең тікелей тұтқалар.
Қолданбалы тапсырма
Өзіңіздің тапсырмаңызды таңдаңыз. (1) Өкілдік сұрауға арналған кіріс және болжалды шығыс таңбалауыштарының санын анықтаңыз (мүмкіндігінше таңбалауышты санау құралымен өлшеңіз). (2) Үш үлгі класы үшін сұраныстың құнын есептеңіз. (3) Күнделікті сұраулар санын есептеңіз және үш үлгі үшін айлық бюджетті шығарыңыз. (4) Шығаруды қысқарту үшін нұсқауды қосыңыз және күтілетін үнемдеуді ескеріңіз.
бақылау парағы
- [ ] Токендер түсінігін түсіндіре аламын және токенизация үлгіге байланысты өзгереді.
- [ ] Мен кіріс және шығыс таңбалауыштарының бағасы неге басқаша екенін білемін.
- [ ] Сұраныс құнын формуламен есептей аламын.
- [ ] Үлгі арқылы жұмыс жүктемесі үшін айлық бюджет жасай аламын.
- [ ] Шығаруды қысқарту мен үлгіні азайтудың пайдасын мысалмен көрсете аламын.