లాభాలు:
- టోకెన్, ఇన్పుట్/అవుట్పుట్ టోకెన్ వ్యత్యాసం మరియు టోకనైజేషన్ భావనను వివరించండి.
- టోకెన్ల సంఖ్య మరియు యూనిట్ ధర నుండి అభ్యర్థన ఖర్చు మరియు నెలవారీ పనిభారాన్ని లెక్కించవచ్చు
- మోడల్ ఎంపిక యొక్క ప్రభావాన్ని మరియు ధరపై ప్రాంప్ట్ పొడవును పోల్చవచ్చు
LLM APIల ఆర్థిక శాస్త్రాన్ని అర్థం చేసుకోకుండా మీరు స్కేల్లో పరిష్కారాన్ని రూపొందించలేరు. ఒక డెమో ఒకసారి నడుస్తుంది; ప్రధాన విషయం ఏమిటంటే, నెలకు వేల సంఖ్యలో కాల్స్ చేసినప్పుడు బిల్లు ఎంత ఉంటుందో అంచనా వేయగలగాలి. ఈ యూనిట్లో మేము డబ్బు వైపు వస్తువులను సెటప్ చేస్తాము: టోకెన్ అంటే ఏమిటి, ఇన్పుట్ మరియు అవుట్పుట్ ఎందుకు భిన్నంగా ధర నిర్ణయించబడతాయి, అభ్యర్థన ధరను ఎలా లెక్కించాలి మరియు నెలవారీ పనిభారాన్ని ఎలా బడ్జెట్ చేయాలి. ఈ సమాచారం తదుపరి యూనిట్లలో ఆప్టిమైజేషన్ టెక్నిక్ల (కాషింగ్, మోడల్ ఎంపిక, బ్యాచ్) రిటర్న్ను కొలవడానికి మిమ్మల్ని అనుమతిస్తుంది.
టోకెన్ అంటే ఏమిటి?
టోకెన్ అనేది మోడల్ టెక్స్ట్ని ప్రాసెస్ చేసే అతి చిన్న యూనిట్. ఒక పదం ఎల్లప్పుడూ టోకెన్ కాదు; టోకెన్ సాధారణంగా పదంలో ఒక భాగం. స్థూలంగా చెప్పాలంటే, ఆంగ్లంలో, 1 టోకెన్ అంటే ≈ 4 అక్షరాలు ≈ 0.75 పదాలు. టర్కిష్ మరియు కోడ్లో, నిష్పత్తి మారుతూ ఉంటుంది: టర్కిష్ పదాలు దాని ప్రత్యయం నిర్మాణం మరియు వర్ణమాల కారణంగా తరచుగా ఆంగ్లంలో కంటే ఎక్కువ టోకెన్లుగా విభజించబడ్డాయి. అందువల్ల, కంటి ద్వారా ఊహించడం కంటే ప్రొవైడర్ యొక్క టోకెన్ లెక్కింపు సాధనంతో టోకెన్ల సంఖ్యను కొలవడం అవసరం.
టోకనైజేషన్ (టెక్స్ట్ను టోకెన్లుగా విభజించే ప్రక్రియ) ఒక్కో మోడల్కు భిన్నంగా ఉండవచ్చు. ఇది రెండు ఆచరణాత్మక పరిణామాలను కలిగి ఉంది: (1) ఒకే వచనం వేర్వేరు నమూనాలలో వేర్వేరు సంఖ్యల టోకెన్లను అందించవచ్చు; (2) ఇతర ప్రొవైడర్ల (ఉదా. OpenAI యొక్క టిక్టోకెన్ లైబ్రరీ) నుండి టోకెనైజర్లతో చేసిన అంచనాలు క్లాడ్కి సరికావు - మీరు ఉపయోగిస్తున్న మోడల్ కోసం టోకెన్ లెక్కింపు చిట్కాను ఉపయోగించండి.
సూచన: "ఎన్ని టోకెన్ల గురించి?" అనే ప్రశ్నకు గుడ్డిగా సమాధానం చెప్పకండి. టోకెన్ లెక్కింపు API ద్వారా ప్రతినిధి వచనాన్ని పాస్ చేయండి; కొలతపై బేస్ బడ్జెట్ నిర్ణయాలు.
ఇన్పుట్ మరియు అవుట్పుట్ టోకెన్లు
ఇన్వాయిస్ రెండు అంశాలను కలిగి ఉంటుంది:
- ఇన్పుట్ టోకెన్లు: మీరు మోడల్కి పంపే ఏదైనా — సిస్టమ్ ప్రాంప్ట్, గత పర్యటనలు, వినియోగదారు సందేశం, డాక్యుమెంటేషన్ ఏదైనా ఉంటే. ఇవి ఒకేసారి ప్రాసెస్ చేయబడతాయి.
- అవుట్పుట్ టోకెన్లు: మోడల్ ఉత్పత్తి చేసిన ప్రతిస్పందన. ప్రతి అవుట్పుట్ టోకెన్ కోసం, మోడల్ దశల వారీగా గణనను నిర్వహిస్తుంది.
చాలా మంది ప్రొవైడర్లతో, అవుట్పుట్ ఇన్పుట్ కంటే చాలా రెట్లు ఎక్కువ ఖరీదైనది. కారణం చాలా సులభం: అవుట్పుట్ టోకెన్-బై-టోకెన్ను ఉత్పత్తి చేయడం కంటే ఇన్పుట్ను ఒకేసారి చదవడం చౌకగా ఉంటుంది. ఈ అసమానతను తెలుసుకోవడం వలన “సంక్షిప్త సమాధానాలు అవసరం” వంటి ఆప్టిమైజేషన్లు ఎందుకు ప్రభావవంతంగా ఉన్నాయో వివరిస్తుంది.
నమూనా ధరలు (ప్రతి 1 మిలియన్ టోకెన్లు, USD)
దిగువ పట్టిక ఒక సూచన; కాలానుగుణంగా ధరలు మారవచ్చు, దయచేసి మీ స్వంత ప్రొవైడర్ యొక్క ప్రస్తుత జాబితాను నిర్ధారించండి.
మోడల్ తరగతి
నమూనా నమూనా
ఇన్పుట్ ($/1M)
అవుట్పుట్ ($/1M)
సాధారణ వినియోగం
వేగవంతమైన/చౌక
హైకూ 4.5
1.00
5.00
వర్గీకరణ, లేబులింగ్, సాధారణ సారాంశం
సమతుల్యం
సొనెట్ 5
3.00
15.00
సాధారణ ప్రయోజనం, కోడింగ్, ఏజెంట్ పని
బలమైన
ఓపస్ 4.8
5.00
25.00
సంక్లిష్టమైన తార్కికం, దీర్ఘ-శ్రేణి పనులు
ప్రతి తరగతిలో, అవుట్పుట్ ఇన్పుట్ కంటే 5 రెట్లు ఉంటుంది; అంతేకాకుండా, శక్తివంతమైన మోడల్ యొక్క ఇన్పుట్ కూడా చౌక మోడల్ యొక్క ఇన్పుట్ కంటే 5 రెట్లు ఎక్కువ. ఈ రెండు అక్షాలు (ఇన్పుట్↔అవుట్పుట్ మరియు మోడల్ క్లాస్) మీ వ్యయ నిర్ణయాల ఫ్రేమ్వర్క్ను ఏర్పరుస్తాయి.
ఖర్చును ఎలా లెక్కించాలి?
సూత్రం సులభం:
ధర = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price
నమూనా ఖాతా. సొనెట్ 5తో అభ్యర్థన: 1,500 ఇన్పుట్ టోకెన్లు, 400 అవుట్పుట్ టోకెన్లు.
ఇన్పుట్ = 1,500 / 1,000,000 × 3.00 = $0.0045 అవుట్పుట్ = 400 / 1,000,000 × 15.00 = $0.0060 మొత్తం = $0.0105 (సుమారు 1 శాతం)
ఒక కాల్ చౌకగా కనిపిస్తుంది. కానీ వాల్యూమ్ ద్వారా గుణించండి: రోజుకు 20,000 కాల్లు → రోజుకు $210, నెలకు ~$6,300. ఇక్కడే స్కేల్ అమలులోకి వస్తుంది.
నెలవారీ బడ్జెట్ టెంప్లేట్
పనిభారం యొక్క నెలవారీ ఖర్చును సేకరించేందుకు, ఈ టెంప్లేట్ని ఉపయోగించండి:
1) ప్రతి అభ్యర్థనకు సగటు ఇన్పుట్ టోకెన్: ......2) ప్రతి అభ్యర్థనకు సగటు అవుట్పుట్ టోకెన్: ......3) రోజుకు అభ్యర్థనల సంఖ్య: ......4) నెలకు పనిచేసిన రోజులు: ......5) అభ్యర్థనకు ధర = (1)/1M×ఇన్పుట్_ధర + (2)/1M× అవుట్పుట్_ధర + (2)/1M× అవుట్పుట్_ధర6) నెలవారీ ధర = (3)× (3)×
ఈ నమూనాను స్ప్రెడ్షీట్లో పోయడం మరియు మీరు మోడల్ను మార్చినప్పుడు మొత్తం ఎలా పనిచేస్తుందో చూడడం మోడల్ ఎంపిక (యూనిట్ 5) మరియు కాష్ (యూనిట్ 6) నిర్ణయాలను కలిగి ఉంటుంది.
కాపీ చేయదగిన టెంప్లేట్లతో ప్రాంప్ట్ను తగ్గించడం
చాలా ఖర్చు అనవసరంగా దీర్ఘ ప్రాంప్ట్లు మరియు వృధా అవుట్పుట్ నుండి వస్తుంది. దిగువన ఉన్న టెంప్లేట్లు ప్రత్యక్ష పొదుపులను అందిస్తాయి.
# అవుట్పుట్ పొడవును పరిమితం చేయండి. గరిష్టంగా 3 అంశాలతో సమాధానం ఇవ్వండి. హేతుబద్ధత లేదా పరిచయ వాక్యాన్ని జోడించండి.
# అభ్యర్థించిన ఫీల్డ్ను మాత్రమే తిరిగి ఇవ్వండి క్రింది JSONని మాత్రమే తిరిగి ఇవ్వండి, ఏ ఇతర వచనాన్ని జోడించవద్దు:{"category": "...", "urgency": "low|medium|high"}
# అనవసరమైన సందర్భాన్ని తీసివేయండి క్రింది వచనం నుండి తేదీ మరియు మొత్తాన్ని మాత్రమే తీసివేయండి. మొత్తం వచనాన్ని పునరావృతం చేయవద్దు. వచనం: """{{text}}"""
# సుదీర్ఘ ప్రసంగాన్ని సంగ్రహించండి (ఇన్పుట్ సేవింగ్) ఈ ప్రసంగాన్ని 5 అంశాలలో సంగ్రహించండి. నేను తదుపరి రౌండ్లలో పూర్తి గతానికి బదులుగా ఈ సారాంశాన్ని ఉపయోగిస్తాను. ప్రసంగం: """{{గత}}"""
బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్ (ఖర్చు పరంగా)
# వీక్ (అవుట్పుట్ విడుదల చేస్తుంది, ఖరీదైనది)ఈ మద్దతు అభ్యర్థనను విశ్లేషించి, నాకు సమగ్ర సమీక్షను వ్రాయండి.
# STRONG (అవుట్పుట్ని పరిమితం చేస్తుంది, చౌకగా మరియు ఊహించదగినది)ఈ మద్దతు అభ్యర్థనను వర్గీకరించండి. కింది JSONని తిరిగి ఇవ్వండి:{"category":"ఇన్వాయిస్|సాంకేతిక|వాపసు|ఇతర","అత్యవసరం":"తక్కువ|మధ్యస్థం|అధిక"}వివరణ వ్రాయవద్దు.
బలహీనమైన సంస్కరణ 500 అవుట్పుట్ టోకెన్లను ఉత్పత్తి చేస్తుంది; బలమైన వెర్షన్ ~15. అవుట్పుట్ ఖరీదైనది కాబట్టి, ఇది ఒక్కో కాల్కు గణనీయమైన వ్యత్యాసం మరియు వాల్యూమ్తో గుణించబడుతుంది.
మూడు మినీ కేసులు
కేస్ 1 - లాంగ్ ప్రాంప్ట్ యొక్క దాచిన ధర. అకౌంటింగ్ ఆటోమేషన్ ప్రతి ఇన్వాయిస్ను క్రమబద్ధీకరించినందున, ఇది ప్రతి అభ్యర్థనకు ఇన్పుట్గా 40-పేజీల “రూల్ బుక్”ని జోడించింది: ఒక్కో అభ్యర్థనకు ~12,000 ఇన్పుట్ టోకెన్లు. సొనెట్ 5తో 12,000/1M×3 = $0.036 ఇప్పుడే ప్రవేశించింది. రోజుకు 5,000 బిల్లులు → రోజుకు $180. రూల్బుక్ (యూనిట్ 6)ని కాష్ చేయడం ద్వారా ఇన్పుట్ ధర ~90% తగ్గింది.
కేస్ 2 - మోడల్ను తగ్గించడం వల్ల వచ్చే ప్రతిఫలం. ఓపస్ 4.8: 300 ఇన్పుట్ + 10 అవుట్పుట్ టోకెన్లతో ఒక బృందం సాధారణ “పాజిటివ్/నెగటివ్” సెంటిమెంట్ ట్యాగింగ్ చేస్తోంది. ఓపస్ ధర 300/1M×5 + 10/1M×25 = $0.00175. హైకూకి మారడం, 300/1M×1 + 10/1M×5 = $0.00035 — 5x తక్కువ ధర, ఖచ్చితత్వంలో వ్యత్యాసం లెక్కించలేనిది. నెలకు 3 మిలియన్ కాల్లపై, వ్యత్యాసం $5,250 → $1,050.
కేస్ 3 - అవుట్పుట్ను విడుదల చేయడం. మార్కెటింగ్ బృందం ఉత్పత్తి వివరణను రూపొందించినప్పుడు, అది అవుట్పుట్పై ఎటువంటి పరిమితులను సెట్ చేయలేదు; మోడల్ కొన్నిసార్లు 1,500 టోకెన్లను చెప్పింది. నేను "60 పదాలు గరిష్టం" సూచనను జోడించినప్పుడు, సగటు అవుట్పుట్ 900 నుండి 90 టోకెన్లకు పడిపోయింది. ప్రింటింగ్ ఖరీదైనది కాబట్టి, నెలవారీ బిల్లు మూడవ వంతు తగ్గింది మరియు గ్రంథాలు మరింత ఉపయోగకరంగా మారాయి.
సాధారణ తప్పులు
- కంటి ద్వారా టోకెన్ను ఊహించడం: మీరు ముఖ్యంగా టర్కిష్ మరియు కోడ్లో తప్పు చేయవచ్చు. కొలత.
- ఇన్పుట్ మరియు అవుట్పుట్ ఒకేలా ఉంటాయని భావించడం: అవుట్పుట్ సాధారణంగా చాలా ఖరీదైనది; చాలా వరకు ఆప్టిమైజేషన్ అవుట్పుట్ను తగ్గించడం ద్వారా వస్తుంది.
- ఒకే కాల్ యొక్క చౌకగా మోసపోకండి: నిర్ణయం వాల్యూమ్ ద్వారా చేయబడుతుంది. $0.01 × మిలియన్ = $10,000.
- మరొక ప్రొవైడర్ యొక్క టోకెనైజర్తో అంచనా: తప్పు ఫలితాలను ఇస్తుంది; మోడల్ యొక్క టోకెన్ లెక్కింపు సాధనాన్ని ఉపయోగించండి.
- సంభాషణ చరిత్ర యొక్క అపరిమిత విస్తరణ: ప్రతి రౌండ్ ఎంట్రీకి జోడించబడుతుంది; సుదీర్ఘ సంభాషణలలో సంగ్రహించండి.
- `max_tokens`ని అనవసరంగా ఎక్కువగా ఉంచడం: బడ్జెట్ ప్లాన్ మరియు కట్ అయ్యే ప్రమాదాన్ని దాచిపెడుతుంది; వాస్తవిక విలువను ఇవ్వండి.
లోతుగా: సందర్భ విండో మరియు లాంగ్ ఇన్పుట్ ధర
కేవలం "అభ్యర్థనకు" మాత్రమే కాకుండా "సంభాషణ అంతటా" ధర ఎలా పెరుగుతుందో చూడటం చాలా కీలకం. మోడల్ ప్రాసెస్ చేయగల మొత్తం టెక్స్ట్ మొత్తాన్ని కాంటెక్స్ట్ విండో అంటారు; ఇన్పుట్ మరియు అవుట్పుట్ మొత్తం తప్పనిసరిగా ఈ విండోకు సరిపోవాలి. ఆధునిక నమూనాలు చాలా పెద్ద విండోలను అందిస్తాయి (వందల వేల, మిలియన్ల టోకెన్లు కూడా), కానీ మీరు "అనంతంగా పూరించవచ్చు" అని దీని అర్థం కాదు - మీరు విండోలో ఏది ఉంచినా ఇన్పుట్గా బిల్ చేయబడుతుంది.
సుదీర్ఘ సంభాషణలలో ఉచ్చు ఇది: ప్రతి కొత్త రౌండ్తో మీరు మొత్తం చరిత్రను మళ్లీ పంపుతారు (యూనిట్ 1లో స్థితిలేనితనం). 20 రౌండ్ల సంభాషణలో, 20వ అభ్యర్థన మొత్తం మొదటి 19 రౌండ్లను ఇన్పుట్గా కలిగి ఉంటుంది. ఆ విధంగా, సంభాషణ సుదీర్ఘమైనందున, ప్రతి అభ్యర్థన ధర సరళంగా కాకుండా సంచితంగా పెరుగుతుంది. ఏజెంట్ అసిస్టెంట్తో 50 రౌండ్ల సంభాషణ మొదటి రౌండ్ కంటే డజన్ల కొద్దీ ఇన్పుట్ ఖర్చులను ఉత్పత్తి చేస్తుంది.
దీన్ని నిర్వహించడానికి రెండు మార్గాలు ఉన్నాయి. మొదటిది రీక్యాప్: పాత రౌండ్లను ఒకే రీక్యాప్ బ్లాక్గా కుదించడం, చివరి కొన్ని రౌండ్లను మాత్రమే పచ్చిగా ఉంచడం. రెండవది ప్రాంప్ట్ కాషింగ్ (యూనిట్ 6): స్థిరమైన సందర్భాన్ని పూర్తి ధరతో పదే పదే ప్రాసెస్ చేయడానికి బదులుగా ధరలో పదవ వంతుకు చదవడం. కలిసి, వారు సుదీర్ఘమైన, సందర్భోచిత పనిభారంపై బిల్లును గణనీయంగా తగ్గిస్తారు. కాబట్టి టోకెన్ ఎకనామిక్స్ అనేది మొత్తం సెషన్ రూపకల్పనకు సంబంధించినది, ఒక్క అభ్యర్థన కాదు.
సారాంశంలో
టోకెన్ అనేది టెక్స్ట్ ప్రాసెస్ చేయబడిన అతి చిన్న యూనిట్; ఇన్పుట్ మరియు అవుట్పుట్ విడివిడిగా ధర నిర్ణయించబడతాయి మరియు అవుట్పుట్ తరచుగా చాలా ఖరీదైనది. ఖర్చు అనేది యూనిట్ ధరతో గుణించబడిన టోకెన్ల సంఖ్య, మరియు నిజమైన నిర్ణయం వాల్యూమ్ ద్వారా చేయబడుతుంది. ప్రాంప్ట్ను తగ్గించడం, అవుట్పుట్ను పరిమితం చేయడం మరియు పనిని పూర్తి చేసే తేలికైన మోడల్ను ఎంచుకోవడం చాలా ఎక్కువ ఖర్చును తగ్గించే అత్యంత ప్రత్యక్ష లివర్లు.
అప్లికేషన్ టాస్క్
మీ స్వంత పనిని ఎంచుకోండి. (1) ప్రతినిధి ప్రాంప్ట్ కోసం ఇన్పుట్ మరియు అంచనా వేసిన అవుట్పుట్ టోకెన్ల సంఖ్యను నిర్ణయించండి (వీలైతే టోకెన్ లెక్కింపు సాధనంతో కొలవండి). (2) మూడు మోడల్ తరగతుల కోసం అభ్యర్థనకు అయ్యే ఖర్చును లెక్కించండి. (3) మీ రోజువారీ అభ్యర్థనల సంఖ్యను అంచనా వేయండి మరియు మూడు మోడల్ల కోసం నెలవారీ బడ్జెట్ను పొందండి. (4) అవుట్పుట్ను తగ్గించడానికి సూచనను జోడించండి మరియు ఆశించిన పొదుపులను గమనించండి.
చెక్లిస్ట్
- [ ] నేను టోకెన్ల భావనను వివరించగలను మరియు టోకనైజేషన్ మోడల్పై ఆధారపడి మారుతుంది.
- [ ] ఇన్పుట్ మరియు అవుట్పుట్ టోకెన్ల ధర ఎందుకు భిన్నంగా ఉంటుందో నాకు తెలుసు.
- [ ] నేను ఫార్ములాతో అభ్యర్థన ధరను లెక్కించగలను.
- [ ] నేను టెంప్లేట్ని ఉపయోగించి పనిభారం కోసం నెలవారీ బడ్జెట్ని సృష్టించగలను.
- [ ] అవుట్పుట్ మరియు మోడల్ తగ్గింపును తగ్గించడం వల్ల కలిగే ప్రయోజనాన్ని నేను ఉదాహరణతో చూపగలను.