એકમો
1. AI પ્રદાતા ઇકોસિસ્ટમ: નકશો, ખ્યાલો અને 'કોઈ શ્રેષ્ઠ મોડલ નથી' 2. બંધ વજન અને ખુલ્લું વજન: નિયંત્રણ, કિંમત અને ગોપનીયતાનું સંતુલન 3. યુએસ જાયન્ટ્સ ઊંડાણપૂર્વક: એન્થ્રોપિક, ઓપનએઆઈ, ગૂગલ 4. અન્ય મજબૂત ખેલાડીઓ: મેટા, મિસ્ટ્રલ, xAI, ડીપસીક, કોહેરે 5. ટોકન, સંદર્ભ વિન્ડો અને મલ્ટિમોડેલિટી: મોડેલનું મન કેવી રીતે કાર્ય કરે છે 6. પ્રાઇસીંગ લોજિક: ટોકન ઇકોનોમી અને કોસ્ટ-ક્વોલિટી બેલેન્સ 7. મોડલ સ્તર અને ક્ષમતાઓ: તર્ક, ઝડપ અને નાના/મોટા મોડલની પસંદગી 8. ડેટા સાર્વભૌમત્વ, KVKK/EU અને ગોપનીયતા: તમે કોને ડેટા સોંપો છો? 9. યોગ્ય મોડલ પસંદ કરી રહ્યા છીએ: નિર્ણય વૃક્ષ અને મોડેલ પોર્ટફોલિયો 10. એન્ડ-ટુ-એન્ડ એપ્લિકેશન: મૂલ્યાંકન, માન્યતા, નીતિશાસ્ત્ર અને સીમાઓ
એકમ 6 / 10

પ્રાઇસીંગ લોજિક: ટોકન ઇકોનોમી અને કોસ્ટ-ક્વોલિટી બેલેન્સ

નફો:

  • ઇનપુટ/આઉટપુટ ટોકન કિંમત અને ઇન્વોઇસ આઇટમ્સ વાંચવાની ક્ષમતા
  • રફ ફોર્મ્યુલા સાથે વર્કફ્લોના માસિક ખર્ચનો અંદાજ કાઢવાની ક્ષમતા
  • કેશીંગ, બેચ પ્રોસેસીંગ અને મોડેલ સ્ટેજીંગ જેવી ખર્ચ-કટીંગ પદ્ધતિઓનો અમલ કરવો

મોડેલનો કેટલો ખર્ચ થશે તેનો અંદાજ કાઢવામાં સક્ષમ બનવું એ નિર્ણય લેનારની સૌથી વ્યવહારુ કુશળતા છે. "હું માસિક શું ચૂકવીશ?" જો તમે પ્રશ્નનો જવાબ આપી શકતા નથી, તો તમે ન તો બજેટનું આયોજન કરી શકો છો કે ન તો યોગ્ય સ્તર પસંદ કરી શકો છો. સારા સમાચાર એ છે કે કિંમતો લાગે તે કરતાં સરળ છે અને એકવાર તમે તેને હેંગ કરી લો તે પછી તમે તમારી જાતે જ અંદાજો લગાવી શકો છો. આ એકમમાં, તમે શીખી શકશો કે કેવી રીતે ઇનપુટ/આઉટપુટ ટોકન કિંમતો વાંચવી, એક સરળ ફોર્મ્યુલા સાથે વર્કફ્લોના માસિક ખર્ચનો અંદાજ કાઢવો અને ખરેખર ખર્ચ ઘટાડવાની પદ્ધતિઓ.

અંગૂઠાનો નિયમ: ઇનપુટ અને આઉટપુટની કિંમત અલગ-અલગ છે

બંધ-વજનના મોડલ્સમાં, કિંમતની ગણતરી ટોકન્સની પ્રક્રિયાના આધારે કરવામાં આવે છે અને ત્યાં બે અલગ વસ્તુઓ છે:

  • ઇનપુટ ટોકન (ઇનપુટ): તમે મોડેલને મોકલો છો તે ટેક્સ્ટ. તમારો પ્રોમ્પ્ટ, તમારા દસ્તાવેજો, તમારા નમૂનાઓ.
  • આઉટપુટ ટોકન: મોડલ તમારા માટે જે જવાબ આપે છે.

જટિલ બિંદુ: આઉટપુટ ટોકન ઘણીવાર ઇનપુટ ટોકન કરતાં અનેક ગણું મોંઘું હોય છે. આ એટલા માટે છે કારણ કે આઉટપુટ ઉત્પન્ન કરવા માટે તે કોમ્પ્યુટેશનલી વધુ ખર્ચાળ છે. ઉદાહરણ તરીકે, એક મોડેલમાં, ઇનપુટ $3 પ્રતિ મિલિયન ટોકન્સ હોઈ શકે છે જ્યારે આઉટપુટ $15 હોઈ શકે છે; તેથી આઉટપુટ પાંચ ગણું મોંઘું છે. આનો અર્થ એ છે કે લાંબા અને બિનજરૂરી જવાબો બજેટમાં ઝડપથી ખાઈ શકે છે.

ટીપ: ખર્ચ ઘટાડવાનો સૌથી સહેલો રસ્તો એ છે કે મોડેલને બિનજરૂરી રીતે લાંબા જવાબો ન પૂછો. "મહત્તમ 5 લેખ", "સિંગલ ફકરો", "ફક્ત કોષ્ટક નિકાસ કરો" જેવા નિયંત્રણો ગુણવત્તામાં વધારો કરે છે અને આઉટપુટ ટોકન સાચવે છે.

વર્તમાન ભાવ ઉદાહરણો

નીચે કેટલાંક મોડલની અંદાજિત કિંમતો છે (દીઠ મિલિયન ટોકન્સ, યુએસ ડોલર). આ મૂલ્યો તે સમયગાળા સાથે સંબંધિત છે જેમાં આ મોડ્યુલ તૈયાર કરવામાં આવ્યું હતું અને વારંવાર બદલાય છે; ચોક્કસ નિર્ણય માટે પ્રદાતાના વર્તમાન ભાવ પૃષ્ઠને તપાસો.

મોડેલ

સ્ટેજ

ઇનપુટ $/1M

આઉટપુટ $/1M

ક્લાઉડ ઓપસ 4.8

મજબૂત

~5

~25

ક્લાઉડ સોનેટ 5

સંતુલિત

~3

~15

ક્લાઉડ હાઇકુ 4.5

હલકો

~1

~5

કોષ્ટકમાં જોયું તેમ, મજબૂત ટાયર અને લાઇટ ટાયર વચ્ચે કિંમતમાં પાંચ ગણો જેટલો તફાવત હોઈ શકે છે. એટલા માટે "બધા વ્યવસાય માટે યોગ્ય મોડેલ" અભિગમ ઘણીવાર પૈસાનો વ્યય છે. સસ્તા મૉડલ દ્વારા સરળ કામ અને શક્તિશાળી મૉડલ દ્વારા અઘરું કામ કરવાથી ગુણવત્તાની ખોટ વિના મોટી બચત થાય છે. અમે એકમ 7 અને 9 માં આ વિચારને વધુ ઊંડો કરીશું.

અંદાજિત માસિક ખર્ચ: સરળ ફોર્મ્યુલા

આશરે માસિક ખર્ચ અંદાજ માટે, તમે આ સૂત્રનો ઉપયોગ કરી શકો છો:

માસિક ખર્ચ ≈ (દર મહિને વિનંતીઓની સંખ્યા × સરેરાશ ઇનપુટ ટોકન × ઇનપુટ કિંમત / 1,000,000)+ (દર મહિને વિનંતીઓની સંખ્યા × સરેરાશ આઉટપુટ ટોકન × આઉટપુટ કિંમત / 1,000,000)

ચાલો એક ઉદાહરણ ચલાવીએ. ચાલો કહીએ કે એક ઈ-કોમર્સ ટીમ દર મહિને 50,000 પ્રોડક્ટનું વર્ણન બનાવે છે. દરેક વિનંતી સરેરાશ 500 ટોકન્સ ઇનપુટ (ઉત્પાદન માહિતી) મોકલે છે અને 300 ટોકન્સ આઉટપુટ (વર્ણન) મેળવે છે. સંતુલિત મોડેલમાં (ઇનપુટ ~3, આઉટપુટ ~15):

  • ઇનપુટ ખર્ચ: 50,000 × 500 × 3 / 1,000,000 = $75
  • આઉટપુટ ખર્ચ: 50,000 × 300 × 15 / 1,000,000 = $225
  • કુલ ≈ $300/મહિને

જો તેઓ હળવા વજનના મોડેલમાં સમાન કામ કરે છે (ઇનપુટ ~1, આઉટપુટ ~5):

  • ઇનપુટ: 50,000 × 500 × 1 / 1,000,000 = $25
  • આઉટપુટ: 50,000 × 300 × 5 / 1,000,000 = $75
  • કુલ ≈ $100/મહિને

તેથી માત્ર સ્ટેજની પસંદગી સમાન જોબને $300 થી $100 સુધી ઘટાડી શકે છે. ઉત્પાદન વર્ણન જેવા પ્રમાણમાં સરળ કાર્ય માટે, લાઇટવેઇટ મોડલ ઘણીવાર પર્યાપ્ત કરતાં વધુ હોય છે.

સાવધાન: આ સૂત્ર રફ અંદાજ છે; વાસ્તવિક બિલિંગ કેશ વપરાશ, ફરી પ્રયાસો અને તર્ક મોડ જેવા પરિબળો સાથે બદલાય છે. તેમ છતાં, બજેટ કન્ફર્મેશન મેળવવા અથવા બે મોડલની સરખામણી કરવા માટે તે ખૂબ જ સારી શરૂઆત છે. નિર્ણય લેતા પહેલા નાના પાઇલટ સાથે વાસ્તવિક સંખ્યાને માપવાનું શ્રેષ્ઠ છે.

ખર્ચ ઘટાડવાની પાંચ પદ્ધતિઓ

  1. યોગ્ય સ્તર પસંદ કરો. સરળ, હલકો મોડેલ. બચતનો આ એકમાત્ર સૌથી મોટો સ્ત્રોત છે.
  2. ઇનપુટ નાનું કરો. દરેક વિનંતી માટે વિશાળ દસ્તાવેજો ભરવાને બદલે, ફક્ત સંબંધિત વિભાગ મોકલો (એકમ 5 માં સંદર્ભ ઑપ્ટિમાઇઝેશન).
  3. આઉટપુટ મર્યાદિત કરો. જવાબની લંબાઈ અને ફોર્મેટ સ્પષ્ટ કરો; બિનજરૂરી રીતે લાંબો જવાબ = બિનજરૂરી ખર્ચ.
  4. કેશીંગનો ઉપયોગ કરો. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. જો તમે એક જ મોટી સૂચના હજારો વખત મોકલી રહ્યાં હોવ તો આ નોંધપાત્ર બચત પ્રદાન કરે છે.
  5. બેચ પ્રોસેસિંગ કરો. જો તમે ઉતાવળમાં ન હોવ તો, "બેચ" વિકલ્પો, જે બલ્કમાં ઘણી વિનંતીઓ મોકલે છે અને તેમને ડિસ્કાઉન્ટ પર પ્રક્રિયા કરે છે, ખર્ચમાં નોંધપાત્ર ઘટાડો કરે છે.

ત્રણ વાસ્તવિક કેસો

કેસ 1 - પગલામાં ફેરફાર સાથે બચત. એક ગ્રાહક સેવા ટીમ સૌથી મજબૂત મોડેલ સાથે આવનારા તમામ ઈમેલનો સારાંશ આપી રહી હતી અને તેમનું માસિક બિલ ~$900 હતું. સારાંશ આપવું એ એક સરળ કાર્ય હતું; જ્યારે તેઓ સંતુલિત સ્તર પર ગયા, ત્યારે આઉટપુટ ગુણવત્તા લગભગ સમાન જ રહી, પરંતુ બિલ ઘટીને ~$250 થઈ ગયું. માત્ર યોગ્ય સ્તર પસંદ કરીને, દર વર્ષે ~$7,800 ની બચત.

કેસ 2 - કેશ સાથે સાચવી રહ્યું છે. એક સોફ્ટવેર ટીમ દરેક કોડ સમીક્ષા વિનંતી સાથે સમાન 8,000 ટોકન "કોડિંગ ધોરણો" દસ્તાવેજ મોકલી રહી હતી. દરરોજ 400 વિનંતીઓ × 8,000 ટોકન્સ = મોટા પુનરાવર્તિત ઇનપુટ. જ્યારે તેઓએ કેશ સુવિધા ચાલુ કરી, ત્યારે આ નિશ્ચિત પાર્ટીશન વધુ સસ્તામાં વાંચવાનું શરૂ થયું અને ઇનપુટ ખર્ચનો નોંધપાત્ર ભાગ અદૃશ્ય થઈ ગયો.

કેસ 3 - આઉટપુટ મર્યાદિત કરીને બચત. જ્યારે માર્કેટિંગ ટીમે ઉત્પાદન વર્ણન માટે પૂછ્યું, ત્યારે મોડેલે એક સમયે લાંબા, ફૂલવાળા ફકરાઓ બનાવ્યા. જ્યારે તેઓએ "મહત્તમ 60 શબ્દો, એક ફકરો" પ્રતિબંધ ઉમેર્યો, ત્યારે સ્પષ્ટતાઓ વધુ ઉપયોગી બની અને આઉટપુટ ટોકન અડધું થઈ ગયું. જ્યારે ગુણવત્તામાં વધારો થયો, ખર્ચમાં ઘટાડો થયો; જીત-જીત

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા પ્રોમ્પ્ટ:

મને આ ઉત્પાદન માટે એક સરસ વર્ણન લખો. [ઉત્પાદન માહિતી]

મોડેલ તેણી ઇચ્છે ત્યાં સુધી લખી શકે છે; આઉટપુટ ટોકન અનિયંત્રિત છે.

શક્તિશાળી પ્રોમ્પ્ટ:

તમારી ભૂમિકા: ઈ-કોમર્સ કોપીરાઈટર. ઉત્પાદન: [માહિતી]. કાર્ય: ઉત્પાદનનું વર્ણન લખો. પ્રતિબંધો: મહત્તમ 60 શબ્દો, એક ફકરો, બિન-તકનીકી ગ્રાહકોને અપીલ, જેમાં 2 લાભ + 1 ઉપયોગ કેસ છે. ફેન્સી વિશેષણો ટાળો.

શક્તિશાળી પ્રોમ્પ્ટ ગુણવત્તા અને આઉટપુટ લંબાઈ (અને તેથી કિંમત) બંનેને નિયંત્રિત કરે છે.

નકલ કરી શકાય તેવા નમૂનાઓ

1. માસિક ખર્ચ અંદાજ:

હું દર મહિને [QUANTITY] વિનંતી કરું છું. સરેરાશ ઇનપુટ ~[NUM] ટોકન્સ, આઉટપુટ ~[NUM] ટોકન્સ. નીચેના મોડલ્સ ([MODEL A], [MODEL B]) માટે સૂત્ર સાથે માસિક ખર્ચની ગણતરી કરો અને કોષ્ટકમાં સરખામણી કરો. ઇનપુટ/આઉટપુટ કિંમતો સ્વીકારો [PRICES].

ટાયર 2 સરખામણી:

મારી ફરજ [ટાસ્ક]. શું આ કામ માટે ખરેખર શક્તિશાળી મોડલની જરૂર છે, અથવા હળવા/સંતુલિત મોડલ પર્યાપ્ત છે? ગુણવત્તા અને ખર્ચના સંદર્ભમાં મૂલ્યાંકન કરો અને મારા માટે પ્રાયોગિક પરીક્ષણ માટે 2 સ્તરો સૂચવો.

3. ખર્ચમાં ઘટાડો સ્ક્રીનીંગ:

નીચેના વર્કફ્લોમાં ખર્ચ ઘટાડવાની રીતો ઓળખો: [વર્કફ્લો]. દરેક કાસ્કેડ, ઇનપુટ ઘટાડો, આઉટપુટ બાઉન્ડ, કેશ અને બેચ પ્રોસેસિંગ હેડરો માટે સંભવિતતા અને અંદાજિત બચત લખો.

4. આઉટપુટ મર્યાદા:

ગુણવત્તામાં ઘટાડો કર્યા વિના આઉટપુટ ટોકન ઘટાડવા માટે નીચેના પ્રોમ્પ્ટને ફરીથી લખો: "[PROMPT]". લંબાઈ, ફોર્મેટ અને બિનજરૂરી પુનરાવર્તન માટે ઑપ્ટિમાઇઝ કરો.

સામાન્ય ભૂલો

  • ઇનપુટ/આઉટપુટ તફાવતને છોડવું: આઉટપુટ વધુ ખર્ચાળ છે તે જાણ્યા વિના લાંબા જવાબોને મંજૂરી આપવી.
  • દરેક કામ માટે સૌથી શક્તિશાળી મોડલ: મોંઘા મોડલ સાથે સરળ કામ કરવું અને બિનજરૂરી રીતે અનેક ગણી વધુ ચૂકવણી કરવી.
  • આઉટપુટ લંબાઈ પ્રકાશિત કરવી: કોઈપણ ફોર્મેટ અથવા લંબાઈના નિયંત્રણો લાદ્યા વિના મોડેલને અમર્યાદિત લેખન પરવાનગી આપવી.
  • કેશ અને બેચને અવગણવું: પુનરાવર્તિત ઇનપુટ્સ અને બિન-તાકીદના કાર્યો માટે ગંભીર બચતની તકો ખૂટે છે.
  • કિંમતો અદ્યતન છે તે વિચારીને: જૂની કિંમતના ટેબલ પર આધાર રાખવો અને બજેટનું ખોટી રીતે આયોજન કરવું; કિંમતો વારંવાર બદલાય છે.

સારાંશમાં

  • ટોકન્સના આધારે કિંમતની ગણતરી કરવામાં આવે છે; ઇનપુટ અને આઉટપુટની કિંમત અલગ-અલગ હોય છે, અને આઉટપુટ ઘણી વખત વધુ ખર્ચાળ હોય છે.
  • તમે વિનંતીઓની ફોર્મ્યુલા સંખ્યા × સરેરાશ ટોકન × કિંમત દ્વારા માસિક ખર્ચનો અંદાજ લગાવી શકો છો.
  • એકલા યોગ્ય પગલાની પસંદગી ખર્ચ ઘણી વખત ઘટાડી શકે છે.
  • ઇનપુટ મિનિમાઇઝેશન, આઉટપુટ લિમિટિંગ, કેશિંગ અને બેચ પ્રોસેસિંગ એ વ્યવહારિક પદ્ધતિઓ છે જે બિલને નોંધપાત્ર રીતે ઘટાડે છે.

એપ્લિકેશન કાર્ય

તમે અગાઉના એકમમાં અંદાજિત ટોકન મૂલ્યો મેળવો. આ એકમ (માસિક ખર્ચ અંદાજ) માં નમૂના 1 સાથે બે અલગ-અલગ સ્તરો માટે તમારા વ્યવસાયની માસિક કિંમતની ગણતરી કરો. પછી, 3જી ટેમ્પલેટ (ખર્ચ ઘટાડાનું સ્કેન) વડે, દરેક પદ્ધતિ તમારા વર્કફ્લોમાં કેટલી બચત લાવી શકે છે તે અનુમાન કરો. બે સૌથી આશાસ્પદ પદ્ધતિઓ પસંદ કરવાની યોજના બનાવો અને તેને તમારા આગામી મહિનાના બજેટમાં લાગુ કરો.

ચેકલિસ્ટ

  • [ ] હું જાણું છું કે ઇનપુટ અને આઉટપુટ ટોકનની કિંમત અલગ-અલગ છે અને આઉટપુટ વધુ ખર્ચાળ છે.
  • [ ] હું સરળ ફોર્મ્યુલા વડે વર્કફ્લોના માસિક ખર્ચનો અંદાજ લગાવી શકું છું.
  • [ ] હું ઉદાહરણ સાથે યોગ્ય સ્તર પસંદ કરવાની કિંમત અસર બતાવી શકું છું.
  • [ ] હું ખર્ચ ઘટાડવાની પાંચ પદ્ધતિઓ ઓળખી શકું છું અને યોગ્ય એક પસંદ કરી શકું છું.
  • [ ] હું આઉટપુટ ટોકન ઘટાડવા માટે પ્રોમ્પ્ટ ફરીથી લખી શકું છું.