سود:
- امکان خواندن قیمت گذاری نشانه های ورودی/خروجی و موارد فاکتور
- امکان برآورد هزینه ماهانه یک گردش کار با فرمول تقریبی
- پیاده سازی روش های کاهش هزینه مانند ذخیره سازی، پردازش دسته ای و مرحله بندی مدل
توانایی برآورد هزینه یک مدل یکی از کاربردی ترین مهارت های تصمیم گیرنده است. "ماهانه چه چیزی پرداخت کنم؟" اگر نمی توانید به سوال پاسخ دهید، نه می توانید بودجه ای برنامه ریزی کنید و نه سطح مناسبی را انتخاب کنید. خبر خوب این است که قیمت گذاری ساده تر از آن چیزی است که به نظر می رسد، و هنگامی که به آن دست پیدا کردید، می توانید به تنهایی یک تخمین تقریبی انجام دهید. در این واحد، نحوه خواندن قیمت گذاری رمزهای ورودی/خروجی، تخمین هزینه ماهانه گردش کار با یک فرمول ساده و روش هایی که در واقع هزینه را کاهش می دهند، یاد خواهید گرفت.
قاعده کلی: ورودی و خروجی جداگانه قیمت گذاری می شوند
در مدل های بسته وزن، قیمت بر اساس میزان توکن های پردازش شده محاسبه می شود و دو مورد جداگانه وجود دارد:
- نشانه ورودی (ورودی): متنی که برای مدل ارسال می کنید. درخواست شما، اسناد شما، نمونه های شما.
- نشانه خروجی: پاسخی که مدل برای شما تولید می کند.
نقطه بحرانی: نشانه خروجی اغلب چندین برابر گرانتر از نشانه ورودی است. این به این دلیل است که از نظر محاسباتی تولید خروجی برای مدل هزینه بیشتری دارد. به عنوان مثال، در یک مدل، ورودی ممکن است 3 دلار در هر میلیون توکن باشد در حالی که خروجی ممکن است 15 دلار باشد. بنابراین خروجی پنج برابر گران تر است. این بدان معناست که پاسخهای طولانی و غیر ضروری میتوانند به سرعت بودجه را از بین ببرند.
نکته: یکی از سادهترین راهها برای کاهش هزینهها این است که از مدل برای پاسخهای طولانی و غیرضروری نپرسید. محدودیت هایی مانند "حداکثر 5 مقاله"، "تک پاراگراف"، "صادرات فقط جدول" باعث افزایش کیفیت و ذخیره توکن خروجی می شود.
نمونه های قیمت فعلی
در زیر قیمت های تقریبی چند مدل (در هر میلیون توکن، دلار آمریکا) آورده شده است. این مقادیر متعلق به دوره ای است که این ماژول تهیه شده است و به طور مکرر تغییر می کند. صفحه قیمت فعلی ارائه دهنده را برای تصمیم دقیق بررسی کنید.
مدل
مرحله
ورودی $/1 میلیون
خروجی 1 میلیون دلار
Claude Opus 4.8
قوی
~ 5
~ 25
کلود سونت 5
متعادل
~ 3
~ 15
کلود هایکو 4.5
سبک وزن
~ 1
~ 5
همانطور که در جدول مشاهده می شود، می تواند تا پنج برابر تفاوت قیمت بین لایه قوی و طبقه سبک وجود داشته باشد. به همین دلیل است که رویکرد "مناسب ترین مدل برای همه مشاغل" اغلب هدر دادن پول است. انجام کار ساده توسط یک مدل ارزان و کار دشوار توسط یک مدل قدرتمند صرفه جویی زیادی را بدون افت کیفیت انجام می دهد. این ایده را در واحدهای 7 و 9 تعمیق خواهیم داد.
برآورد هزینه ماهانه: فرمول ساده
برای برآورد هزینه ماهانه تقریبی، می توانید از این فرمول استفاده کنید:
هزینه ماهانه ≈ (تعداد درخواست در ماه × میانگین توکن ورودی × قیمت ورودی / 1,000,000)+ (تعداد درخواست در ماه × میانگین توکن خروجی × قیمت خروجی / 1,000,000)
بیایید یک مثال اجرا کنیم. فرض کنید یک تیم تجارت الکترونیک 50000 شرح محصول در ماه تولید می کند. هر درخواست به طور متوسط 500 توکن ورودی (اطلاعات محصول) ارسال می کند و 300 توکن خروجی (توضیحات) دریافت می کند. در یک مدل متعادل (ورودی ~ 3، خروجی ~ 15):
- هزینه ورودی: 50,000 × 500 × 3 / 1,000,000 = 75 دلار
- هزینه خروجی: 50,000 × 300 × 15 / 1,000,000 = 225 دلار
- مجموع ≈ 300 دلار در ماه
اگر آنها همان کار را در یک مدل سبک وزن انجام دادند (ورودی ~ 1، خروجی ~ 5):
- ورودی: 50,000 × 500 × 1 / 1,000,000 = 25 دلار
- خروجی: 50,000 × 300 × 5 / 1,000,000 = 75 دلار
- مجموع ≈ 100 دلار در ماه
بنابراین فقط انتخاب مرحله می تواند همان کار را از 300 دلار به 100 دلار کاهش دهد. برای یک کار نسبتا ساده مانند توضیح محصول، مدل سبک وزن اغلب بیش از حد کافی است.
احتیاط: این فرمول یک تخمین تقریبی است. صورتحساب واقعی با عواملی مانند استفاده از حافظه پنهان، تلاشهای مجدد و حالت استدلال متفاوت است. با این حال، شروع بسیار خوبی برای دریافت تاییدیه بودجه یا مقایسه دو مدل است. بهتر است قبل از تصمیم گیری، عدد واقعی را با یک خلبان کوچک اندازه گیری کنید.
پنج روش برای کاهش هزینه ها
- سطح مناسب را انتخاب کنید. مدل ساده و سبک. این تنها بزرگترین منبع پس انداز است.
- ورودی را کوچکتر کنید. به جای پر کردن اسناد بزرگ برای هر درخواست، فقط بخش مربوطه را ارسال کنید (بهینه سازی زمینه در واحد 5).
- خروجی را محدود کنید طول و قالب پاسخ را روشن کنید. پاسخ طولانی غیر ضروری = هزینه غیر ضروری.
- از کش استفاده کنید. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. اگر هزاران بار همان دستورالعمل بزرگ را ارسال می کنید، این باعث صرفه جویی قابل توجهی می شود.
- پردازش دسته ای را انجام دهید. اگر عجله ندارید، گزینه های "بچکی" که درخواست های زیادی را به صورت عمده ارسال می کنند و با تخفیف پردازش می کنند، هزینه را به میزان قابل توجهی کاهش می دهند.
سه مورد واقع بینانه
مورد 1 - پس انداز با تغییر مرحله. یک تیم خدمات مشتری تمام ایمیلهای دریافتی را با قویترین مدل خلاصه میکرد و صورتحساب ماهانه آنها 900 دلار بود. خلاصه کردن کار ساده ای بود. وقتی آنها به سطح متعادل رفتند، کیفیت خروجی تقریباً ثابت ماند، اما صورتحساب به 250 دلار کاهش یافت. صرفه جویی ~ 7800 دلار در سال، فقط با انتخاب ردیف مناسب.
مورد 2 - ذخیره با کش. یک تیم نرم افزاری با هر درخواست بازبینی کد، همان سند "استانداردهای کدگذاری" 8000 توکن را ارسال می کرد. 400 درخواست در روز × 8000 توکن = ورودی تکراری زیاد. هنگامی که آنها ویژگی کش را روشن کردند، این پارتیشن ثابت شروع به خواندن بسیار ارزان تر کرد و بخش قابل توجهی از هزینه های ورودی ناپدید شد.
مورد 3 - صرفه جویی با محدود کردن خروجی. هنگامی که یک تیم بازاریابی برای توضیح محصول درخواست کرد، مدل در یک زمان پاراگراف های طولانی و گلدار تولید کرد. وقتی محدودیت «حداکثر 60 کلمه، تک پاراگراف» را اضافه کردند، توضیحات مفیدتر شد و نشانه خروجی نصف شد. در حالی که کیفیت افزایش یافت، هزینه کاهش یافت. برد-برد.
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
برای من یک توضیح خوب برای این محصول بنویسید. [اطلاعات محصول]
مدل می تواند تا زمانی که بخواهد بنویسد. نشانه خروجی کنترل نشده است.
اعلان قدرتمند:
نقش شما: کپی رایتر تجارت الکترونیک. محصول: [اطلاعات]. وظیفه: شرح محصول را بنویسید. محدودیت ها: حداکثر 60 کلمه، یک پاراگراف، جذاب برای مشتریان غیر فنی، حاوی 2 مزیت + 1 مورد استفاده. از صفت های فانتزی پرهیز کنید.
فرمان قدرتمند هم کیفیت و هم طول خروجی (و در نتیجه هزینه) را کنترل می کند.
قالب های قابل کپی
1. برآورد هزینه ماهانه:
من ماهانه [QUANTITY] درخواست می کنم. میانگین ورودی ~[NUM] نشانه، خروجی ~[NUM] نشانه. هزینه ماهانه مدل های زیر ([MODEL A], [MODEL B]) را با فرمول محاسبه کرده و در جدول مقایسه کنید. قیمت ورودی/خروجی را بپذیرید [PRICES].
مقایسه سطح 2:
وظیفه من [وظیفه]. آیا این کار واقعاً به یک مدل قدرتمند نیاز دارد یا یک مدل سبک وزن / متعادل کافی است؟ از نظر کیفیت و هزینه ارزیابی کنید و 2 ردیف را برای آزمایش پایلوت به من پیشنهاد دهید.
3. غربالگری کاهش هزینه:
راههای کاهش هزینه را در گردش کار زیر شناسایی کنید: [WORKFLOW]. امکانسنجی و صرفهجویی تخمینی را برای هر یک از سربرگهای آبشار، کاهش ورودی، محدود خروجی، حافظه پنهان و سرصفحههای پردازش دستهای بنویسید.
4. محدودیت خروجی:
برای کاهش نشانه خروجی بدون کاهش کیفیت، دستور زیر را بازنویسی کنید: "[PROMPT]". برای طول، قالب و تکرار غیر ضروری بهینه سازی کنید.
اشتباهات رایج
- نادیده گرفتن تفاوت ورودی/خروجی: اجازه دادن پاسخ های طولانی بدون دانستن اینکه خروجی بسیار گران تر است.
- قدرتمندترین مدل برای هر شغل: انجام یک کار ساده با مدل گران قیمت و پرداخت چند برابر بی مورد.
- آزاد کردن طول خروجی: دادن مجوز نوشتن نامحدود به مدل بدون اعمال محدودیت در قالب یا طول.
- نادیده گرفتن حافظه پنهان و دسته: از دست دادن فرصتهای صرفهجویی جدی برای ورودیهای تکراری و کارهای غیر فوری.
- فکر به روز بودن قیمت ها: تکیه بر جدول قیمت های قدیمی و برنامه ریزی نادرست بودجه. قیمت ها اغلب تغییر می کند
به طور خلاصه
- قیمت بر اساس توکن ها محاسبه می شود. ورودی و خروجی به طور جداگانه قیمت گذاری می شوند و خروجی اغلب چندین برابر گران تر است.
- شما می توانید تقریباً هزینه ماهانه را با فرمول تعداد درخواست × میانگین توکن × قیمت تخمین بزنید.
- انتخاب صحیح مرحله به تنهایی می تواند هزینه را چندین برابر کاهش دهد.
- به حداقل رساندن ورودی، محدود کردن خروجی، حافظه پنهان و پردازش دسته ای روش های عملی هستند که به طور قابل توجهی صورت حساب را کاهش می دهند.
وظیفه کاربردی
مقادیر رمزی را که در واحد قبلی تخمین زده اید، دریافت کنید. هزینه ماهانه کسب و کار خود را برای دو سطح مختلف با الگوی 1 در این واحد محاسبه کنید (تخمین هزینه ماهانه). سپس، با الگوی سوم (اسکن کاهش هزینه)، استنباط کنید که هر روش چقدر می تواند در گردش کار شما صرفه جویی کند. برای انتخاب دو روش امیدوار کننده برنامه ریزی کنید و آنها را در بودجه ماه آینده خود به کار ببرید.
چک لیست
- [ ] می دانم که نشانه ورودی و خروجی جداگانه قیمت گذاری می شوند و خروجی گران تر است.
- [ ] من تقریباً می توانم هزینه ماهانه یک گردش کار را با فرمول ساده تخمین بزنم.
- [ ] می توانم تاثیر هزینه انتخاب سطح مناسب را با یک مثال نشان دهم.
- [ ] من می توانم پنج روش کاهش هزینه را تشخیص دهم و روش مناسب را انتخاب کنم.
- [ ] می توانم یک درخواست برای کاهش نشانه خروجی بازنویسی کنم.