Keuntungan:
- Keupayaan untuk membaca harga token input/output dan item invois
- Keupayaan untuk menganggarkan kos bulanan aliran kerja dengan formula kasar
- Melaksanakan kaedah pemotongan kos seperti caching, pemprosesan kelompok dan pementasan model
Mampu menganggarkan kos model adalah salah satu kemahiran paling praktikal pembuat keputusan. "Apa yang saya bayar setiap bulan?" Jika anda tidak dapat menjawab soalan, anda tidak boleh merancang belanjawan atau memilih tahap yang betul. Berita baiknya ialah penetapan harga adalah lebih mudah daripada yang disangkakan, dan setelah anda membiasakannya, anda boleh membuat anggaran kasar sendiri. Dalam unit ini, anda akan belajar cara membaca harga token input/output, menganggarkan kos bulanan aliran kerja dengan formula mudah dan kaedah yang sebenarnya mengurangkan kos.
Peraturan praktikal: Input dan output berharga secara berasingan
Dalam model berat tertutup, harga dikira berdasarkan jumlah token yang diproses dan terdapat dua item berasingan:
- Token input (input): Teks yang anda hantar kepada model. Gesaan anda, dokumen anda, sampel anda.
- Token output: Jawapan yang dihasilkan oleh model untuk anda.
Titik kritikal: Token output selalunya beberapa kali lebih mahal daripada token input. Ini kerana ia adalah lebih mahal dari segi pengiraan kepada model untuk menghasilkan output. Sebagai contoh, dalam satu model, input mungkin $3 setiap juta token manakala output mungkin $15; Jadi pengeluaran adalah lima kali lebih mahal. Ini bermakna jawapan yang panjang dan tidak perlu dengan cepat boleh memakan belanjawan.
Petua: Salah satu cara paling mudah untuk mengurangkan kos adalah dengan tidak meminta model untuk jawapan yang tidak perlu panjang. Sekatan seperti "maksimum 5 artikel", "perenggan tunggal", "eksport hanya jadual" meningkatkan kualiti dan menyimpan token output.
Contoh Harga Semasa
Di bawah ialah anggaran harga beberapa model (sejuta token, dolar AS). Nilai-nilai ini tergolong dalam tempoh di mana modul ini disediakan dan kerap berubah; Semak halaman harga semasa pembekal untuk keputusan yang tepat.
model
pentas
Input $/1J
Output $/1J
Claude Opus 4.8
kuat
~5
~25
Claude Sonnet 5
seimbang
~3
~15
Claude Haiku 4.5
ringan
~1
~5
Seperti yang dilihat dalam jadual, boleh terdapat perbezaan harga sehingga lima kali ganda antara peringkat kuat dan peringkat ringan. Itulah sebabnya pendekatan "model paling sesuai untuk semua perniagaan" selalunya membazirkan wang. Mempunyai kerja mudah yang dilakukan oleh model murah dan kerja sukar oleh model berkuasa memberikan penjimatan hebat tanpa kehilangan kualiti. Kami akan mendalami idea ini dalam unit 7 dan 9.
Anggaran Kos Bulanan: Formula Mudah
Untuk anggaran kos bulanan kasar, anda boleh menggunakan formula ini:
Kos bulanan ≈ (Bilangan permintaan sebulan × Purata token input × Harga input / 1,000,000)+ (Bilangan permintaan sebulan × Purata token output × Harga output / 1,000,000)
Mari kita jalankan contoh. Katakan pasukan e-dagang menghasilkan 50,000 penerangan produk setiap bulan. Setiap permintaan menghantar purata 500 token input (maklumat produk) dan menerima 300 token output (penerangan). Dalam model seimbang (input ~3, output ~15):
- Kos input: 50,000 × 500 × 3 / 1,000,000 = $75
- Kos output: 50,000 × 300 × 15 / 1,000,000 = $225
- Jumlah ≈ $300/bulan
Jika mereka melakukan kerja yang sama dalam model ringan (input ~1, output ~5):
- Input: 50,000 × 500 × 1 / 1,000,000 = $25
- Output: 50,000 × 300 × 5 / 1,000,000 = $75
- Jumlah ≈ $100/bulan
Jadi hanya pemilihan peringkat boleh mengurangkan kerja yang sama daripada $300 kepada $100. Untuk tugas yang agak mudah seperti penerangan produk, model ringan selalunya lebih daripada mencukupi.
Awas: Formula ini adalah anggaran kasar; pengebilan sebenar berbeza mengikut faktor seperti penggunaan cache, percubaan semula dan mod penaakulan. Namun, ia adalah permulaan yang sangat baik untuk mendapatkan pengesahan belanjawan atau membandingkan dua model. Adalah lebih baik untuk mengukur nombor sebenar dengan juruterbang kecil sebelum membuat keputusan.
Lima Kaedah untuk Mengurangkan Kos
- Pilih tahap yang betul. Model ringkas dan ringan. Ini adalah satu-satunya sumber simpanan terbesar.
- Jadikan input lebih kecil. Daripada mengisi dokumen yang besar untuk setiap permintaan, hantar hanya bahagian yang berkaitan (pengoptimuman konteks dalam unit 5).
- Hadkan keluaran. Jelaskan panjang dan format jawapan; Jawapan panjang yang tidak perlu = kos yang tidak perlu.
- Gunakan caching. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Ini memberikan penjimatan yang ketara jika anda menghantar arahan besar yang sama beribu-ribu kali.
- Lakukan pemprosesan kelompok. Jika anda tidak tergesa-gesa, pilihan "kelompok", yang menghantar banyak permintaan secara pukal dan memprosesnya pada harga diskaun, mengurangkan kos dengan ketara.
Tiga Kes Realistik
Kes 1 — Penjimatan dengan perubahan langkah. Pasukan perkhidmatan pelanggan sedang meringkaskan semua e-mel masuk dengan model terkuat, dan bil bulanan mereka ialah ~$900. Merumuskan adalah tugas yang mudah; Apabila mereka berpindah ke peringkat seimbang, kualiti keluaran kekal hampir sama, tetapi bil menurun kepada ~$250. Penjimatan ~$7,800 setahun, hanya dengan memilih peringkat yang betul.
Kes 2 — Menyimpan dengan cache. Pasukan perisian telah menghantar dokumen "standard pengekodan" 8,000 token yang sama dengan setiap permintaan semakan kod. 400 permintaan sehari × 8,000 token = input berulang yang besar. Apabila mereka menghidupkan ciri cache, partition tetap ini mula dibaca dengan lebih murah dan sebahagian besar kos input hilang.
Kes 3 — Penjimatan dengan mengehadkan output. Apabila pasukan pemasaran meminta penerangan produk, model itu menghasilkan perenggan yang panjang dan berbunga pada satu masa. Apabila mereka menambahkan sekatan "maksimum 60 perkataan, perenggan tunggal", penjelasan menjadi lebih berguna dan token keluaran dibahagi dua. Walaupun kualiti meningkat, kos menurun; menang-menang.
Gesaan Lemah / Gesaan Kuat
Gesaan yang lemah:
Tulis saya penerangan yang bagus untuk produk ini. [maklumat produk]
Model itu boleh menulis selagi dia mahu; Token keluaran tidak terkawal.
Gesaan kuat:
Peranan anda: penulis salinan e-dagang. Produk: [MAKLUMAT]. Tugas: Tulis penerangan produk. Sekatan: Maksimum 60 perkataan, satu perenggan, menarik kepada pelanggan bukan teknikal, mengandungi 2 faedah + 1 kes penggunaan. Elakkan kata sifat yang mewah.
Gesaan yang berkuasa mengawal kedua-dua kualiti dan panjang output (dan oleh itu kos).
Templat Boleh Disalin
1. Anggaran kos bulanan:
Saya membuat [KUANTITI] permintaan setiap bulan. Purata input ~[NUM] token, output ~[NUM] token. Kira kos bulanan untuk model berikut ([MODEL A], [MODEL B]) dengan formula dan bandingkan dalam jadual. Terima harga input/output [HARGA].
Perbandingan peringkat 2:
Kewajipan saya [TUGAS]. Adakah kerja ini benar-benar memerlukan model yang berkuasa, atau adakah model ringan/seimbang mencukupi? Nilai dari segi kualiti dan kos dan cadangkan 2 peringkat untuk saya uji rintis.
3. Saringan pengurangan kos:
Kenal pasti cara untuk mengurangkan kos dalam aliran kerja berikut: [WORKFLOW].Tulis kebolehlaksanaan dan anggaran penjimatan untuk setiap lata, pengurangan input, terikat keluaran, cache dan pengepala pemprosesan kelompok.
4. Had keluaran:
Tulis semula gesaan berikut untuk mengurangkan token output tanpa mengurangkan kualiti: "[PROMPT]". Optimumkan untuk panjang, format dan pengulangan yang tidak perlu.
Kesilapan biasa
- Melangkau perbezaan input/output: Membenarkan jawapan panjang tanpa mengetahui bahawa output jauh lebih mahal.
- Model yang paling berkuasa untuk setiap kerja: Melakukan kerja yang mudah dengan model yang mahal dan membayar berlipat kali ganda tanpa perlu.
- Melepaskan panjang output: Memberi kebenaran menulis tanpa had kepada model tanpa mengenakan sebarang format atau sekatan panjang.
- Mengabaikan cache dan kelompok: Hilang peluang penjimatan yang serius untuk input berulang dan tugas yang tidak mendesak.
- Berfikir bahawa harga adalah terkini: Bergantung pada jadual harga lama dan merancang belanjawan secara salah; harga sering berubah.
Secara ringkasnya
- Harga dikira berdasarkan token; input dan output berharga secara berasingan, dan output selalunya beberapa kali lebih mahal.
- Anda boleh menganggarkan kos bulanan secara kasar mengikut bilangan formula permintaan × token purata × harga.
- Pemilihan langkah yang betul sahaja boleh mengurangkan kos berkali-kali.
- Pengurangan input, pengehadan keluaran, caching dan pemprosesan kelompok adalah kaedah praktikal yang mengurangkan bil dengan ketara.
Tugasan permohonan
Dapatkan nilai token yang anda anggarkan dalam unit sebelumnya. Minta kos bulanan perniagaan anda dikira untuk dua tahap berbeza dengan templat 1 dalam unit ini (anggaran kos bulanan). Kemudian, dengan templat ke-3 (imbasan pengurangan kos), simpulkan berapa banyak penjimatan yang boleh dibawa oleh setiap kaedah kepada aliran kerja anda. Rancang untuk memilih dua kaedah yang paling menjanjikan dan gunakannya pada belanjawan bulan depan anda.
senarai semak
- [ ] Saya tahu bahawa token input dan output berharga secara berasingan dan output lebih mahal.
- [ ] Saya boleh menganggarkan kos bulanan aliran kerja dengan formula mudah.
- [ ] Saya boleh menunjukkan kesan kos memilih tahap yang betul dengan contoh.
- [ ] Saya boleh mengenali lima kaedah pengurangan kos dan memilih yang sesuai.
- [ ] Saya boleh menulis semula gesaan untuk mengurangkan token output.