ユニット 6 / 10

価格設定ロジック: トークンエコノミーとコストと品質のバランス

利益:

  • 入力/出力トークンの価格設定と請求書項目を読み取る機能
  • 大まかな計算式を使用してワークフローの月額コストを見積もることができる
  • キャッシュ、バッチ処理、モデルのステージングなどのコスト削減方法の実装

モデルのコストを見積もることができることは、意思決定者にとって最も実践的なスキルの 1 つです。 「毎月何を支払うのですか?」質問に答えられなければ、予算を計画することも、適切なレベルを選択することもできません。幸いなことに、価格設定は思っているよりも簡単で、一度コツをつかめば自分で大まかな見積もりを立てることができます。この単元では、入出力トークンの価格を読み取る方法、簡単な式でワークフローの月額コストを見積もる方法、および実際にコストを削減する方法を学びます。

経験則: 入力と出力は別々に価格設定されます

クローズドウェイト モデルでは、価格は処理されるトークンの量に基づいて計算され、次の 2 つの個別の項目があります。

  • 入力トークン (入力): モデルに送信するテキスト。プロンプト、ドキュメント、サンプル。
  • 出力トークン: モデルが生成する答え。

重要な点: 出力トークンは入力トークンよりも数倍高価になることがよくあります。これは、出力を生成するモデルの計算コストが高くなるためです。たとえば、あるモデルでは、入力が 100 万トークンあたり 3 ドルであるのに対し、出力は 15 ドルになる可能性があります。したがって、出力は5倍高価になります。つまり、長くて不必要な回答はすぐに予算を食いつぶす可能性があります。

ヒント: コストを削減する最も簡単な方法の 1 つは、モデルに不必要に長い回答を求めないことです。 「最大 5 つの記事」、「単一の段落」、「表のみエクスポート」などの制限により、品質が向上し、出力トークンが節約されます。

現在の価格の例

以下は、いくつかのモデルのおおよその価格です (100 万トークンあたり、米ドル)。これらの値は、このモジュールが作成された期間に属し、頻繁に変更されます。正確な決定については、プロバイダーの現在の料金ページを確認してください。

モデル

ステージ

$/1M を入力

出力 $/1M

クロード 作品4.8

強い

~5

~25

クロード・ソネット 5

バランスのとれた

~3

~15

クロード俳句 4.5

軽量

~1

~5

表にあるように、強力な層と軽い層の間には最大 5 倍の価格差がある可能性があります。 「すべてのビジネスに最適なモデル」というアプローチがしばしばお金の無駄になるのはそのためです。単純な作業を安価なモデルで実行し、難しい作業を強力なモデルで実行することで、品質を損なうことなく大幅な節約が可能になります。このアイデアについては、単元 7 と 9 でさらに深めていきます。

月額費用の見積もり: 簡単な計算式

毎月のコストの大まかな見積もりには、次の式を使用できます。

月額コスト ≈ (1 か月あたりのリクエスト数 × 平均入力トークン × 入力価格 / 1,000,000)+ (1 か月あたりのリクエスト数 × 平均出力トークン × 出力価格 / 1,000,000)

例を実行してみましょう。 e コマース チームが毎月 50,000 件の商品説明を作成するとします。各リクエストは平均 500 トークンの入力 (製品情報) を送信し、300 トークンの出力 (説明) を受信します。バランスモデル (入力 ~3、出力 ~15) の場合:

  • 投入コスト: 50,000 × 500 × 3 / 1,000,000 = 75 ドル
  • 出力コスト: 50,000 × 300 × 15 / 1,000,000 = 225 ドル
  • 合計 ≈ 月額 300 ドル

軽量モデルで同じジョブを実行した場合 (入力 ~1、出力 ~5):

  • 入力: 50,000 × 500 × 1 / 1,000,000 = 25 ドル
  • 出力: 50,000 × 300 × 5 / 1,000,000 = 75 ドル
  • 合計 ≈ 100 ドル/月

つまり、ステージを選択するだけで、同じ仕事を 300 ドルから 100 ドルに減らすことができます。製品説明などの比較的単純なタスクの場合、多くの場合、軽量モデルで十分です。

注意: この式は概算です。実際の請求額は、キャッシュの使用量、再試行、推論モードなどの要因によって異なります。それでも、予算を確認したり 2 つのモデルを比較したりするには、非常に良いスタートとなります。決定を下す前に、小規模なパイロットで実際の数値を測定するのが最善です。

コストを削減する5つの方法

  1. 適切なレベルを選択してください。シンプルな軽量モデル。これが唯一最大の節約源です。
  2. 入力を小さくしてください。リクエストごとに膨大なドキュメントを記入する代わりに、関連するセクションのみを送信します (ユニット 5 のコンテキストの最適化)。
  3. 出力を制限します。回答の長さと形式を明確にします。不必要に長い回答 = 不必要なコスト。
  4. キャッシュを使用します。 Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper.これにより、同じ大きな命令を何千回も送信する場合に大幅な節約が可能になります。
  5. バッチ処理を実行します。急いでいない場合は、多くのリクエストを一括で送信し、割引価格で処理する「バッチ」オプションを使用すると、コストが大幅に削減されます。

3 つの現実的なケース

ケース 1 — ステップ変更による節約。顧客サービス チームは、最も強力なモデルを使用してすべての受信メールを要約していましたが、月額請求額は約 900 ドルでした。要約するのは簡単な作業でした。バランス層に移行すると、出力品質はほぼ変わりませんでしたが、請求額は約 250 ドルに下がりました。適切な階層を選択するだけで、年間最大 7,800 ドルを節約できます。

ケース 2 — キャッシュを使用して保存する。ソフトウェア チームは、コード レビューのリクエストごとに同じ 8,000 トークンの「コーディング標準」文書を送信していました。 1 日あたり 400 リクエスト × 8,000 トークン = 大量の反復入力。キャッシュ機能をオンにすると、この固定パーティションははるかに安価に読み取られるようになり、入力コストのかなりの部分がなくなりました。

ケース 3 — 生産量を制限することによる節約。マーケティング チームが製品の説明を求めると、モデルは一度に長く花の多い段落を作成しました。 「最大 60 単語、1 段落」という制限を追加したところ、説明がより便利になり、出力トークンが半分になりました。品質が向上する一方、コストは削減されました。ウィンウィン。

弱いプロンプト / 強いプロンプト

弱いプロンプト:

この商品についての素敵な説明を書いてください。 【商品情報】

モデルは好きなだけ書くことができます。出力トークンは制御されていません。

強力なプロンプト:

あなたの役割: eコマースのコピーライター。製品: [情報]。タスク: 製品の説明を書きます。制限: 最大 60 単語、1 段落、非技術顧客向けのアピール、2 つのメリット + 1 つのユースケースを含む。派手な形容詞は避けてください。

強力なプロンプトは、品質と出力の長さ (したがってコスト) の両方を制御します。

コピー可能なテンプレート

1. 毎月の費用の見積もり:

私は毎月 [QUANTITY] 件のリクエストを行っています。入力 ~[NUM] 個のトークン、出力 ~[NUM] 個のトークンの平均。以下のモデル(【モデルA】、【モデルB】)の月額費用を計算式で計算し、表で比較します。入力/出力価格 [PRICES] を受け入れます。

ティア 2 の比較:

私の義務[タスク]。このジョブには本当に強力なモデルが必要ですか、それとも軽量でバランスの取れたモデルで十分ですか?品質とコストの観点から評価し、パイロット テストを行う 2 段階を提案してください。

3. コスト削減の審査:

次のワークフローでコストを削減する方法を特定します: [ワークフロー]。カスケード、入力削減、出力境界、キャッシュ、およびバッチ処理ヘッダーのそれぞれについて、実現可能性と推定節約量を書き込みます。

4. 出力制限:

次のプロンプトを書き換えて、品質を低下させずに出力トークンを削減します: "[PROMPT]"。長さ、形式、不必要な繰り返しを最適化します。

よくある間違い

  • 入出力の違いをスキップする: 出力がはるかに高価であることを知らずに、長い回答を許可します。
  • あらゆるジョブに最も強力なモデル: 単純なジョブを高価なモデルで実行し、不必要に何倍も支払うことになります。
  • 出力の長さの解放: 形式や長さの制限を課すことなく、モデルに無制限の書き込み許可を与えます。
  • キャッシュとバッチの無視: 反復的な入力や緊急ではないタスクの大幅な節約の機会を逃します。
  • 価格が最新のものであると考える: 古い価格表に依存し、予算を誤って計画します。価格は頻繁に変わります。

要約すると

  • 価格はトークンに基づいて計算されます。入力と出力の価格は別々に設定されており、出力の方が数倍高価であることがよくあります。
  • 毎月のコストは、リクエスト数 × 平均トークン × 価格の式で大まかに見積もることができます。
  • ステップを正しく選択するだけで、コストを何倍も削減できます。
  • 入力の最小化、出力の制限、キャッシュ、バッチ処理は、料金を大幅に削減する実用的な方法です。

アプリケーションタスク

前の単元で推定したトークン値を取得します。この単元のテンプレート 1 を使用して、ビジネスの月次コストを 2 つの異なるレベルで計算します (月次コスト見積もり)。次に、3 番目のテンプレート (コスト削減スキャン) を使用して、各方法がワークフローにどれだけの節約をもたらすかを推定します。最も有望な 2 つの方法を選択し、来月の予算に適用する計画を立ててください。

チェックリスト

  • [ ] 入力トークンと出力トークンの価格は別々に設定されており、出力の方が高価であることはわかっています。
  • [ ] ワークフローの月額コストを簡単な式で大まかに見積もることができます。
  • [ ] 適切なレベルを選択した場合のコストへの影響を例で示します。
  • [ ] 5 つのコスト削減方法を認識し、適切な方法を選択できます。
  • [ ] プロンプトを書き換えて出力トークンを減らすことができます。