利益:
- 軽量でバランスのとれた強力なモデル ステージと推論モードを認識する
- タスクの難易度に基づいて適切なモデル レベルを選択する
- 遅延、精度、コストのバランスを意識的に確立する能力
私たちは価格の計算を学びました。次に、その価格で何が得られるか、つまりモデルのレベルと機能について話しましょう。モデルを選択する際には、品質 (精度)、速度 (レイテンシ)、コストの 3 つの要素が常に競合します。これら 3 つのうち 2 つを改善すると、多くの場合、3 つ目が損なわれることになります。この単元では、軽量、バランスのとれた強力なレベル、推論モード、小型/大型モデルの好みについて学びます。タスクの難易度に応じて適切なバランスを意識的に確立できるようになります。
3 つのレベル、3 つの異なるジョブ キャラクター
ほぼすべてのプロバイダーが、同じファミリー内で 3 つの層を提供しています。これらをタスクの性質と一致させてみましょう。
- ライト層 (小規模モデル): 非常に高速で、非常に安価で、「十分」です。分類、ブリーフィング、タグ付け、データ クリーニング、簡単な応答草案など、単純で反復的な大量のタスクに最適です。
- バランスの取れた階層 (中モデル): 高品質、妥当な速度、妥当なコスト。コンテンツ制作、中編分析、顧客対応など、ほとんどの日常業務における「デフォルト」の選択肢。
- 強力な層 (大規模モデル): 最高の品質、最も遅く、最も高価です。複雑な推論、長くて多段階の分析、難しいコード、正確な法的/財務的評価。
ヒント: 開始時の適切なルール: バランスの取れたレベルから始めます。品質が悪い場合は、強いレベルに上げてください。品質が非常に高く、音量が大きい場合は、明るいレベルに下げます。 「最も強力なものから始める」アプローチではなく、「十分な状態から始める」アプローチにより、お金と時間の両方を節約できます。
推理モードとは何ですか？
一部のモデルでは、答えを直接生成するのではなく、最初に段階的に答えを「考える」場合があります。これを推論モードと呼びます。モデルは問題を部分に分割し、モデル自体内で中間ステップを処理し、それから初めて最終的な答えを出します。これは、学生が数学の問題を紙の上で段階的に解くのと似ています。
価値があるのはいつですか?マルチステップの論理的な問題: 複雑な計算、矛盾の検出、長い推論の連鎖、困難なコード エラー。この種の作業では、推論によって精度が大幅に向上します。
費用はいくらですか?推論では、モデルがより多くの「思考トークン」を生成するため、コストとレイテンシが増加します。そのため、コストも高くなりますし、速度も遅くなります。シンプルな「このレビューは肯定的ですか?」この質問について推論することは、ハエをハンマーで殺すようなものです。不必要なコストと遅延が発生します。
注意: すべてのタスクに対して推論モードを開いたままにしないでください。単純な作業の場合は閉じたままにした方が早くて安価です。最新のモデルには、いつ考える必要があるかを自分で判断する「適応型」思考モードが搭載されているものもあります。ただし、それを意識的に管理するのはあなたの仕事です。
品質、スピード、コストのトライアングル
優先順位
適正レベル
推論
低コスト、大量生産
軽量
閉店
バランス (ほとんどのジョブ)
バランスのとれた
状況に応じて
最高の精度、重要な決定
強い
開く
即時応答、低遅延 (チャット)
ライト/バランスのとれた
閉店
複雑な複数ステップの分析
強い
開く
この表を見ながら、「このタスクで失敗したら、どのくらいのコストがかかるだろう?」と自問してください。価格が高ければ（間違った法的評価や間違った財務上の決定）、強力な能力と論理的根拠を持った投資が正当化されます。価格が安ければ（商品ラベルの誤分類）、軽くて速いモデルで十分です。
小型モデルか大型モデルか?
一般に信じられていることに反して、すべてのジョブに大規模なモデルが必要なわけではありません。小型モデルは驚くほど高性能になり、大型モデルの 10 分の 1 のコストと数倍の速度で多くのタスクを実行します。決定のための 3 つの質問:
- タスクは単純で定型的なものですか? （分類、抽出、概要） → 小型モデル。
- 音量が大きすぎて速度が重要ですか? → 大型モデルは高価で遅いため、小型モデル。
- このタスクには、微妙な推論、拡張されたコンテキスト、または創造性が必要ですか? →大型モデル。
3 つの現実的なケース
ケース 1 — 軽量モデルで十分です。 e コマース チームは、1 日あたり 40,000 件の顧客のコメントを肯定的/否定的/中立的なものに分類しています。彼らは強力なモデルでそれを試し、次に軽量モデルと比較しました。精度はほぼ同じですが (96% 対 94%)、軽量モデルの方が 8 倍安く、3 倍高速です。このタスクには軽量モデルが断然正しい選択です。追加の 2% の精度では、8 倍のコストが正当化されません。
ケース 2 — 強力なモデル + 推論は必須です。税務コンサルティング会社は、複雑な多段階の税金シナリオを計算したいと考えています。軽量モデルは中間ステップで間違いを犯し、不正確な結果をもたらします。推論モードをオンにして強力なモデルを使用すると、モデルは段階的に進歩し、正しい結論に達します。ここでは、エラーのコストが高いため、追加のコストと遅延は許容されます。しかし、専門家は結果を認めています。
ケース 3 — 混合使用。コールセンターは、通話記録を 2 つのステップで処理します。まず、各通話を軽量モデル (大量、単純なジョブ) で簡単に要約します。次に、「苦情」としてマークされた通話のみを強力なモデルに与え、根本原因分析 (少量、複雑なジョブ) を実行します。そのため、実際に重要な少数の呼び出しのために強力なパターンのパワーを確保しながら、ボリュームの大部分を安価に処理します。
弱いプロンプト / 強いプロンプト
弱いプロンプト:
この税金シナリオを解決します。 【複雑なシナリオ】
モデルがどの程度慎重に検討するかは不明だ。
強力なプロンプト:
あなたの役割: 上級税務専門家。タスク: 次の複数段階のシナリオを段階的に解決します。最初に仮定をリストし、次に各ステップを個別に計算して表示し、最後に最終結果を示します。不明な点や法律に依存する点がある場合は、「専門家の確認が必要」とマークしてください。中間ステップをスキップします。[シナリオ]
強力なプロンプトは、モデルをステップバイステップの思考に導き (推論を促し)、検証可能にするために中間ステップを可視化します。
コピー可能なテンプレート
ステージ 1 の診断:
私の使命: [TASK]。量: [NUMBER/日]。エラーコスト：[LOW/MEDIUM/HIGH]、速度優先：[LOW/HIGH]。このプロフィールに基づいて、どのレベル (ライト/バランス/ストロング) と推論 (オープン/クローズ) をお勧めしますか?正当化する。
2. 小規模/大規模モデルの決定:
次のタスクを定義します: [TASK]。この問題は小型 (軽量) モデルで解決できますか? それとも大型モデルが必要ですか?小規模モデルで解決できるように、3 つのテスト ケースと成功のしきい値を提案してください。
3. 推論の妥当性：
推論 (ステップバイステップの思考) モードは、次のタスク: [TASK] において有益ですか、それともコストがかかりますか?タスクのステップ数と論理的な複雑さに基づいて決定を正当化します。
4. 2 段階のワークフロー設計:
次の大量タスク [タスク] のコストを削減するために 2 段階のフローを設計します。どの部分を軽量モデルに移し、どの部分を強力なモデルに移す必要がありますか?各ステップのレベルと根拠を書きます。
よくある間違い
- あらゆるジョブに強力なモデル: 単純で大量のジョブに最も強力なモデルを使用することで、不必要なコストと遅延が発生します。
- 常に推論をオンにしたままにする: 単純な作業で思考モードをオンにし続け、時間とお金を無駄に浪費します。
- 品質を測定せずに意思決定を行う: 2 つのレベルを独自のデータと比較せずに、「大きいほど良い」と仮定します。
- スピードの必要性を忘れる: チャットなど即時応答が必要な場所では、低速で強力なモデルを選択し、ユーザーを待たせてしまいます。
- 2 段階の流れをまったく考えていない。単一のモデルで全体のボリュームを構築せず、安くできる部分を節約していない。
要約すると
- モデルの選択は、品質、スピード、コストの三角形のバランスをとることです。 2 つを改善するには、多くの場合、3 つ目を妥協する必要があります。
- ライトステージは単純/大規模なジョブに適しており、強力ステージは複雑/重要なジョブに適しています。バランスのとれた段階は、ほとんどのジョブにとって良いスタートとなります。
- 推論モードでは、複数ステップの問題の精度が向上しますが、コストと待ち時間が増加します。すべてのタスクに対してオープンなままにしておくべきではありません。
- 「このミッションが失敗した場合の代償はいくらですか？」問題はレベルの決定と推論の羅針盤です。 2 段階のフローにより、大量のジョブを大幅に節約できます。
アプリケーションタスク
ジョブ内のタスクを選択し、テンプレート 1 (ステージ診断) でどのステージと推論設定が適切かを判断します。タスクが大量の場合は、テンプレート 4 (2 段階のワークフロー) を使用して、ボリュームの一部を軽量モデルに割り当て、重要な部分を強力なモデルに割り当てる設計を考え出します。この設計は、ユニット 9 のモデル ポートフォリオの研究で使用します。
チェックリスト
- [ ] 軽快でバランスのとれたパワフルなステージの作品キャラクターにマッチします。
- [ ] 推論モードが何をするのか、そしてそれにかかる費用は何かを説明できます。
- [ ] タスクの品質、スピード、コストのバランスを意識的に確立できます。
- [ ] 小規模モデルまたは大規模モデルの質問には 3 つの質問で答えることができます。
- [ ] 大量のジョブ用に 2 段階のフローを設計できます。