オンプレミス、VPC、Openweight ホスティング

利益:

マネージド API、VPC、オンプレミスホスティングの間のトレードオフを評価する機能
データ主権、ボリューム、運用能力に基づいてホスティングを決定する機能
全アイテムの総所有コスト (TCO) を計算し、ハイブリッドアーキテクチャを設計する機能

組織によっては、どんなに安全であっても「プロバイダーにデータを送信する」ことは受け入れられません。防衛産業、公共、銀行、および一部の医療シナリオでは、データが機関の境界を越えてはなりません。この時点で、独自のモデルをホストすることが前面に出てきます。オープンウェイトモデルは、独自のクラウドネットワーク (VPC) または独自のサーバー (オンプレミス) で実行されます。この単元では、マネージド API とセルフホスティングのトレードオフ (それが合理的である場合)、および総所有コスト (TCO) について学びます。

概念

マネージド API: モデルプロバイダーのインフラストラクチャ上で実行されます。リクエストを送信すると、応答が得られます。運用上のオーバーヘッドは最小限ですが、データはプロバイダーに送信されます。
オープンウェイトモデル: モデルパラメーター (重み) をダウンロードできます。独自のハードウェア上で実行できます。「オープンソース」と必ずしも同じではありません（ライセンスが異なる場合があります）。
VPC ホスティング (仮想プライベートクラウド): 独自の隔離されたクラウドネットワークでモデルを実行します。データはネットワーク境界に残りますが、インフラストラクチャは依然としてクラウド内にあります。
オンプレミス (オンプレミス): モデル全体を独自のデータセンターのハードウェア上で実行します。最高の制御、最高の運用負荷。

注意: 「独自のホスティングは常に安全である」というのは誤解です。セキュリティは、データをどこに保管するかよりも、データをいかに適切に管理するかによって決まります。パッチが適用されておらず、構成が不十分なオンプレミスサーバーは、成熟したマネージド API よりもリスクが高くなります。

意思決定軸: いつ、どれを選択するか?

決定には次の 3 つの質問があります。

データ主権: 法律または契約は、データが機関/国外に流出することを禁止していますか? 「はい」の場合、VPC/オンプレミスにプッシュされます。
量とコスト: 使用量は非常に多く、予測可能ですか?非常に大量のセルフホスティングを行うと、ユニットコストを削減できます。少量または不安定な量で管理される API は、ほとんどの場合安価です。
運用能力: GPU インフラストラクチャ、モデルの更新、スケーリング、セキュリティパッチの適用を維持するチームはいますか?それ以外の場合は、独自のホスティングに隠れたコストがかかります。

トレードオフテーブル

サイズ

マネージドAPI

VPC

オンプレミス (オープンウェイト)

データ主権

プロバイダーを信頼する

高 (ネットワーク制限に達する)

最高（決して上がらない）

動作負荷

低すぎる

中程度

高い

初期費用

低価格（従量課金制）

中程度

高（ハードウェア）

スケーリング

自動

管理された

あなたの責任

モデルの品質/通貨

ステップバイステップ: ホスティングの決定

データクラスを決定します。データはどの機密レベルで処理されますか?
法的制約を確認します。データが流出することはありますか? (KVKK、部門規制、契約。)
量を見積もってください。毎月のリクエスト/トークンの量と増加曲線。
TCO を計算します。 GPU だけではありません。エネルギー、メンテナンス、チーム、セキュリティ、冗長性。
ハイブリッドを考えてみましょう。多くの場合、オンプレミス/VPC で機密データを処理し、マネージド API で非機密データを処理するハイブリッドモデルが最も安定します。

4 つのコピー可能なテンプレート

ホスティング決定プロンプト:

次の用途のホスティングを決定します: {{ シナリオ }}質問:- 処理されるデータのプライバシークラスは何ですか? (公開/内部/機密/極秘)- 法律/契約により、データを組織外に持ち出すことは許可されていますか?- 毎月のボリューム予測と予測可能性はありますか?- 運用/GPU チームの能力はありますか?推奨事項: 「マネージド API / VPC / オンプレミス / ハイブリッド」 + 正当な理由。

TCO 項目リスト (セルフホスティングの場合):

総所有コストを次のように計算します。 - ハードウェア (GPU) の購入/リース - エネルギーと冷却 - 人員: MLOps + セキュリティチームの時間 - モデルの更新とテスト要員 - 冗長性/災害復旧 - セキュリティのパッチ適用と監視これを、12 ～ 24 か月にわたるマネージド API の月々の請求額と比較します。

ハイブリッドルーティングルール:

データクラスに基づいて各リクエストをルーティングします。 - 「シークレット/トップシークレット」データ -> オンプレミス/VPC モデル - 「パブリック/内部」データ -> マネージド API (より強力/安価) 転送決定とデータクラスを監査ログに書き込みます。

重量セキュリティチェックプロンプトを開く:

セルフホストモデルを評価します:- ライセンスは商用利用を許可しており、シナリオ内での使用が許可されていますか?- 信頼できるソースからのモデルの重み、整合性 (ハッシュ) が検証されていますか?- サーバーのパッチ適用、ネットワークの分離、アクセス制御がインストールされていますか?- 監視とログはマネージド API と同じくらい成熟していますか? 欠落している項目を「オン」としてマークします。

弱いプロンプト / 強いプロンプト

下手なアプローチ

強力なアプローチ

「オンプレミスの方が安全です。常にオンプレミスを使用してください」

データ主権 + ボリューム + 容量に基づく決定

GPUコストだけ見てみると

フル TCO (エネルギー、スタッフ、アップデート、セキュリティ)

単一のホスティングモデルに固定されている

ハイブリッド: データクラスによるルーティング

オープンウェイトを下げずに走行して検証

ライセンス + 整合性 + パッチ + トレース制御

ミニケース3個

ケース 1 — オンプレミスの義務は正しい決定でした。防衛請負業者は極秘文書を処理することになっていた。契約ではデータの国外持ち出しが禁止されていた。マネージド API は最初から排除されました。オンプレミスのオープンウェイトモデルが確立されました。コストは高かったですが、互換性のあるオプションはこれしかありませんでした。

ケース 2 — 機密 TCO の決定が取り消されました。あるスタートアップは、「API が高価である」という理由でセルフホスティングへの切り替えを計画しました。 TCO の計算には、GPU だけでなく、フルタイムの MLOps エンジニア 2 名を追加し、負荷と冗長性を更新すると、24 か月の合計はマネージド API の 2 倍になります。量が少なく散発的だったため、それらは API に残りました。

ケース 3 — ハイブリッドが最良の結果をもたらしました。銀行のコールセンターのアシスタントは、一般的な商品に関する質問と顧客固有の口座データという 2 種類のデータを処理していました。アカウントデータは VPC 内のモデルに送信され、一般的な質問は強力なマネージド API に送信されます。機密データが外部に流出することはなく、最も強力なモデルの品質が一般質問に使用されました。コストとフィット感が同時に最適化されます。

ヒント: 決定は二者択一 (すべてか無か) である必要はありません。ハイブリッドアーキテクチャ — クラスごとにデータをルーティングする — は、ほとんどのエンタープライズシナリオでコンプライアンスとコストを同時に解決します。

よくある間違い

「独自のホスティングは自動的に安全になる」と仮定します。一方、セキュリティは管理の質に依存します。
TCO は単なる GPU コストであると考えます。チーム、エネルギー、アップデート、そしてセキュリティのことは忘れてください。
少量または不規則なボリュームでセルフホスティングに切り替え、単価を増加させます。
ライセンスと整合性 (ハッシュ) を検証せずにオープンウェイトモデルを使用する。
マネージド API ほど成熟した監視/ログ機能がオンプレミスサーバーにインストールされていない。
ハイブリッドのオプションをまったく考慮せずに二者択一で決定を下す。

要約すれば

マネージド API は操作が最も簡単ですが、データはプロバイダーに送信されます。 VPC/オンプレミスではデータを境界に保持します。
データ主権、量とコストの予測可能性、運用能力という 3 つの質問が決定の原動力となります。
「セルフホスティングの方が安全である」というのは誤解です。セキュリティは、データをどこに保管するかではなく、データをどれだけ適切に管理するかによって決まります。
エネルギー、チーム、アップデート、冗長性、セキュリティ、GPU などの正確な TCO を計算します。
ハイブリッドアーキテクチャ (クラスごとにデータをルーティング) により、ほとんどのエンタープライズシナリオでコンプライアンスとコストのバランスが同時に取れます。

アプリケーションタスク

AI の使用法を選択し、処理されるデータをプライバシークラスに分離します。ホスティング決定プロンプトを使用して推奨事項を生成します。次に、独自のホスティングの TCO 項目リストに記入し、24 か月の合計をマネージド API の請求額と比較します。最後に、ハイブリッドルーティングルールの草案を作成します。どのデータがどこに送信されるか?

チェックリスト

[ ] 私は、処理されるデータの機密クラスと法的制限を決定しました。
[ ] 私は主権 + 量 + 容量に基づいてホスティングを決定しました。
[ ] 全アイテム (非 GPU を含む) で TCO を計算しました。
[ ] セルフホスティングでライセンス、整合性、パッチ適用、監視をチェックしました。
[ ] ハイブリッドルーティングオプションを検討しました。
[ ] 私はその決定とその理由を文書化しました。

概念