生成 AI はどのように機能するのでしょうか?

利益:

トークンは確率と予測の概念を直感的に説明できます
言語モデルがテキストを「断片的に」生成する理由を理解する
モデルが時に決断力を持って、時に創造的に行動する理由を解釈できる

「イスタンブールの一番良いところ」を言語モデルに書き込むと、数秒で流暢な段落が生成されます。これはどうして起こるのでしょうか?モデルは本当に「考える」のでしょうか、それともその背後にもっと単純だが強力なメカニズムがあるのでしょうか?この単元では、技術的な方程式には立ち入らず、正しい直感を確立することによって、生成 AI がどのように機能するかを説明します。この直観は、その後に続くすべてのもの、特に幻覚、検証、優れた迅速な文章のトピックの基礎となります。 Generative AI、つまり「生成型人工知能」とは、既存の答えを見つけて取得するのではなく、ゼロからテキストを作成するツールの一般名です。

基本的な考え方: 次の作品を予測する

驚くべきことに、言語モデルが学習する唯一の基本的なタスクは、「テキストのどの部分が続く可能性が最も高いか?」ということです。質問に答えることです。モデルは完全な文を用意して、それをあなたの前に提示するわけではありません。代わりに、文を左から右に少しずつ生成します。

段階的にどのように機能するかは次のとおりです。

あなたが書いたテキスト（プロンプト）を読み上げます。
このテキストに続く可能性が最も高い部分を予測します。
その部分を追加します。
新しく形成されたテキストを再度調べて、次に可能性の高い部分を推測します。
回答が完了するまで繰り返します。

例: モデルに「朝起きたら温かいカップを飲んでください...」というテキストを与えた場合、最も可能性の高い続きは「お茶」または「コーヒー」になります。「アスファルト」ではありません。モデルはそのような確率を何百万ものテキストから学習しました。次に、「お茶」を追加し、新しい文を見て、次に可能性の高い部分を推測する、という具合です。

言い換えれば、モデルは各ステップで、書き込まれた内容を確認して次のステップに進みます。このため、「オートコンプリートの非常に高度なバージョン」と呼ばれることもあります。しかし、このたとえは才能を軽視すべきではありません。適切なスケールでは、この予測は推論のように見える結果を生み出す可能性があります。

トークン: 単語の小さな断片

このモデルは実際には完全な「単語」ではなく、トークンと呼ばれる小さな部分で機能します。トークン。単語全体である場合もあれば、単語の一部である場合もあれば、句読点である場合もあります。

「book」は単一のトークンにすることができます。
「from our Books」は、「book」、「s」、「our」、「from」など、いくつかのトークンに分割できます。
スペースや句読点もトークンとしてカウントされます。

注意: トークンは単なる技術的な詳細ではありません。ほとんどの AI ツールはトークンの数に応じて課金され、モデルが一度に処理できるテキスト (コンテキストウィンドウ) の長さもトークンで制限されます。したがって、「どれくらいの時間書くか」が直接的なコストであり、制限となります。

確率と「温かさ」：決断力か創造力か？

各ステップで、モデルは単一の最終的な答えではなく、可能な継続の確率リストを生成します。たとえば、「ホット」という単語の後: お茶 55%、コーヒー 35%、牛乳 7%、その他 3%。それで彼はどれを選ぶでしょうか？

ここで、温度と呼ばれる設定が関係します。温度は、モデルがどの程度「リスク」を負うかを決定する一種の創造性ノブです。

設定

行動

結論

どこで役に立ちますか?

低温

常に最も可能性の高い選択肢を選択します

安定性と再現性

法的概要、技術的説明、データ抽出

中温

バランスのとれた選択

自然だが一貫性がある

一般的な電子メール、レポートの下書き

高温

可能性の低い選択肢を試す

創造的、多様性、予測不能

ブレーンストーミング、スローガン、ネーミング制作

これは、「同じ質問を 2 回行うと、なぜ異なる答えが得られるのですか?」というよくある質問についても説明しています。選択プロセスにはある程度のランダム性があるためです。モデルはデータベースから固定された答えを引き出すのではなく、毎回それを再現します。

弱いプロンプト / 強いプロンプト

モデルが「確率」で機能することを知ると、モデルを指示する方法も変わります。より多くのコンテキストを提供するほど、正しい継続が行われる可能性が高くなります。

弱いプロンプト: 紹介文を書きます。

結果: モデルは、どの製品、どの聴衆、どのトーンを認識していないため、最も「平均的」で一般的なテキストを生成します。

強力なプロンプト: 小さなカフェの新しいフィルターコーヒーの Instagram プロモーションテキストを作成します。対象者: 25 ～ 35 歳、コーヒー愛好家。口調：フレンドリー、短め。最大3文、最後に2つのハッシュタグ。

結果: 文脈によって可能性が狭められるため、関連性のある使用可能なテキスト。

ミニケース3個

ケース 1 — マーケティング、多様性が高い。あるチームは新製品のために 30 個のスローガンを求めていました。高温設定により、このモデルはさまざまで創造的なオプションを生み出しました。チームは 30 個の中から 4 個を選択して開発しました。合計時間: 10 分。手作業だと半日くらいかかります。

ケース 2 — 法律、高い決意。同じ会社の法務チームは契約条項を簡素化していました。彼らは創造性ではなく一貫性を求めていました。低温では、モデルは毎回ほぼ同じ、控えめな要約を示しました。したがって、異なる試験間に矛盾はありませんでした。

ケース 3 — 「なぜ変わったのですか?」質問。従業員が同じ電子メールの下書きを 2 回要求し、2 つの異なる結果を受け取りました。彼はそれが「間違い」だと思った。実際、これはモデルのランダム性の自然な結果です。従業員が気に入ったバージョンを保存し、必要に応じて「前のバージョンと同じようにしてください」と言えるようになると、問題はなくなりました。

モデルは「理解」していますか？

これは最も興味深い質問です。このモデルは単語間の統計的関係を徹底的に学習しているため、多くのタスクを理解しているように見せかけます。しかし、意識的な理解、意図、現実を制御するメカニズムはありません。それは「最も可能性の高い続編」を生み出す。「最も正確な情報」の生成を保証するものではありません。この区別は、次の単元で説明する幻覚の主題の基礎です。

よくある間違い

モデルを検索エンジンと間違えます。このモデルは、(特別な検索機能がない限り) インターネットを検索してリソースを取得しません。メモリから可能なテキストを生成します。したがって、彼は情報源/図をでっち上げることができます。
流暢さを正確さと誤解する。文章が美しく自信に満ちているからといって、その内容が正しいとは限りません。
毎回同じ答えを期待します。ランダム性は自然なものです。重要なタスクのために必要な出力を保存します。
非常に長い不要なテキストを貼り付け、トークンの制限を超えています。長さによりコストが増加するだけでなく、モデルの焦点がそらされる可能性もあります。必要なコンテキストを与えるだけです。

注意: モデルが流暢かつ自信を持って話すからといって、彼女が正しく話すという意味ではありません。流暢さは確率推定の自然な結果です。精度は個別にチェックする必要があります。

要約すると

生成 AI は、次に可能性の高いフラグメント (トークン) を予測することによって、テキストを段階的に生成します。文を一つ一つ組み立てていきます。
トークンは単語の小さな部分であり、コストと長さの両方の制限を設定します。
各ステップで、モデルは可能性のリストを生成します。温度設定によって、出力の安定性や創造性が決まります。
同じ質問に対する答えが異なる理由は、このプロセスに固有のランダム性によるものです。
モデルは流暢に話しますが、これは彼女が真実を語っていることを保証するものではありません。流暢さと正確さは別のものです。

アプリケーションタスク

AI ツールに同じ創造的なタスク (例: 「簡単なお礼状を書く」) を 2 回続けて与え、出力がどのように異なるかを観察します。次に、「強力なプロンプト」テンプレートを使用して同じタスクを繰り返し、コンテキストを追加し、2 つの結果の品質の違いに注目します。

チェックリスト

[ ] モデルが「次に考えられるチャンクを予測する」ことによってテキストを生成すると説明できます。
[ ] トークンとは何か、そしてなぜそれがコスト/制限を表すのかは知っています。
[ ] 私は決断力が必要な仕事と創造性が必要な仕事を区別することができます。
[ ] 同じ質問に対して異なる答えが得られるのが普通であることは承知しています。
[ ] 流暢さは正確さを保証するものではないことを私は心の中で理解しています。