幻覚と信頼性の限界 — AI リテラシー

利益:

幻覚とは何か、なぜ幻覚が起こるのかを説明できる
AI 出力をいつ検証する必要があるかを判断できる
信頼性を高める実践的なテクニックを適用できる

おそらく、AI リテラシーの最も重要なトピックはこの単元にあります。モデルの作成、つまり幻覚です。この用語を理解することは、AI を使用する人にとって最も基本的な安全対策です。幻覚を認識していないユーザーが誤った情報を真実であると誤解し、それを経営上の決定、顧客とのコミュニケーション、または公式文書に転用する可能性があるためです。この単元では、幻覚とは何か、幻覚が避けられない理由、幻覚から身を守る方法について学びます。

幻覚とは何ですか?

幻覚とは、言語モデルが流暢で自信に満ちた言語で実際には存在しない情報を、あたかも真実であるかのように生成することです。モデルは嘘をつくつもりはありません。「最も可能性の高い継続」のみを生成すると、可能性が高いように見えても実際には誤りであるテキストが作成されます。

例: モデルに「このトピックに関する学術情報源を勧めます。すべてが正しい形式で説得力を持って表示されます。しかし、情報源は完全に想像上のものです。これは幻覚の典型的な例です。

なぜそれが起こるのか? (ユニット 2 を思い出してください)

幻覚の原因はモデルの動作原理にあります。このモデルは「事実の百科事典」ではありません。それは「確率マシン」です。その仕事は、質問の続きをできるだけスムーズに作成することです。最も正確な情報を提供することが目的ではありません。モデル:

彼は自分が何を知らないのかを知りません。空白に直面したとき、彼は「分かりません」と言うのではなく、考えられる答えを埋める傾向があります。
現実を制御するメカニズムはありません。作成したテキストが世界と一致するかどうかはチェックしません。
彼にとって、流暢さと正確さは別のものです。流暢だからといってそれが正しいとは限りません。

注意: 幻覚は「故障」ではありません。それはテクノロジーに固有の機能です。新しいモデルではこれが軽減されますが、完全に排除することはできません。したがって、「幻覚のないモデル」を待つのではなく、幻覚とともに生きる方法を学ぶ必要があります。

幻覚のリスクが高いのはどこですか?

すべての結果が同じようにリスクを伴うわけではありません。次の場合にリスクが高まります。

高リスク

低リスク

正確な数字、日付、統計

一般的なアイデアの生成、ブレインストーミング

出典、引用、参考文献のリクエスト

テキストのトーンを変更する

ニッチで専門的なトピック

共通の一般的なトピック

最近の出来事や人々

文章を要約する

貴社固有の内部情報

文法修正

ミニケース3個

ケース 1 — プレゼンテーションに偽の人物が入りました。ある従業員が AI に業界レポートの「2023 年のトゥルキエにおける電子商取引の成長率と情報源」を尋ねました。モデルは、説得力のあるパーセンテージ (48%) と機関名を返しました。従業員はそれを確認せずにプレゼンテーションに入れました。この数字が捏造されたことが会議で明らかになり、プレゼンテーションと会社の評判の両方が傷ついた。同じ従業員が公式情報源から数字を受け取ったのであれば、問題はありません。

ケース 2 — 存在しない法律。アシスタントは請願のためにAIに「関連する法律条項」を尋ねました。モデルは、現実的に見える商品番号とテキストを生成しました。しかし、そのアイテムはそこにはありませんでした。幸いなことに、法務部門は納品前にそれに気づきました。教訓: 法的引用は常に一次情報源から検証されます。

ケース 3 — 正しい方法、安全な結果。同じチームの別の従業員は、AIにレポートの草案を作成させ、公式データからすべての数字を自分で入力し、「このテキストにない数字は追加しない」ように指示しただけだった。結果は速くて正確でした。違い: AI が草案を書き、人間が事実を入力した。

弱いプロンプト / 強いプロンプト

弱いプロンプト: このテーマに関する最も重要な学術情報源を 3 つ、著者と年とともに挙げてください。

結果: モデルは存在しないソースを安全に適合させることができます。

強力なプロンプト: 以下に貼り付けたテキストに基づいて概要を書いてください。このテキストの情報のみを使用してください。本文にない名前、番号、出典などは追加しないでください。よくわからない場合は、「本文には指定されていません」と記入してください。<text>[ここに貼り付け]</text>

結果: モデルがソースを取得するため、フィッティングスペースが狭くなります。

信頼性を高める実践テクニック

回答内の検証可能な主張 (番号、日付、名前、出典) をそれぞれマークし、別の「要チェック」リストに追加します。

この質問に答えてください。よくわからない場合は、推測しないでください。「わかりません」と言って、何がわからないかを説明してください。件名: [件名]

同じ質問に 2 つの異なる方法で回答し、2 つの回答間の矛盾をマークします。それでは、どの点が疑問なのか見てみましょう。質問: [質問]

以下本文を確認させていただきます。チェックすべき危険な主張を重要度の順にリストし、それぞれをどこで検証できるかを提案します。テキスト: [ここに貼り付け]

さらに、次の習慣を取り入れてください。

あなたはソースを提供します。該当する文書を本文中に貼り付けて「これだけで答えてください」と言う。
検証可能な事実を常に確認してください。番号、日付、名前、引用、および独立した信頼できる情報源からの情報源を確認してください。
モデルについてよくわからないことを伝えるように依頼してください。これによりリスクは軽減されますが、完全に排除されるわけではありません。
リスクの高いジョブの場合は、専門家に出力を検査してもらいます。法律、財務、健康関連の成果物は人間の専門家のフィルターを通過する必要があります。
AI を「最後の言葉」としてではなく、「出発点」として使用します。草案は彼からのものです。検証と決定はあなた自身です。

注意: 「モデルが 2 回言ったから真である」というロジックは間違っています。自信を持って同じ間違いを繰り返すことができます。繰り返しは正確さの証拠ではありません。

よくある間違い

ソースを検証せずに使用する。モデルブック、記事、法律条項、およびリンクを作成できます。すべての参照を確認する必要があります。
自信に満ちた口調を正確さと誤解する。幻覚で最も危険なのは、まさにその幻覚が自信に満ちているように見えることです。
モデルに「確認しました」と言わせるだけで十分です。モデルの自己検証は独立した検証ではありません。
専門家に見せずに高リスクの出力を使用する。お金、法律、健康においては人間によるコントロールが不可欠です。

要約すると

幻覚とは、モデルが存在しない情報を、あたかも真実であるかのように流暢かつ自信に満ちた方法で生成することです。
原因は誤動作ではなく、モデルの確率予測の性質にあります。完全に排除することはできません。
正確な数字、情報源、最新情報、ニッチな問題に関しては特にリスクが高くなります。
自分を守るためには、出典を示し、事実を確認し、「わからない場合は教えてください」と言い、リスクの高い出力については専門家にチェックしてもらいましょう。
AI を出発点として使用します。最終的な検証と責任は常にお客様にあります。

アプリケーションタスク

専門知識が必要なテーマについて「3 つの学術情報源を提案する」ように AI ツールに指示し、インターネット上で提案された情報源を確認してみます。どれだけの数が本物であるかに注目してください。次に、「ソースを与える」方法で同じ作業を繰り返し、違いを観察します。

チェックリスト

[ ] 幻覚とは何か、そしてなぜ幻覚が起こるのかを説明できます。
[ ] 幻覚リスクの高いタスクと低いタスクを区別できます。
[ ] モデルにソースを与えることで捏造のリスクを減らすことができます。
[ ] 私は独自に番号、日付、名前、情報源を確認します。
[ ] 私は自信に満ちた口調が正確さの証拠であるとは考えません。