利益:
- 文献マッピング、概念スキャン、読書の優先順位付けに人工知能を使用して、捏造された情報源（幻覚）のリスクを管理する能力
- 一次情報源からのすべての引用、所見、効果量の主張を確認する検証フローを確立する能力
- 証拠のレベル (メタ分析、RCT、症例) を区別し、AI の概要を証拠の階層と比較検討する能力
心理学は証拠に基づいた職業です。研究の証拠は、「私にはそう見えるだけ」ではなく、介入が効果があるかどうかを教えてくれます。専門家が最新情報を知りたいとき、論文を書きたいとき、または事件に対して適切なアプローチを選択したいときは、文献に目を向けます。しかし、文献は膨大です。毎年何万もの記事が出版されます。ここでは人工知能 (AI) が非常に強力なアクセラレータです。概念を定義し、分野をマッピングし、最初に読むべき記事を提案し、複雑な文章を簡素化します。しかし、文献に記載されている AI の最も危険な特徴はここにあります。それは、存在しない情報源を捏造することです。この単元では、AI を文学ビジネスの加速装置にする方法、捏造されたソース (幻覚) の罠に陥ることなく作業する方法を学びます。
AI は文献の中で何を行い、何を構成するのでしょうか?
AI が得意とする文学タスク: 概念を平易な言葉で説明する。ある分野の主要な議論を要約する。テキストを読みやすくするため。キーワードと検索戦略を提案します。記事を要約します (テキストを提供する場合)。さまざまなビューを比較します。これらでは、AI によって数時間の読書が数分に短縮されます。
AI が構成するもの: 引用 (著者、年、雑誌、DOI 番号など、完璧に見えるが存在しない情報源)。統計 (効果の大きさ、サンプルサイズ、p 値などの実際に見える数値);発見（実際には発見されていないにもかかわらず、研究は「発見した」と主張します）。これは、AI が検索エンジンではなく、「可能性の高い単語を推測するもの」であるためです。AI は、その正確性をチェックすることなく、最も可能性の高い引用形式を生成します。
注意: AI によって与えられた引用は、一次情報源 (記事自体) から検証しない限り有効ではありません。一見完璧に見える DOI も偽物である可能性があります。 「間違ったソースを載せた」よりも、「見つかりませんでした」と言った方が良いのです。
証拠の階層: すべての結果が等しいわけではない
AI が調査結果を要約するとき、その証拠の強さはわかりません。ただし、証拠には階層があります。主張を比較検討するときは、それがどのような種類の証拠に基づいているかを知ることが重要です。
証拠のレベル
どういう意味ですか？
力
メタアナリシス / システマティックレビュー
複数の研究の統計的組み合わせ
最高の
ランダム化比較試験（RCT）
参加者をランダムなグループに分ける実験
高い
縦断的・横断的研究
観察的、非実験的
中程度
症例シリーズ/症例報告
単一または複数のケースの説明
低い
専門家の意見・理論的な執筆
証拠よりも解釈が重要
最低の
AI が「研究結果は…」と言ったら、最初に質問する必要があります: どの種類の研究ですか?メタ分析の結果は、単一の症例報告の結果と同じ重みを持ちません。
ステップバイステップ: AI を活用した安全な文献フロー
- AI にコンセプトを説明してもらいます。すぐに要点を理解するには、AI に簡単な要約と主要な概念を尋ねます。 (これはスターターであり、ソースではありません。)
- 検索戦略を設定します。 AI にキーワード、同義語、検索文字列を提案してもらいます。実際のデータベース (学術検索エンジン、ジャーナル アーカイブ) で使用します。
- 本当の情報源は自分で見つけてください。査読済みのデータベースから論文を入手します。 AI が提案したタイトルを引用としてではなく、検索の手がかりとして使用します。
- AIにテキストを要約させます。見つけた実際の記事のテキストをAIに渡し、要約・比較を依頼します。 AI は実際のテキストを持っているため、もはや何かをでっち上げることはありません。
- すべての数値と結果を確認します。 AIは要約文の効果量と本文中の実際の値を比較します。
- 証拠のレベルにラベルを付けます。各所見の横に証拠の種類を書きます。
ヒント: AI を 2 つの異なるモードで文学に使用します。「ソースのない暗示」 (概念の説明、アイデアの検索) と「ソースのある要約」 (テキストを与えるとき) です。後者は、AI が自身の記憶ではなく、提供されたテキストに基づいて動作するため安全です。
ミニケース3個
ケース 1 — 偽のアトリビューションの蔓延。大学院生が、不安障害に関する 15 の資料からなる章の AI 引用をリクエストしました。 AI はすべてを APA 形式で提供します。学生が確認すると、15 の情報源のうち 6 つ (40%) が実際には存在せず、3 つが間違った雑誌に割り当てられていることがわかりました。したがって、リストの半分は使用できません。教訓: アトリビューションは AI ではなく実際のデータベースから得られます。
ケース 2 — 正しい使用法。臨床医は 4 つの実際のメタ分析の PDF テキストを 1 つずつ AI に渡し、「サンプル数、主効果の大きさ、それぞれの限界を表にしてください」と言います。 AIは30ページの記事4本を10分で比較表にまとめます。臨床医は各数値をテキストで確認します。 AIは自身の記憶ではなく、与えられたテキストに基づいて動作したため、それらはすべて正しいことが判明します。
ケース 3 — 証拠の罠のレベル。専門家が AI に「セラピー X は効果がありますか?」と尋ねます。彼は尋ねます。 AIは「はい、研究がそれを裏付けています」と言い、4つの「研究」を数えます。専門家がそれを調べると、そのうち 3 件が単一の症例報告で、1 件がブログ投稿であることがわかりました。 RCTは1つもありません。この主張は形式的には「証明された」ように見えますが、その証拠力は非常に弱いです。
コピー可能なプロンプトとテンプレート
このトピックについてはまだ始めたばかりです。ソースを作成せずに、概念的な紹介だけをしてください。基本的な概念、この分野の主な議論、検索時に使用できるキーワードと同義語のリストです。帰属；出典の明示が必要な場合は、「出典は自分で見つけてください」と言います。件名: [件名]
以下に実際の記事の本文を貼り付けます。このテキストのみに基づいて作業し、外部の情報を追加しないでください。以下を抽出します: 研究課題、方法、サンプル (n)、主な発見と効果の大きさ、限界、証拠のレベル。本文: [記事本文]
以下、3記事の本文です。これらを、著者年、サンプル、方法、主な所見、証拠のレベル、限定という列を含む比較表に入れます。指定されたテキストのみに基づいて作業し、ソースを追加しないでください。テキスト: [テキスト]
元の記事と確認できるように、本文中の各数値請求項 (n、p、効果量、パーセンテージ) を別の行に記載します。自分で確認できない番号は追加しないでください。テキスト: [概要]
弱いプロンプト / 強いプロンプト
弱いプロンプト: 「うつ病における認知行動療法の有効性についての学術情報源を 10 個挙げてください。」
このプロンプトは、AI に記憶から帰属を作り出すよう促します。出力の大部分はスプリアスになります。
強力なプロンプト: 「認知行動療法とうつ病に関するデータベースを検索するためのキーワード、同義語、および検索文字列を提案してください。出典や引用は提供しないでください。実際のデータベースから記事を見つけて、そのテキストを提供します。」
このプロンプトにより、AI は安全な役割 (検索ストラテジスト) に配置されます。参照は実際の情報源からのものです。
よくある間違い
- AI によって与えられた属性を直接使用します。一見完璧な情報源は捏造されることがよくあります。確認なしに使用することはありません。
- DOI/リンクを盲目的に信頼します。 AI は、現実的ではあるが存在しない DOI を生成することもできます。開いて確認するまでは有効とみなされません。
- 証拠のレベルを無視する。 「研究によると」という文の背後にブログやメタ分析があるかどうかは問いません。
- 記事のAIまとめを差し替えます。これは概要マップです。要約のみに基づいて重要な判断を下すことは、本文を読まずに判断することを意味します。
- シングルモードで使用します。 AI は常に「メモリからのリソース」モードで使用します。一方、安全なのは「指定されたテキストから要約する」モードです。
要約すると
文学ビジネスでは、AI は概念の明確化、検索戦略、要約 (テキストを提供する場合) を強力に促進します。しかし、彼は自分自身の記憶（幻覚）に基づいて参考文献、統計、調査結果を捏造します。一次情報源からの各引用と番号を確認します。無効なソースが見つからない場合を考えてみましょう。各所見の証拠レベル（メタ分析から症例報告まで）にラベルを付けます。 AI は、「出典のない暗示」と「出典の要約」という 2 つの異なるモードで使用されます。後者が優先されます。
アプリケーションタスク
トピックを選択してください。まず、AI にそのトピックに関する 5 つの引用を依頼します (ソースモード)。次に、実際の学術検索エンジンでこれら 5 つの引用を 1 つずつ検索し、実際に存在する引用の数を確認します。次に、同じトピックに関する 2 つの実際の記事を見つけて、そのテキストを AI に入力し、比較表を作成させます。 2 つのエクスペリエンスを比較してください。どちらが信頼性の高い出力を提供しましたか?
チェックリスト
- [ ] AI が提供した参考文献を確認せずに使用したことはありません。
- [ ] 私は本物の査読済みデータベースから記事を入手しました。
- [] 要約については、実際の記事のテキストを (記憶からではなく) AI に与えました。
- [ ] 各数値請求項を原文と比較しました。
- [ ] 各所見の証拠レベルにラベルを付けました。
- [ ] ソースが見つからなかったので無効にしました。