ソースのスキャン、検出、および要約 — 歴史とアーカイブにおける人工知能

利益:

大量の文書の山を人工知能でスキャンし、関連するものを削除して要約することで、発見を加速する機能
要約は証拠ではなく発見マップであることを理解し、各重要な点をリンクして元の文書に引用できるようにしてください。
人工知能に結果/コメントを生成させずに、症例をスキャンし、サンプルで排除を確認する機能

歴史研究における最大のボトルネックの 1 つは、膨大な資料の山の中から「何が機能するのか」を見つけることです。研究者は、論文や記事を作成するために、何百もの文書、新聞、登録簿、または通信ファイルをスキャンする必要がある場合があります。このリソースレビュータスクは従来、ページごとに読む必要があり、数週間かかる場合がありました。 AI は、大量のテキストをすばやくスキャンして要約し、関連する場所にマークを付けることで、このボトルネックを解消します。しかし、ここでも危険は明らかです。AI の要約は情報源に代わるものではありません。それは、あなたを本当の情報源に導く地図にすぎません。

この単元では、AI を使用して大規模な歴史的資料をスキャンし、信頼できる要約を作成し、関連する箇所を見つけて、あらすじの最も危険な落とし穴、つまり「情報源にアクセスせずにあらすじを信頼する」を回避する方法を学びます。目標は、精度を決して犠牲にせずに、スピードを向上させるために AI を使用することです。上手に活用すれば、これら 2 つの目標は矛盾せず、むしろお互いに栄養を与え合います。

要約はソースに代わるものではありません

最初から基本原則を説明しましょう。AI の概要は発見ツールであり、証拠ではありません。歴史家が研究に出来事、引用、またはデータの一部を含める場合、AI の要約からではなく、元の文書から取得する必要があります。要約には、「この文書にはこのような内容があります。見てください」と書かれています。彼は「文書に書かれている通りだ」とは言いません。なぜなら、要約プロセスでは、まったく存在しないものが圧縮され、選択され、時には歪められ、時には追加されるからです。

AI は、スキャンにおける 3 つの強力なジョブで使用できます。

スキャンして選別する: 何百もの文書の中からトピックに関連するものをすばやくマークします。
要約: 長い文書の概要、人物、トピックの概要を説明します。
文章の検索: 文書内で「このトピックについて話している場所はどこですか」という質問にマークを付けます。

3 つすべてにおいて、出力は「リダイレクト」です。証拠は元の文書から取得されます。

ここで見落とされている危険は、AI のコンテキストウィンドウ、つまりモデルが一度に処理できるテキストの量の制限です。非常に大きな文書の束を一度に与えると、AI は中間のセクションを「忘れ」たり、流し読みしたりする可能性があります。最初と最後に何が起こるかが強調される傾向があります。したがって、数百のドキュメントを 1 つのリクエストに収める代わりに、ドキュメントを論理グループに分割し、各グループを個別にスキャンすることで、より信頼性の高い結果が得られます。さらに、AI が「決して言及しない」文書が本当に無関係であるか省略されているかを区別するには、サンプルのチェックが不可欠です。

ワークフロー: ステップバイステップ

1. 研究課題を明確にする。漠然とした「これを要約してください」ではなく、明確な質問: 「この 40 の文書の中で、水利権紛争について言及している場所はどこですか?」

2.材料を準備します。スキャンするテキストを編集します (転写または OCR 出力)。概要をソースにリンクできるように、ソースの名前/参照を各部分に添付します。

3. スキャン/要約の指示を出します。 AI に、指定したテキストのみに依存し、各主張をソース (文書/ページ) にリンクし、存在しないものは追加しないように依頼します。

4. 概要をソースにリンクします。要約でマークされたすべての重要な点を元の文書で見つけて確認します。文書からそのまま引用します。

5. ギャップや偏見に疑問を持ちましょう。 AI は何を見逃したのでしょうか?彼は明らかなことを強調しただけですか？彼はあなたの質問に適したものを選択し、反対のものを隠しましたか？

注意: 概要を生成する際、AI は「論理的であると思われる」という理由で、文書にないリンクや結果を追加する場合があります。特に「これらの文書からどのような結論が導き出せるのか？」このような質問は、AI に解釈や推論を生み出すよう促します。概要リクエストは事実に基づいたものにしてください。コメントは内緒にしておいてください。

テーブルを使用したタスクのスキャン

クエスト

AIの貢献

リスク

検証

該当文書を削除する

速度

ミニケース3個

ケース 1 — 300 件のドキュメントが 2 日に短縮されました。ある研究者は、1900 年から 1920 年にかけてある町の水利権紛争を研究していました。一連の 300 枚の文書を手作業でスキャンするには数週間かかります。 AI は各文書を「水利権に関連しているかどうか」としてマークしました。 300 件の文書のうち 42 件が関連していることが判明しました。研究者はこれら 42 件のみを詳しく読みました。しかし、彼はまた、無関係とマークされた 258 件の文書のうち 20 件をサンプルとしてチェックしました。 2 つが実際に関連していることが判明し、修正されました。教訓: 除去はスピードアップしますが、サンプルによって制御する必要があります。

ケース 2 — 偽の結果。学生はYZに15の文書を要約し、「これらの文書からの結論」を求めました。 AIは文書には存在しない因果関係を流暢な言葉で「結果」として書き記した。学生が文書を調べたところ、そのような結論はどの文書にも裏付けられていないことがわかりました。教訓: AI に解釈と結論を生成させないでください。症例スキャンを受けて、結果を決めるのはあなたです。

ケース 3 — 変更された見積書。著者は、AI の要約からの「引用」を論文に挿入します。それを文書と比較すると、AI が文章を簡略化し、いくつかの単語を変更していることに気づきました。引用文は文書に書かれている内容とまったく同じではなくなりました。教訓: 各引用は、要約ではなく文書からそのまま引用されています。

コピー可能な 4 つのテンプレート

1) ソース依存のスキャン:

以下はドキュメントの一部であり、それぞれに参照番号が付けられています。私の研究上の質問: [質問]。各文書について、単に「関連/無関連/不確実」をマークし、関連する場合は、どの文/節に関連しているか、および文書参照を示します。コメントを追加し、結論を導き出します。ドキュメント: [ここ]

2) 忠実な要約:

以下の文書を要約します。ルール: (1) 本文にあることのみを記述し、推論/コメント/結論を追加しないでください。 (2) 各重要なポイントを文書内のその場所 (段落/ページ) にリンクします。 (3) 引用する必要がある場合は、一字一句そのまま記載し、変更しないでください。 (4)本文にない「未指定」の情報を書きます。ドキュメント: [ここ]

3) パッセージファインダー:

以下のテキストでこのトピックに関するすべての言及を検索します: [トピック]。それぞれについて、簡単な引用 (逐語) とその場所を記入してください。トピックに含まれない場所を追加します。不確かな一致を [不明] としてマークします。テキスト: [ここ]

4) 比較事例レビュー:

以下に 2 つまたは 3 つの文書があります。この主題[トピック]について各文書が何を述べているかを、その出典とともに個別にリストします。文書間の「結論」または「総合評価」を作成する。各文書に独自の記述を事実として与えるだけです。ドキュメント: [ここ]

弱いプロンプト / 強いプロンプト

弱い：

これらの文書を読んで、トピック、結果、およびその重要性について文書が私に言ったことを要約してください。

「結果」と「重要性」を求めることにより、AI は事実から逸脱し、解釈や関連性を発明するようになります。ソースにも繋がらない。

強い：

次の文書内の [トピック] に関する事実をリストし、それぞれを文書参照にリンクします。コメント、結論、または重要度の評価を追加します。引用文を一言一句伝えます。文書内で言及されていないトピックについては、「言及されていない」と記入してください。ドキュメント: [ここ]

違い: 事実への忠実さ、出典へのリンク、解釈の禁止、逐語的な引用により、概要が信頼できる発見の地図に変わります。

よくある間違い

概要を証拠と間違える。サマリーリード。証拠は元の文書から取得されます。
AIに「結論を出す」ように指示する。解釈と因果関係は歴史家の仕事です。 AI がケースをスキャンします。
要旨から引用します。 AI は引用を簡素化/置き換えます。各引用は文書からそのまま引用されています。
排除の監督は一切行っておりません。「無関係」とマークされた文書がサンプルと照合されないと、重要な文書が見逃されてしまいます。
ギャップを求めない。 AIが何を省略し、何をバイアスするのかを問う必要がある。

要約すれば

情報源のスキャンと要約は、AI が歴史研究において最も時間を節約できる分野の 1 つです。AI は何百もの文書を選別して要約し、関連する箇所にマークを付けます。しかし、要約は証拠ではなく、発見の地図です。各重要なポイントを元の文書にリンクし、文書から引用をそのまま引用し、AI に結論と解釈を生成させず、サンプリングによって削除を制御し、AI が省略したものに疑問を呈します。 AI が適切なページに誘導します。そのページを読んで理解するのがあなたの仕事です。

アプリケーションタスク

トピックに関連するドキュメントを少なくとも 10 個収集し、それぞれに参照を添付します。「ソースベースのスキャン」パターンに関連するものを削除します。次に、「無関係」とマークされたもののいくつかをサンプルとして自分でチェックしてください。関連する出力の 1 つを要約した「忠実な要約」を作成し、文書内の要約の各重要なポイントを見つけて検証します。 AI が追加または歪曲するポイントの数に注目してください。

チェックリスト

[ ] 私は明確な研究課題から始めました。
[ ] 各ドキュメントにソース参照を添付しました。
[ ] 要約の各ポイントを元のドキュメントにリンクしました。
[ ] 文書から引用をそのまま引用しました。
[ ] 私はサンプリングによる消去を監査し、ギャップについて質問しました。