单位 5 / 12

源扫描、发现和总结

收益:

  • 能够通过人工智能扫描大量文档、消除和总结相关内容来加速发现
  • 了解摘要是发现图,而不是证明,并能够将每个重要点和引用链接回原始文档。
  • 能够扫描案例并使用样本检查消除情况,而无需人工智能产生结果/评论

历史研究的最大瓶颈之一是在大量材料中寻找“有效的方法”。研究人员可能需要扫描数百份文档、报纸卷、登记簿或通信文件才能获得论文或文章。传统上,此资源审查任务需要逐页阅读,并且可能需要数周时间。人工智能通过快速扫描和总结大块文本并标记相关位置来打破这一瓶颈。但这里的危险也很明显:人工智能摘要并不能取代来源;它只是一张引导你到达真正源头的地图。

在本单元中,您将学习如何使用人工智能扫描大量历史资料,生成可靠的摘要,找到相关段落,并避免摘要中最危险的陷阱:“相信摘要而不去追究来源”。目标是利用人工智能提高速度,同时不牺牲准确性;如果运用得当,这两个目标并不冲突,而是相互滋养。

摘要并不取代来源

让我们从一开始就摆出基本原则:AI简介是一个发现工具,而不是一个证明。如果历史学家要在他的研究中包含一个事件、一句话或一段数据,他必须从原始文档中获取,而不是从人工智能的摘要中获取。摘要说:“这个文档里有这样的东西,你去看一下”;他没有说“这正是文件中所说的”。因为总结过程压缩、选择、有时扭曲、有时添加根本不存在的东西。

您可以在扫描方面的三项强大工作中使用人工智能:

  1. 扫描和筛选:在数百个与您的主题相关的文档中快速标记。
  2. 总结:概述长文档的大纲、人物和主题。
  3. 查找一段话:在文档中标记问题“哪里有谈论这个话题的地方”。

在这三个中,输出都是“重定向”;证据取自原始文件。

这里一个被忽视的危险是人工智能上下文窗口的限制——模型一次可以处理的文本量。当你一次提供一大堆文档时,人工智能可能会“忘记”或浏览中间部分;倾向于强调开始和结束时发生的事情。因此,与其将数百个文档放入单个请求中,不如将它们分成逻辑组并分别扫描每个组,这样可以得到更可靠的结果。此外,样本检查对于区分人工智能“从未提及”的文档是否确实不相关或被遗漏至关重要。

工作流程:一步一步

1.明确研究问题。一个明确的问题,而不是一个模糊的“给我总结一下”:“这40份文件中哪里提到了水权纠纷?”

2、准备好材料。编辑要扫描的文本(转录或 OCR 输出)。在每篇文章中附上来源的名称/参考,以便摘要可以链接到来源。

3. 给出扫描/摘要指令。要求人工智能仅依赖您提供的文本,将每个声明链接到来源(文档/页面),并且不要添加任何不存在的内容。

4. 将摘要链接回源。在原始文档中查找并验证摘要标记的每个重要点。从文档中逐字引用。

5. 质疑差距和偏见。人工智能可能会错过什么?他只是强调了显而易见的事情吗?他是否选择了适合你问题的答案并隐藏了相反的答案?

注意:生成摘要时,AI 可能会添加文档中没有的链接或结果,因为它“看起来合乎逻辑”。尤其是“从这些文件中可以得出什么结论?”诸如此类的问题需要人工智能做出解释和推论。保持摘要请求的真实性;保留评论。

使用表格扫描任务

任务

人工智能的贡献

风险

验证

删除相关文件

速度

跳过相关

样品控制

文件摘要

概要

扭曲/添加

与源码比较

查找段落/引用

书签

错误的位置

在文档中查找

对比总结

图案标记

适配链接

确认每项索赔

引用

草案

单词替换

逐字逐句

总结:人工智能显示它在哪里;实际文件讲述了发生的事情。

三个迷你箱子

案例 1 — 300 个文档缩短为 2 天。一名研究人员正在研究一个城镇 1900 年至 1920 年的水权纠纷。手动扫描 300 份文档需要数周时间。 AI将每份文件标记为“是否与水权相关”; 300 份文件中有 42 份被证明是相关的。研究人员只深入阅读了这42篇。但他还检查了 258 份标记为不相关的文件中的 20 份作为样本;发现2个确实相关并修复了它。教训:消除速度加快,但必须通过样本来控制。

情况 2 — 假结果。一名学生要求YZ总结15份文件,并要求“从这些文件中得出的结论”。 AI用流利的语言将文档中不存在的因果关系写成了“结果”。当学生翻阅文件时,他发现这样的结论并没有得到任何文件的支持。教训:不要让AI产生解释和结论;进行病例扫描,结果由您决定。

案例 3 — 修改后的报价。作者会在他的论文中引用人工智能摘要中的一段话。当他与文档进行对比时,他注意到人工智能对句子进行了简化,并更改了一些单词。引用内容不再与文件中所写内容完全相同。教训:每个引文都是从文档中逐字摘录的,而不是摘要。

四个可复制模板

1) 源相关扫描:

以下是该文档的部分内容,每个部分都标有其参考文献。我的研究问题:[问题]。对于每个文档,只需标记“相关/不相关/不确定”,如果相关,请指出与哪个句子/段落相关以及文档参考。添加评论,得出结论。文档:[此处]

2)忠实总结:

总结一下下面的文档。规则:(1)只写正文中的内容,不要添加推论/评论/结论。 (2) 将每个重要点链接到其在文档中的位置(段落/页面)。 (3)如需引用,请逐字逐句给出,不要更改。 (4)写出文中没有的“未指定”信息。文档:[此处]

3)通道查找器:

在下面的文本中查找所有提及此主题的内容:[主题]。对于每一个,给出一个简短的引用(逐字)及其位置。添加不包含该主题的地点。将您不确定的匹配标记为[不清楚]。文本:[此处]

4)对比案例回顾:

以下是两/三个文件。分别列出每个文档关于该主题 [主题] 的内容及其来源。得出文件之间的“结论”或“总体评价”;只需将每个文件自己的陈述作为事实即可。文档:[此处]

弱提示/强提示

弱:

阅读这些文件并总结他们对我所说的有关主题、结果及其重要性的内容。

想要“后果”和“意义”促使人工智能偏离事实并发明解释和联系;它也不连接到源。

强:

列出以下文档中有关 [主题] 的事实,并将每个事实链接到文档参考。添加评论、结论或重要性评级。逐字逐句地引用。如果文档中未提及该主题,请写“未提及”。文档:[此处]

不同之处在于:忠实于事实、链接到来源、禁止解释和逐字引用,将摘要转化为可靠的发现地图。

常见错误

  • 将摘要误认为证据。摘要线索;证据取自原始文件。
  • 告诉人工智能“得出结论”。解释和因果关系是历史学家的工作;人工智能扫描案件。
  • 从摘要中引用。人工智能简化/取代报价;每条引文均逐字摘自文档。
  • 根本不监督消除。如果那些标记为“不相关”的内容没有与样本进行检查,那么重要的文件将会被遗漏。
  • 不求有间隙。有必要质疑人工智能遗漏了什么以及它偏见什么。

总之

来源扫描和摘要是人工智能在历史研究中节省最多时间的领域之一:它会筛选数百份文档,对其进行总结并标记相关段落。但总结是发现的地图,而不是证据。将每个关键点链接回原始文档,从文档中逐字引用,不要让人工智能产生结论和解释,通过抽样控制消除,并质疑人工智能遗漏了什么。 AI带你到正确的页面;你的工作就是阅读该页并理解它。

应用任务

收集至少 10 份与您的主题相关的文档,并为每一份附上参考资料。消除那些与“基于源的扫描”模式相关的内容;然后检查一些标记为“不相关”的内容作为样本。有一个“忠实的总结”总结相关输出之一,并找到并验证文档中总结中的每个关键点。注意 AI 添加或扭曲了多少点。

清单

  • [ ] 我从一个明确的研究问题开始。
  • [ ] 我已为每份文档附上了源参考。
  • [ ] 我将摘要的每一点都链接到原始文档。
  • [ ] 我从文档中逐字引用了这些引文。
  • [ ]我对抽样淘汰情况进行了审计,并对差距提出了质疑。