收益:
- 能够通过 7 个阶段的工作流程处理馆藏,从道德筛选到出版,每个阶段都有人工检查点
- 了解早期检查点如何防止错误(错误的日期/名称)在整个链中传播
- 能够应用保留主文件、不保存验证的原则,并在整体项目中声明人工智能的使用
以前的单元涵盖了个人技能:数字化、转录、元数据、扫描、翻译、验证、模式分析、检索、保存和道德。这个最终单元结合了这一切。真正的归档项目不会单独经历这些步骤,而是作为一个相互关联的工作流程来经历。在这里,我们将了解如何使用人工智能支持但由人工控制的流程并通过控制链从头到尾处理集合。
目标是将人工智能定位为“加速每一步但对任何步骤没有最终决定权”的合作伙伴。当您完成本单元后,您将获得一种整体方法,将一堆杂乱的文档转变为可供研究、经过验证、符合道德规范的集合。
场景:我们拥有什么
假设您收到 250 份文档的集合:一些是印刷品(印刷的信件、广告),一些是不同日期的手稿(信件、笔记本),一些包含敏感的个人数据。目标:对这些馆藏进行数字化、转录、编目并将其提供给研究人员。让我们将这个过程分为七个阶段。
七步工作流程
第一阶段——评估和道德筛选。首先了解一下该系列。哪些文档包含敏感的个人数据?版权状况如何?是否存在文化敏感性?这种扫描决定了哪些文档可以提供给基于云的人工智能工具,哪些文档只能在封闭/批准的环境中进行处理。如果跳过这个阶段,整个项目就会面临道德风险。
第二阶段——数字化。以高分辨率扫描文档(至少 300-400 DPI,良好的对比度)。保持原始(主)文件不变;所有处理都将在副本上完成。
第 3 阶段 — 文本提取。对硬拷贝文档应用 OCR,对手稿应用 HTR。让人工智能用“安全校对”指令清理原始输出——仅光学/识别错误,没有内容注释,不可读的地方[?]。奥斯曼/手稿的替代阅读和古文字学家控制。
第四阶段——元数据和编目。为每个文件起草标准(都柏林核心/ISAD(G))元数据;经“将不存在的字段留空”的许可。将主题术语映射到受控列表。通过文档验证日期和姓名。
第五阶段——丰富和模式化。提取实体(人/地点/组织),规范化,生成关系和时间线轮廓。验证文档中的每个模式;没有人为的联系,也没有时间顺序。
第 6 阶段 — 访问工具。制定收集的寻找援助大纲;历史记录部分仅基于经过验证的笔记。明确标记访问限制(隐私/版权)。
第七阶段——验证、声明和公布。最后一次验证关键字段(日期、名称、报价、参考)。声明人工智能的使用。专家最终认可;该藏品开放供研究。
提示:在每个阶段设置一个“人工检查点”:专家在进入下一阶段之前验证人工智能的输出。如果没有这些检查点,第一阶段的错误(误读日期)将在整个链中传播,并最终泄漏到目录、模式和指南中。
控制链表
舞台
人工智能的工作
人类检查站
1. 道德筛选
敏感数据标记
安装决定
2. 数字化
(图像增强)
品质,大师保障
3. 文本提取
OCR/HTR + 安全校正
姓名/日期/读数验证
4. 元数据
标准草案
现场确认、术语匹配
5. 图案
实体、关系、时间线
文档中的验证
6. 访问工具
寻找援助草案
历史和约束批准
7. 发布
—
最终批准、声明
三个迷你箱子
情况 1 — 发现链错误。在第 3 阶段的一个项目中,文档的日期显示为“1868”而不是“1888”。如果第 3 阶段检查点没有发现此错误,则日期将分布在目录 (4)、时间线 (5) 和指南 (6) 中。感谢检查点,错误在一处被修复。教训:早期检查可以防止错误沿着链向上传播。
案例 2 — 道德筛选挽救了该项目。 250 份文件中有 18 份包含在世人员的敏感数据。第一阶段的道德筛选标记了这些;这18份文件是在封闭环境中处理的,其余文件则使用标准工具。如果跳过扫描并将其全部上传到云端,那将是严重的违规行为。教训:道德筛选是第一步,而不是后来添加的修复。
案例 3——时间和精力。使用传统方法,大约需要 8 至 10 个月才能完全处理 250 个文档集合。借助人工智能支持的检查点工作流程,该过程缩短至大约 3 个月。但节省的成本并不是来自“人工智能做了所有事情”,而是来自“人工智能完成了机械工作,专注于人类验证”。用于验证的时间并没有减少;花在机械工作上的时间减少了。
四个可复制模板
1)项目初步计划:
我收集了 [数量] 个文档:[印刷品/手稿混合]、[句号],其中一些可能包含敏感数据。创建一个 7 步工作流程计划来数字化和编目该藏品:指定人工智能的任务和每个阶段的人类检查点。将道德筛选放在首位。
2) 阶段转换清单:
我完成了舞台[艺名]。在进入下一阶段之前,生成我需要验证的关键点清单:需要验证哪些事实(日期/名称/参考),哪些错误可以在链上传播?我有最终批准权;你把清单给我。
3)端到端质量控制:
以下是已处理文档的所有层:转录、元数据、提取的资产。图层之间的概念不一致:转录中的日期是否与元数据匹配,实体是否确实存在于文本中?实施纠正;生成不一致的列表。图层:[此处]
4)项目结题及申报:
在这个收藏项目中,我在以下阶段使用了人工智能:[列表]。对于项目文档:(1)在哪个阶段使用了哪些人工智能支持,(2)如何进行人工验证,(3)存在哪些限制/约束——写一份诚实的结束语并起草包含这些内容的人工智能使用声明。
弱提示/强提示
弱:
使用人工智能彻底处理这些集合,并为研究做好准备。
单一的“做任何事情”指令绕过了道德筛选、检查点和验证;错误沿着链传播。
强:
为此集合设置 7 阶段工作流程,每个阶段都有人工检查点。第一阶段是道德/隐私筛选。 AI在每个阶段产生的输出将在进入下一阶段之前进行验证;标记关键事实(日期/姓名/参考文献)。在任何阶段,人工智能都没有最终决定权。
不同之处在于:分阶段的结构、道德优先、检查点和“人民说了算”的原则使整个项目安全且具有防御性。
常见错误
- 将道德筛选留到最后。隐私/版权扫描是第一步;如果稍后添加,则违规行为已经发生。
- 绕过检查站。未经验证的错误会传播到整个链条。
- 不保护主文件。如果不保持原件原样,则无法退货。
- 节省验证。人工智能缩短了机械工作;如果验证时间缩短,质量就会下降。
- 没有声明人工智能的使用。透明度是馆藏科学可信度的一部分。
总之
端到端归档项目将个人技能连接到控制链中:道德扫描、数字化、文本提取、元数据、模式、检索工具和出版。在每个阶段,人工智能都会加速机械工作;在每个阶段,人工检查站都有最终决定权。道德筛选是第一阶段,主文件受到保护,错误被尽早发现,这样它们就不会在链条上传播,并且诚实地声明人工智能的使用。节省的成本并非来自人工智能包办一切,而是来自人类从机械工作中解放出来,专注于验证。人工智能加速发展;人类确保历史的准确性和完整性。
应用任务
选择一个小集合(10-20 个文档;您自己的材料或样本集)。使用“项目启动计划”模板创建 7 步工作流程。通过此流程运行至少两个文档:道德扫描、文本提取、元数据和模式层。使用“阶段转换清单”验证每个阶段。最后,使用“项目结束和声明”模板记录您对人工智能的使用。请注意早期检查点发现了哪些错误。
清单
- [ ] 我在第一阶段进行了道德/隐私筛选。
- [ ] 我保持主文件不变。
- [ ] 我在每个阶段都设置了人工检查点。
- [ ] 我在关键事实沿链传播之前对其进行了验证。
- [ ] 我在项目结束时宣布使用人工智能。
模块考试
1、人工智能在历史和档案方面最合适的定位是什么?
- A) AI是一个总结、编辑和起草工具;评论、来源批评和最终责任属于专家✔
- B)人工智能可以像历史学家一样自行判断文档的真实性和含义
- C) 人工智能仅用于翻译文本,与其他归档任务无关
- D)由于人工智能总是比人类更公正,所以历史解释应该留给它。
描述:人工智能;它是一个编辑、扫描、翻译和生成文本草稿的助手。来源批评、解释、因果成立和最终决定属于专家;未经验证的输出可能会导致来源捏造、日期错误或不合时宜。
2、人工智能在历史研究中产生的幻觉是什么?
- A)人工智能处理文档的速度非常慢
- B) 人工智能将不存在的来源、引言或事件捏造为真实的 ✔
- C) 文档被物理损坏
- D) 归档目录不是最新的
解释:幻觉是指人工智能自信地捏造实际不存在的信息、来源、引述或事件。其形式虽然看似完美,但其内容却并不真实;因此,在每个参考目录中,每个引文都必须经过原始来源的验证。
3. 通过人工智能纠正 OCR 输出的最佳方法是什么?
- A) 要求文字流畅、优美,并能逻辑性地补充缺失的部分。
- B) 允许它根据上下文更正所有数字和日期
- C) 要求他只纠正光学识别错误,留下不可读的区域[?]并且不更改数字/日期✔
- D) 要求学生用最可能的猜测填写不可读的单词。
说明:OCR校正的黄金法则是仅校正明显的光学识别错误(例如rn改为m,l改为1);不解释或完成文本内容。不可读的区域用[?]标记;数字和日期未更改,已通过图像进行验证。
4. 当读取奥斯曼文本中未写出元音的单词时,人工智能应该提出什么问题?
- A) 给出单一、精确的读数,从而加快工作速度
- B) 选择使意思最流畅的单词并填空
- C) 根据自己的常识完成不可读的部分。
- D) 提供可能的阅读替代方案并标记不明确的区域,而不是强加明确的阅读内容✔
说明:在奥斯曼土耳其语中,短元音大多不写;单个元音/字母的差异(abul 和 kabul、wali 和 vali)完全改变了含义。因此,不应强加明确的解读,而应询问可能的替代方案,保留不可读的区域,并将最终决定权留给古文字学家。
5. 当人工智能生成草稿元数据(目录记录)时,最有效防止产生幻觉的方法是什么?
- A) 如果文档中未包含该字段,则明确授予将该字段留空的权限 ✔
- B) 要求填写每个字段并且不要留下不完整的内容。
- C) 根据未注明日期的文件内容估计日期
- D) 让人工智能生成参考代码
描述:填充压力迫使人工智能通过猜测文档中没有的日期或创建者来弥补文档。防止这种情况的最有力的保护措施是明确授予允许将该字段留空(如果该字段不在文档中);此外,主题术语映射到受控词汇。
6、人工智能产生的文献摘要在历史研究中应该如何定位?
- A) 作为可以直接引用的可靠证据
- B) 作为引导您找到实际文档的发现地图;证据取自原始文件✔
- C) 作为可以替代文档本身的充足资源
- D)作为可以在研究中使用的文本,而无需返回文档
描述:总结是一张发现图,而不是证明。这个文件里有这样一句话,说去看看;它没有准确说明文件中的内容。如果研究中包含某个事件、引用或数据,则必须逐字逐句摘自原始文件。
7. 翻译历史文献出版时避免不合时宜的正确方法是什么?
- A) 将所有期间术语替换为今天最接近的等效术语
- B)尽可能流畅和现代地传达文本
- C) 保留时期标题和机构名称的唯一性并添加解释 ✔
- D) 使专有名称适应当前的用法
说明: 时代错误是指元素从一个时期错误地转移到另一个时期。将时代名称、机构名称和个人名称改为今天的术语,将读者带入一个不属于那个时代的世界。正确的方法是保留句点并在其旁边添加解释。
8、如何确保人工智能给出的档案编号(基金名称、档案号)真实?
- A)信任参考文献,因为它的格式似乎是正确的
- B) 再次询问 AI 参考是否正确
- C) 接受参考资料为真实的,因为它令人信服且详细
- D) 通过亲自查找并验证档案目录或可靠来源中的参考文献 ✔
描述:人工智能可以产生形式上完美但实际上并不存在的参考;虚构参考与真实参考的形式相同。证明参考文献存在的唯一方法是在原始来源所在的位置(档案目录、图书馆)找到它。
9. 如何评估使用人工智能进行模式分析(NER、网络、时间线)时发现的模式?
- A) 作为文件中需要验证的假设;起点,而非结果✔
- B) 作为不需要验证的明确发现
- C) 这是一个无可争议的客观事实,因为它是数字化的。
- D)作为可以投入直接研究的结果,因为它发现了人工智能
说明:每种模式都是假设,而不是证据。实体应与来源相关联,不同的拼写(同一个人/地点)应在人工批准下标准化,数字应针对缺失数据和抽样偏差进行质疑,未注明日期的事件不应按时间顺序排列。
10. 为什么查找帮助中的传记/机构历史部分需要特别关注?
- A) 此部分不重要,无需验证即可发布
- B) 由于人工智能可以在本节中添加捏造的事件、虚假日期和标题,因此它应该只依赖经过验证的来源✔
- C)人工智能可以安全地使用,因为它在书写历史时不会犯任何错误。
- D)只有研究人员填写此部分,档案管理员不感兴趣
描述:历史部分是最容易产生幻觉的地方:人工智能可以插入不存在的事件、虚假日期和虚构的标题,同时根据有关个人或机构的一般信息编写流畅的文本。本节应仅基于经过验证的来源。
11. 人工智能应如何在参考(咨询)服务中回答研究人员的事实问题?
- A) 问题的答案应该直接并作为明确的事实给出。
- B) 必须提供可信的日期或姓名并将其传达给研究人员。
- C) 不应直接给出事实,而应引导研究人员找到相关的收集和来源✔
- D)它应该提供完整的答案,以便研究人员不需要去寻找来源。
解释:在参考服务中,人工智能不应该给出直接的事实答案,而应该引导研究人员找到来源。因为人工智能给出的直接事实答案可能是捏造的,研究人员可能会误认为其来源。不要说“答案是这个”,而应该说“看看这个集合中的这些文档”。
12. 用人工智能处理损坏的文档图像时,哪些操作是可以接受的,哪些操作是不可以接受的?
- A) 各种操作都是免费的,包括填写缺失的部分。
- B) 不应该采取任何行动,图像不应该被触摸
- C) 填写缺失的部分是最有价值的操作,因为它完善了文档。
- D) 对比度/噪声等可读性处理是可以接受的;用猜测来填补缺失的部分很不方便✔
说明:提高可读性的处理(对比度、照明、降噪)是可以接受的,因为它们不会改变内容;然而,通过猜测来填补缺失/不可读的部分存在产生文档中没有的内容的风险,即历史伪造。原件被保留,交易被记录。
13. 在处理包含敏感个人数据的存档文档之前需要做什么?
- A) 隐私扫描和匿名(如有必要)或使用封闭/批准的工具 ✔
- B) 想都没想就直接将文件上传到公共车辆上
- C)为了效率而忽略隐私问题
- D) 出于效率原因克服访问限制
披露:将包含识别在世人员的敏感数据(健康、宗教、种族、地址)的文档上传到基于云的公共工具可能会严重侵犯隐私。应首先进行隐私筛选,必要时应使用匿名或封闭/批准的工具。
14. 端到端归档项目中人工检查点的主要目的是什么?
- A)减缓人工智能的工作并推迟项目
- B) 防止一个阶段中的错误(不正确的日期/名称)链接到所有后续阶段 ✔
- C) 增加人力并完全放弃自动化
- D)确保人工智能拥有最终决定权
描述:每个阶段都有人工检查点,确保人工智能的输出在进入下一阶段之前得到验证。如果没有这个,第一阶段的错误(误读日期)将通过目录、模式和指南沿着链向上传播。早期检查可确保错误在一处得到纠正。
15、人工智能在人文社会科学中的应用需要什么透明度和真实性?
- A)对人工智能的使用保密,确保无人知晓
- B)将人工智能产生的每一篇文本都呈现为自己的原创想法
- C) 诚实地声明人工智能的使用,并且不将其输出作为自己的原创作品呈现✔
- D)只分享结果而不解释方法
描述:透明度包括记录在人工智能的帮助下生成的转录、元数据或翻译;原创性要求不将人工智能产生的评论呈现为自己的原创想法。这对于后续研究人员的验证和学术诚信至关重要。