收益:
- 能够将人工智能定位为在概念、摘要和搜索策略中产生强大而具体的引用的危险工具
- 能够通过验证数据库中的每个引文和 DOI 来消除虚假来源的风险
- 能够建立一个安全的工作流程,让人类找到真实的文章并将文本总结为人工智能
文献综述和综合规划:人工智能的来源、程序和路线图
每个化学项目都以文献综述开始:“这种化合物以前制备过吗?用什么方法制备的?产量是多少?”人工智能在这个阶段是一个很好的加速器;总结主题,解释关键概念,生成搜索术语,概述程序。但这也是化学中最危险错误的根源:虚假归因。人工智能可以编造看起来真实但根本不存在的文章、作者和 DOI。在本单元中,我们将学习在文献和综合规划中使用人工智能,但不会放弃引用的原则。
为什么引用纪律至关重要?
语言模型产生文本;不查询数据库(除非另有说明)。 “有机化学杂志,2018, 83, 4521,Zhang et al.”表单的资源只是模型的“一组看起来可能的单词和数字”。该来源可能是真实的,也可能不是真实的;该模型不区分两者。因此,未经数据库(DOI 分析器、PubMed、Crossref、出版商网站)确认,YZ 给出的引文不会被使用。
注意:AI 给出 DOI 并不意味着该 DOI 有效。通过 https://doi.org/ 解析 DOI;如果它没有导致一篇文章,那么该来源就不存在,即使标题和作者看起来是真实的。
文献中人工智能的强项和弱项
- 功能强大:解释一个概念,概述一类反应,生成搜索关键字,概述过程的一般步骤,总结文章的文本(当您粘贴它时)。
- 弱点:“凭记忆”给出特定文章的存在、准确的页数/卷数/DOI 信息、准确的产量值。这些是最容易制造的领域。
这种区别产生了以下策略:使用人工智能作为文本处理工具(摘要、分类),而不是作为事实来源。你找到真正的文章,让人工智能阅读并总结它。
循序渐进:安全文献+规划流程
- 学习概念:让人工智能解释主题、反应类别、术语。这里制造的风险很低。
- 生成搜索词:向 AI 询问 8-10 个关键词/同义词以及可能的期刊;用这些搜索真实的数据库。
- 获取真正的文章:自己从 PubChem/Reaxys/Google Scholar 查找文章。
- 总结:将文章文本粘贴到AI中并进行结构化总结(方法、条件、产量、限制)。
- 制定计划:为目标创建综合路线图;将每个梯级连接到实际源。
- 验证:用 DOI 解析每个引文;将每个关键数字与源文本进行比较。
四个可复制模板
1)概念+搜索词生成(安全区域):
主题:通过 Suzuki-Miyaura 偶联反应建立芳基-芳基键。任务:1) 用 5 句话解释该反应(定义术语)。2) 生成 10 个关键词/同义词用于文献检索。3) 推荐 5 个经常发表该主题的期刊。规则:不要给出具体文章/DOI;我会在数据库中搜索它们。
2)文章摘要(您提供文字):
下面我粘贴一篇文章的实验部分。 [文本]任务:用以下标题进行总结:- 目标化合物及其意义- 使用的方法/试剂- 条件(温度、时间、溶剂)- 产量- 规定的限制不要添加任何文本中没有的数字;否则写“未指定”。
3)合成路线图(取决于来源):
目标:2-苯基苯并咪唑(SMILES:c1ccc(cc1)c1nc2ccccc2[nH]1)。任务:给出一个两步合成计划草案。对于每一步:试剂、条件、纯化方法。规则:对于每一步,添加“该类型反应的典型参考,用哪个关键词来搜索”信息; DOI 假的。
4) 引文确认清单:
下面有4个参考。为每个字段生成事实检查清单:我应该验证哪些字段(DOI、期刊、卷、年份、作者)以及在哪里?[引文]注意:您不声称引文是正确的;请一步步告诉我如何确认。
弱提示/强提示
弱:
请给我 5 个有关该化合物合成的来源。
人工智能可能会产生真实但未经验证的归因,其中一些是捏造的。
强:
主题:化合物的合成 我会从数据库中找到真正的来源;你加强了我的搜索策略。
区别在于:我们将人工智能引导到它擅长的工作(搜索策略、概念),并使其远离容易捏造的工作(具体归因)。
来源类型和可靠性
来源/工具
提供什么
可靠性
角色
来自记忆的人工智能(语言模型)
概念、概要、搜索想法
概念性高,参考性低
想法/总结
AI+粘贴文本
给定文本的摘要
高(取决于文本)
总结
DOI 解析器 (doi.org)
归因的真实性
高
确认
PubChem / Reaxys / SciFinder
化合物、反应、来源
高
初步搜索
谷歌学术/交叉引用
文章查找、引用
高
验证
迷你箱
案例 1 — 三个捏造的来源。一位研究人员向 AI 询问某个主题的 6 个来源。当他一一解出DOI时,其中3个是无效的;标题很有说服力,但文章却没有。验证耗时25分钟,但阻止了3篇虚假引用进入文章。教训:每个参考文献都一一解决。
情况 2 — 错误产量。 “效率为 92%,”AI 在概述程序时说道。当用户找到并查看原文章时,收益率为64%; AI已经根据记忆编出了这个数字。教训:将关键数字与源文本进行比较,不要相信人工智能的总结。
案例3——概念上的价值,参考上的风险。一名学生让AI讲解一堂反应课;这个解释是准确且有启发性的。那么“前 3 篇文章?”他说;其中两个是捏造的。人工智能在同一个会话中既非常有用,又很危险。教训:同一辆车在不同任务中表现出不同的可靠性;根据您的职责进行信任。
常见错误
- 使用参考文献而无需确认。最常见、最严重的错误;可能会导致文章被撤回。
- 从摘要中获取产量/条件数。 AI总结有时反映的是“可能的价值”而不是来源;与原版比较。
- 将人工智能误认为搜索引擎。除非另有说明,语言模型不会查询实时数据库;从记忆中产生。
- 以一种语言进行搜索。简单地将土耳其语/英语中的关键术语排除在外会导致资源缺失;人工智能有助于同义词生成。
- 将概念与来源混淆。人工智能解释了正确的概念这一事实并不表明它给出的参考是正确的。
提示:最强大的工作流程是“人类首先发现,然后人工智能总结”。你带来真实的文章,让人工智能阅读文本。因此,你可以利用人工智能的优势(总结)并禁用其弱点(源拟合)。
综上所述
- 人工智能在文献中对概念、摘要和搜索策略进行强有力、具体的引用是危险的。
- 虚假引用(捏造的文章/DOI)是化学领域最严重的人工智能风险;每个参考都得到确认。
- 最安全的流程:人类找到真实的文章,人工智能总结文本。
- 从源文本而不是摘要中获取关键数字,例如产量和条件。
- 将综合计划中的每个步骤连接到真实来源。
应用任务
选择目标化合物。首先,仅向人工智能询问搜索词和概念性摘要(不询问具体归属)。在真实数据库中找到至少两篇包含这些术语的文章。将文章文本汇总到 AI 中,并将产量/条件数与原始数据进行比较。另外,故意向人工智能询问“5个来源”,并一一破译它给出的DOI:有多少是真实的?写一份一页的“引文验证报告”。
清单
- [ ] 我将人工智能定位为一个概念/总结工具,而不是搜索引擎。
- [ ] 当我想要具体的引文时,我会从 doi.org 解码每个 DOI。
- [ ] 我正在将产量/条件数与原始来源进行比较。
- [ ]我找到了真实的文章并让AI总结了文本。
- [ ] 我将综合计划中的每个步骤都归因于一个来源。
- [ ] 我已经准备了至少一份引文验证报告。