收益：
- 可以解释什么是幻觉以及为什么会发生
- 可以确定何时需要验证 AI 输出
- 能够应用提高可靠性的实用技术
也许AI素养最关键的话题就在这个单元：模型编造，也就是幻觉。理解这个术语是任何使用人工智能的人最基本的安全预防措施。因为无法识别幻觉的用户可能会将虚假信息误认为是真实的，并将其转移到商业决策、客户沟通或官方文件中。在本单元中，您将了解什么是幻觉、为什么它是不可避免的以及如何预防它。
什么是幻觉？
幻觉是指语言模型产生的信息实际上并不存在于流畅且自信的语言中，就好像它是真实的一样。模型无意说谎；在仅生成“最可能的延续”时，它创建了一个看似可能但实际上是错误的文本。
示例：如果你告诉模型“推荐一个有关主题的学术来源，一切都以正确的格式出现并且令人信服；但来源完全是虚构的。这是幻觉的典型例子。
为什么会发生这种情况？ （记住第二单元）
The source of the hallucination lies in the working principle of the model.该模型不是“事实百科全书”； It is a "probability machine". Its job is to produce the smoothest possible continuation of your question; It is not about bringing the most accurate information.型号：
- 他不知道他不知道什么； When faced with a blank, he tends to fill in a possible answer rather than saying "I don't know."
- 它没有控制现实的机制； It does not check whether the text it produces matches the world.
- Fluency and accuracy are two different things for him; Just because it's fluent doesn't mean it's correct.
注意：幻觉不是“故障”；而是“故障”。 It is an inherent feature of technology. New models reduce this but cannot eliminate it completely. Therefore, instead of waiting for a "non-hallucination model", it is necessary to learn to live with hallucination.
Where is the Risk of Hallucinations High?
并非每个结果都具有同样的风险。在以下情况下风险会增加：
高风险
低风险
准确的数字、日期、统计数据
产生总体想法，集思广益
索取来源、报价、参考资料
Change the tone of a text
利基、专业主题
常见的、一般性的主题
时事和人物
总结你的文字
贵公司特定的内幕信息
语法纠正
三个迷你箱
案例 1 — 一个假人进入演示文稿。一名员工向AI询问“2023年土耳其电商增长率和来源”，以供行业报告使用。该模型返回了令人信服的百分比 (48%) 和机构名称。员工未经核实就将其放入演示文稿中；当会议上揭露该数字是伪造的时，演示文稿和公司声誉都受到损害。如果同一名员工从官方渠道收到了这个数字，那就没有问题了。
案例 2——不存在的立法。 An assistant asked the AI for the "relevant article of law" for a petition.该模型生成了逼真的商品编号和文本；但那个项目不在那里。幸运的是，法务部门在交货前注意到了这一点。教训：法律引用总是从主要来源进行验证。
Case 3 — Correct method, safe result.同一团队的另一名员工只是让人工智能起草报告，自己根据官方数据输入所有数字，并指示他“不要添加本文中未包含的数字”。 The result was both fast and accurate. Difference: AI wrote draft, human fed facts.
弱提示/强提示
弱提示：给出关于该主题的 3 个最重要的学术来源以及作者和年份。
结果：模型可以安全地拟合不存在的源。
强力提示：根据我下面粘贴的文字写一个总结。 Use only the information in this text.不要添加文本中没有的任何名称、数字或来源。如果您不确定，请写“文中未指定”。<text>[粘贴到此处]</text>
结果：由于模型从你那里获取源，拟合空间变得更窄。
Practical Techniques That Increase Reliability
在您的答案中标记每个可验证的声明（数字、日期、名称、来源），并将它们放在单独的“必须检查”列表中。
回答这个问题。 If you're not sure, don't guess;说“我不确定”并解释你不知道什么。主题：[主题]
用两种不同的方式回答同一个问题，并标出两种答案之间的矛盾。那么让我看看哪些点是有问题的。问题：[问题]
我将验证下面的文字。按重要性顺序列出我应该检查的风险声明，并建议我可以在哪里验证每一项。文本：[粘贴到此处]
此外，养成以下习惯：
- 您提供来源。将相关文档粘贴到文本中，并说“仅据此回答”。
- 始终检查可验证的事实。验证来自独立、可靠来源的数字、日期、名称、引言和来源。
- 请他表明他对该型号不确定。这降低了风险，但并没有完全消除风险。
- 对于高风险工作，请专家检查输出。法律、金融和健康相关的产出必须经过人类专家的过滤。
- 使用人工智能作为“起点”，而不是“最终结果”。草稿是他写的；验证和决定是你的。
注意：“模型说了两遍，那就是真的”逻辑是错误的。能够自信地重复同样的错误。重复并不能证明准确性。
常见错误
常见错误
- 使用来源而不验证它们。它可以创建示范书籍、文章、法律文章和链接；每个参考都必须得到确认。
- 将自信的语气误认为是准确的。幻觉最危险的恰恰是它看起来很自信。
- 只需让模型说“您验证”就足够了。模型的自我验证不是独立验证。
- 使用高风险输出而不向专家展示。人类控制对于金钱、法律和健康至关重要。
综上所述
- 幻觉是指模型以流畅且自信的方式产生不存在的信息，就好像它是真实的一样。
- 原因不是故障，而是模型的概率预测性质；无法完全消除。
- 当涉及到精确的数据、来源、最新信息和利基问题时，风险尤其高。
- 为了保护自己：提供来源，核实事实，说“如果你不确定，请告诉我”，让专家检查高风险输出。
- 以AI为起点；最终的验证和责任始终由您承担。
应用任务
让你的 AI 工具针对需要专业知识的主题“建议 3 个学术来源”，并尝试在互联网上确认其建议的来源；注意有多少是真实的。 Then repeat the same task with the "you give the source" method and observe the difference.
清单
- [ ] 我可以解释什么是幻觉以及为什么会出现幻觉。
- [ ] 我可以区分高幻觉风险任务和低幻觉风险任务。
- [ ] 我可以通过为模型提供源来降低制造风险。
- [ ] 我独立核实数字、日期、名称和来源。
- [ ] 我不认为自信的语气是准确性的证据。