收益：
- Token可以直观地解释概率和预测的概念
- 理解为什么语言模型会“零碎”地生成文本
- 能够解释为什么模型有时表现果断，有时表现出创造性
当您将“伊斯坦布尔最好的事情”写入语言模型时，它会在几秒钟内生成一个流畅的段落。这是怎么发生的？该模型是否真的“思考”，或者其背后是否存在更简单但更强大的机制？在本单元中，我们将通过建立正确的直觉来解释生成式人工智能的工作原理，而不涉及技术方程式。这种直觉是接下来一切的基础——尤其是幻觉、验证和良好的即时写作的主题。生成式人工智能，即“生成式人工智能”，是从头开始创建文本而不是查找和获取现有答案的工具的通用名称。
基本思想：预测下一首曲子
令人惊讶的是，语言模型学习的唯一基本任务是“文本的哪一部分最有可能遵循？”就是回答问题。该模型不会准备一个完整的句子并将其呈现在您面前。相反，它从左到右逐段生成句子。
以下是它的逐步工作原理：
- 它会读取您编写的文本（提示）。
- 预测最有可能跟随此文本的部分。
- 添加那一块。
- 它再次查看新形成的文本并猜测下一个最有可能的部分。
- 重复直到答案完成。
示例：如果您向模型提供文本“早上醒来时喝杯热咖啡……”，最有可能的延续是“茶”或“咖啡”；不是“沥青”。该模型从数百万文本中学习了这样的概率。然后他添加“茶”，然后查看新句子并猜测下一个最可能的部分，依此类推。
换句话说，在每一步中，模型都会通过查看其所写入的内容来执行下一步。这就是为什么它有时被称为“自动完成的非常高级版本”。但这个类比不应该贬低人才； At the right scale, this prediction can produce results that look like reasoning.
令牌：单词的小片段
The model actually works not with full "words" but with smaller pieces called tokens.一个令牌；有时它是整个单词，有时它是单词的一部分，有时它是标点符号。
- “book”可以是单个标记。
- "from our books" can be divided into several tokens such as "book", "s", "our", "from".
- Spaces and punctuation marks also count as tokens.
注意：Token不仅仅是一个技术细节。大多数人工智能工具按令牌数量收费，并且模型一次可以处理的文本（上下文窗口）长度也受到令牌的限制。 So "how long you write" is a direct cost and limit.
Probability and “Warmth”: Determination or Creativity?
在每一步中，模型都会生成一个可能延续的概率列表，而不是一个明确的答案。例如“热”字后：茶55%，咖啡35%，牛奶7%，其他3%。那么他选择哪一个呢？
这里，一个称为温度的设置发挥作用。温度是一种创造力旋钮，决定了模型的“风险”程度。
设置
行为
结论
哪里有用呢？
低温
总是选择最有可能的选择
稳定、可重复
法律摘要、技术说明、数据提取
中温
平衡的选择
自然但一致
一般电子邮件、报告草稿
高温
尝试不太可能的选择
创意、多样、不可预测
头脑风暴、口号、名称制作
This also explains the frequently asked question: "Why do I get different answers when I ask the same question twice?" Because there is some randomness in the selection process; The model does not draw a fixed answer from a database, it reproduces it every time.
弱提示/强提示
Knowing that the model works with "probability" also changes how you instruct it. The more context you give, the more likely the correct continuation becomes.
弱提示：写一篇介绍性文字。
Result: The model produces the most "average" and generic text because it doesn't know which product, which audience, which tone.
Strong prompt: Write an Instagram promotional text for a small cafe's new filter coffee.受众：25-35岁，咖啡爱好者。语气：友好、简短。最多 3 个句子，末尾有 2 个主题标签。
Result: A usable text that is relevant because context narrows down the possibilities.
三个迷你箱
案例 1 — 营销，多样化。 A team wanted 30 slogans for a new product.凭借其高温设置，该模型产生了不同的、创造性的选择；团队从 30 个中选择并开发了 4 个。总时间：10 分钟。 If it was done by hand it would take half a day.
Case 2 — Law, high determination.该公司的法律团队正在简化合同条款。 They wanted consistency, not creativity;在低温下，模型每次都给出几乎相同的、保守的总结。因此，不同试验之间不存在不一致之处。
Case 3 — “Why did it change?”问题。一名员工两次请求相同的电子邮件草稿，但收到了两个不同的结果； He thought it was a "mistake".事实上，这是模型随机性的自然结果。一旦员工学会保存他喜欢的版本并在必要时说“使其像以前的版本一样”，就没有问题了。
模型“明白”了吗？
This is the most curious question.该模型已经非常彻底地了解了单词之间的统计关系，以至于它假装理解许多任务。 But it has no conscious understanding, intention or reality-controlling mechanism. It produces "the most probable sequel"; It does not guarantee producing the "most accurate information". This distinction is the basis of the subject of hallucination, which we will discuss in the next units.
常见错误
常见错误
- Mistaking the model for a search engine.该模型不会搜索互联网并检索资源（除非有特殊的搜索功能）； Generates possible text from memory. So he can make up the source/figure.
- 将流畅性误认为准确性。仅仅因为文本美丽且自信，并不意味着其内容是正确的。
- Expecting the same answer every time.随机性是自然的； Save the output you like for critical tasks.
- 粘贴很长、不必要的文本并突破令牌限制。长度既会增加成本，也会分散模型的注意力； just give the necessary context.
注意：模特说话流利、自信并不意味着她说话正确。流畅性是概率估计的自然结果；准确性必须单独、独立地检查。
综上所述
- 生成式AI通过预测下一个最可能的片段（token）来逐步生成文本； constructs the sentence piece by piece.
- 令牌是单词的较小部分，并设置成本和长度限制。
- 在每一步，模型都会生成一系列可能性；温度设置决定了输出的稳定性或创造性。
- 同一个问题之所以有不同的答案，是由于这个过程固有的随机性。
- 模特说话很流利，但这并不能保证她说的是真话； Fluency and accuracy are different things.
应用任务
连续两次给你的人工智能工具同样的创造性任务（例如“写一封简短的感谢信”），并观察输出有何不同。然后使用“强大的提示”模板重复相同的任务，添加上下文，并注意两个结果之间的质量差异。
清单
- [ ] 我可以解释该模型通过“预测下一个可能的块”来生成文本。
- 我知道 [ ] 令牌是什么以及为什么它代表成本/限制。
- [ ] 我可以区分需要决心的工作和需要创造力的工作。
- [ ] 我知道同一问题得到不同答案是正常的。
- [ ] 我已经认识到流畅并不能保证准确性。