收益：
- 认识轻盈、平衡、强大的模型阶段和推理模式
- 根据任务的难度选择合适的模型级别
- 能够有意识地在延迟、准确性和成本之间建立平衡
我们学会了计算价格；现在我们来谈谈这个价格能得到什么，即型号级别和功能。选择模型时，三种力量不断竞争：质量（准确性）、速度（延迟）和成本。改进这三项中的两项通常意味着牺牲第三项。在本单元中，您将了解轻松、平衡和强大的关卡、推理模式以及小/大模型偏好；你将能够根据任务的难度有意识地建立适当的平衡。
三个级别，三种不同的工作特征
几乎每个提供商都在同一系列中提供三个级别。让我们将它们与任务的特征相匹配：
- 轻型层（小型型号）：非常快，非常便宜，“足够好”。非常适合简单、重复、大批量的任务：分类、简报、标记、数据清理、简单的回复草稿。
- 平衡层（中型）：质量好，速度合理，成本合理。大多数日常工作的“默认”选择：内容制作、中期分析、客户响应。
- 强大层（大型型号）：最高质量、最慢、最昂贵。用于复杂的推理、长期且多步骤的分析、困难的代码、精确的法律/财务评估。
提示：一个好的开始规则：从平衡的水平开始。如果质量差，则升级为强；如果质量非常好并且音量很高，请降低到亮度级别。 “从足够好的开始”方法，而不是“从最强的开始”方法，可以节省金钱和时间。
什么是推理模式？
有些模型可能会首先一步步“思考”答案，而不是直接生成答案。这称为推理模式。该模型将问题分解为多个部分，在其内部处理中间步骤，然后才给出最终答案。这类似于学生在纸上一步步解决数学问题。
什么时候有价值？在多步骤的逻辑问题中：复杂的计算、矛盾检测、长推理链、困难的代码错误。在此类工作中，推理显着提高了准确性。
费用是多少？随着模型生成更多“思考标记”，推理会增加成本和延迟。所以它会更贵而且更慢。一个简单的“这个评论是积极的吗？”对这个问题的推理就像用锤子打苍蝇一样；造成不必要的成本和延误。
注意：不要对每项任务都打开推理模式。对于简单的任务来说，保持关闭状态既更快又更便宜。一些现代模型具有“适应性”思维模式，可以在需要思考时自行决定；然而，有意识地管理它是你的工作。
质量、速度、成本三角
优先级
适当的水平
推理
成本最低，产量高
轻量级
关闭
平衡（大多数工作）
平衡的
视情况而定
最高准确度，关键决策
强
打开
即时响应、低延迟（聊天）
轻/平衡
关闭
复杂的多步骤分析
强
打开
当你查看这张表时，问问自己：“如果我在这项任务上犯了错误，将会付出什么代价？”如果价格很高（错误的法律评估、错误的财务决策），那么高素质和推理性的投资就是合理的。如果价格较低（产品标签分类错误），那么轻便快速的型号就足够了。
小型号还是大型号？
与普遍的看法相反，并不是每项工作都需要大型模型。较小的模型已经变得令人惊讶地强大，能够以较大模型十分之一的成本和数倍的速度执行许多任务。三个决策问题：
- 任务是否简单且公式化？ （分类、提取、小结）→小模型。
- 音量是否太大且速度至关重要？ → 小模型，因为大模型价格昂贵且速度慢。
- 该任务是否需要细致入微的推理、扩展的背景或创造力？ → 大模型。
三个现实案例
情况 1 — 轻量级模型就足够了。电子商务团队每天将 40,000 条客户评论分类为正面/负面/中立。他们用强大的模型进行尝试，然后与轻量级模型进行比较：准确率几乎相同（96% vs 94%），但轻量级模型便宜 8 倍，速度快 3 倍。到目前为止，轻量级模型是完成这项任务的正确选择；额外 2% 的准确度并不能证明 8 倍的成本是合理的。
案例2——强模型+推理是必须的。一家税务咨询公司想要计算复杂的多阶段税务方案。轻量级模型在中间步骤中会出错并给出错误的结果。当他们使用强大的模型并开启推理模式时，模型会一步步前进并得出正确的结论。在这里，额外的成本和延迟是可以接受的，因为错误的成本很高；然而，专家证实了这一结果。
案例 3 — 混合使用。呼叫中心分两步处理呼叫记录：首先，它使用轻量级模型简要总结每个呼叫（大容量，简单的工作），然后仅将标记为“投诉”的呼叫提供给强大的模型，并执行根本原因分析（小量，复杂的工作）。因此，他们可以廉价地处理大部分数据，同时为少数真正重要的调用保留强模式的力量。
弱提示/强提示
弱提示：
解决这个税收场景。 【复杂场景】
目前尚不清楚该模型将如何仔细考虑。
强力提示：
您的角色：高级税务专家。任务：逐步解决以下多阶段场景。首先列出假设，然后分别计算并显示每个步骤，最后给出最终结果。如果有一点您不确定或取决于立法，请将其标记为“需要专家确认”。跳过中间步骤。[场景]
强大的提示引导模型逐步思考（鼓励推理），并使中间步骤可见以进行验证。
可复制模板
第一阶段诊断：
我的任务：[任务]。数量：[NUMBER/天]。错误成本：[低/中/高]。速度优先级：[低/高]。根据此配置文件，您会推荐什么级别（轻/平衡/强）和推理（开放/封闭）？证明合法。
2. 小/大型号决策：
我定义了以下任务：[TASK]。这个问题可以用小型（轻型）模型来解决吗？还是需要大型模型？建议 3 个测试用例和一个成功阈值，让我尝试用小模型解决问题。
3. 推理的适当性：
在以下任务中，推理（逐步思考）模式是有益的还是代价高昂的：[任务]？根据任务的步骤数和逻辑复杂性来证明您的决定的合理性。
4.两阶段工作流程设计：
设计一个两阶段流程以降低以下大批量任务的成本[任务]：哪一部分应该进入轻量级模型，哪一部分应该进入强大模型？写下每个步骤的级别和理由。
常见错误
- 适用于每项工作的强大模型：在简单而大量的工作中使用最强大的模型会造成不必要的成本和延误。
- 始终保持推理：在简单的任务中保持思维模式，白白浪费时间和金钱。
- 在不衡量质量的情况下做出决策：假设“越大越好”，而不将两个水平与您自己的数据进行比较。
- 忘记对速度的需求：在需要即时响应的地方，例如聊天，选择缓慢而强大的模型并让用户等待。
- 根本不考虑两阶段流程：没有通过单个模型构建整个体积，也没有节省可以廉价完成的部分。
综上所述
- 模型选择是质量、速度和成本三角之间的平衡行为；改善其中两个往往需要牺牲第三个。
- 轻型平台适用于简单/大型作业，强力平台适用于复杂/关键作业；平衡阶段对于大多数工作来说是一个良好的开始。
- 推理模式提高了多步问题的准确性，但增加了成本和延迟；不应该对每项任务都开放。
- “这次任务失败的代价是什么？”问题是决定层次和推理的指南针。两阶段流程可大大节省大量工作。
应用任务
在您的工作中选择一个任务，并确定哪个阶段和推理设置适合模板 1（阶段诊断）。如果任务量很大，请提出一种设计，将部分量引导至轻量级模型，将关键部分引导至具有模板 4 的强模型（两阶段工作流程）。我们将在第 9 单元的模型投资组合研究中使用此设计。
清单
- [ ] 我能配合舞台轻盈、平衡、有力的作品性格。
- [ ] 我可以解释一下推理模式的作用以及它的成本。
- [ ] 我可以有意识地建立任务的质量-速度-成本平衡。
- [ ] 我可以用三个问题回答小模型问题或大模型问题。
- [ ] 我可以为大批量作业设计两阶段流程。