收益：
- 能够读取输入/输出令牌定价和发票项目
- 能够使用粗略公式估算工作流程的每月成本
- 实施缓存、批处理和模型暂存等成本削减方法
能够估计模型的成本是决策者最实用的技能之一。 “我每个月要付多少钱？”如果您无法回答这个问题，您就无法规划预算，也无法选择合适的水平。好消息是定价比听起来更简单，一旦掌握了窍门，您就可以自己做出粗略的估计。在本单元中，您将学习如何读取输入/输出令牌定价，使用简单的公式估算工作流程的每月成本，以及实际降低成本的方法。
经验法则：输入和输出单独定价
在封闭权重模型中，价格是根据处理的代币数量计算的，有两个单独的项目：
- 输入令牌（输入）：您发送到模型的文本。您的提示、您的文件、您的样品。
- 输出标记：模型为您生成的答案。
临界点：输出代币往往比输入代币贵几倍。这是因为模型产生输出的计算成本更高。例如，在一个模型中，输入可能是每百万代币 3 美元，而输出可能是 15 美元；所以产量要贵五倍。这意味着冗长且不必要的答案会很快耗尽预算。
提示：降低成本的最简单方法之一是不要向模型询问不必要的长答案。 “最多 5 篇文章”、“单段落”、“仅导出表格”等限制可提高质量并节省输出令牌。
当前价格示例
以下是几种模型的大致价格（每百万代币，美元）。这些值属于这个模块准备的时期，经常变化；检查提供商的当前价格页面以做出准确决定。
模型
舞台
输入$/1M
产出 $/100 万美元
克劳德作品 4.8
强
〜5
〜25
克劳德十四行诗 5
平衡的
〜3
〜15
克劳德俳句 4.5
轻量级
〜1
〜5
从表中可以看出，强级和轻级之间的价格差异可能高达五倍。这就是为什么“适合所有业务的最适合模型”方法往往是浪费金钱。通过廉价的模型完成简单的工作，通过功能强大的模型完成困难的工作，可以在不损失质量的情况下节省大量成本。我们将在第 7 单元和第 9 单元中深化这个想法。
估算每月成本：简单公式
对于每月的粗略成本估算，您可以使用以下公式：
每月费用 ≈ (每月请求数 × 平均输入代币 × 输入价格 / 1,000,000)+ (每月请求数 × 平均输出代币 × 输出价格 / 1,000,000)
让我们运行一个例子。假设一个电子商务团队每月生成 50,000 个产品描述。每个请求平均发送 500 个输入令牌（产品信息）并接收 300 个输出令牌（描述）。在平衡模型中（输入〜3，输出〜15）：
- 输入成本：50,000 × 500 × 3 / 1,000,000 = 75 美元
- 输出成本：50,000 × 300 × 15 / 1,000,000 = 225 美元
- 总计 ≈ $300/月
如果他们在轻量级模型中执行相同的工作（输入〜1，输出〜5）：
- 输入：50,000 × 500 × 1 / 1,000,000 = 25 美元
- 产出：50,000 × 300 × 5 / 1,000,000 = 75 美元
- 总计 ≈ $100/月
因此，仅进行阶段选择就可以将同一工作从 300 美元减少到 100 美元。对于产品描述等相对简单的任务，轻量级模型通常就足够了。
注意：这个公式是一个粗略的估计；实际计费因缓存使用、重试、推理模式等因素而异。尽管如此，这对于获得预算确认或比较两种型号来说是一个非常好的开始。最好先先用小试点衡量一下真实的数字再做决定。
降低成本的五种方法
- 选择合适的级别。简单、轻量级的模型。这是最大的单一储蓄来源。
- 让输入变小。无需为每个请求填写大量文档，只需发送相关部分（第 5 单元中的上下文优化）。
- 限制输出。明确答案的长度和格式；不必要的长答案=不必要的成本。
- 使用缓存。 Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper.如果您发送相同的大指令数千次，这可以显着节省成本。
- 执行批处理。如果您不赶时间，“批量”选项可以批量发送许多请求并以折扣价处理它们，从而显着降低成本。
三个现实案例
案例 1 — 通过逐步变更实现节省。客户服务团队正在用最强的模型汇总所有收到的电子邮件，他们每月的账单约为 900 美元。总结是一项简单的任务；当他们转移到平衡层时，输出质量几乎保持不变，但费用下降到约 250 美元。只需选择正确的级别，每年即可节省约 7,800 美元。
情况 2 — 使用缓存保存。软件团队在每次代码审查请求时都会发送相同的 8,000 个令牌“编码标准”文档。每天 400 个请求 × 8,000 个代币 = 大量重复输入。当他们打开缓存功能时，这个固定分区的读取速度开始变得更加便宜，并且很大一部分输入成本消失了。
案例 3 — 通过限制产量来节省成本。当营销团队要求产品描述时，模型一次会生成长而华丽的段落。当他们添加“最多 60 个单词，单段落”限制时，解释变得更加有用，并且输出令牌减半。质量提高的同时，成本降低；双赢。
弱提示/强提示
弱提示：
给我写一个关于该产品的精彩描述。 [产品信息]
模特想写多久就写多久；输出令牌不受控制。
强力提示：
您的角色：电子商务文案。产品信息]。任务：撰写产品描述。限制：最多 60 个单词，一段，吸引非技术客户，包含 2 个好处 + 1 个用例。避免使用花哨的形容词。
强大的提示控制质量和输出长度（从而控制成本）。
可复制模板
1. 每月费用估算：
我每月都会提出 [QUANTITY] 个请求。平均输入 ~[NUM] 个令牌，输出 ~[NUM] 个令牌。使用公式计算以下型号（[型号 A]、[型号 B]）的每月费用并在表格中进行比较。接受投入/产出价格[价格]。
2 级比较：
我的职责[任务]。这项工作真的需要一个强大的模型，还是一个轻量级/平衡的模型就足够了？从质量和成本方面进行评估，并建议我进行两层试点测试。
3、降低成本筛选：
确定在以下工作流程中降低成本的方法：[工作流程]。编写每个级联、输入减少、输出限制、缓存和批处理标头的可行性和估计节省。
4. 输出限制：
重写以下提示以减少输出标记而不降低质量：“[PROMPT]”。针对长度、格式和不必要的重复进行优化。
常见错误
- 跳过输入/输出差异：允许长答案而不知道输出要昂贵得多。
- 适用于每项工作的最强大模型：使用昂贵的模型完成简单的工作，并不必要地支付数倍的费用。
- 释放输出长度：给予模型无限的写入权限，不施加任何格式或长度限制。
- 忽略缓存和批处理：错过了重复输入和非紧急任务的严重节省机会。
- 认为价格是最新的：依赖旧的价格表并错误地规划预算；价格经常变化。
综上所述
- 价格根据代币计算；输入和输出是分开定价的，输出往往要贵几倍。
- 您可以通过公式请求数×平均代币价格×价格来粗略估算每月的费用。
- 仅正确的步骤选择就可以使成本降低很多倍。
- 输入最小化、输出限制、缓存和批处理是显着减少费用的实用方法。
应用任务
获取您在上一单元中估计的代币值。使用本单元中的模板 1（每月成本估算）计算两个不同级别的每月业务成本。然后，使用第三个模板（成本降低扫描），推断每种方法可以为您的工作流程带来多少节省。计划选择两种最有希望的方法并将其应用到下个月的预算中。
清单
- [ ] 我知道输入和输出代币是分开定价的，输出更贵。
- [ ] 我可以通过简单的公式粗略估计一个工作流程的每月成本。
- [ ] 我可以通过一个例子来展示选择正确级别的成本影响。
- [ ] 我可以识别五种降低成本的方法并选择合适的一种。
- [ ] 我可以重写一个提示来减少输出标记。