收益:
- 能够根据业务成果定义成功指标,并根据基线对每个计划进行衡量
- 能够诚实地计算隐藏成本(集成、监督、维护)并计算实际的投资回报率,而不会夸大收益
- 能够通过对照组和情景分析证明价值,并根据证据做出扩展、纠正或停止的决定
人工智能投资最常见的死亡原因不是技术故障,而是技术故障。价值无法被证明。如果一个试点“运行良好”,但没有人能确切地说出它带来了什么,它就会在第一次预算削减时被关闭。在本单元中,您将学习如何计算人工智能计划的 ROI(投资回报率)、如何使用指标衡量业务价值以及如何基于证据做出投资决策。目标是将“自我感觉良好”的试点项目与产生“经过验证的价值”的初创公司区分开来。
为什么衡量价值很困难,为什么有必要?
AI 的价值有时是直接的(将工作时间从 10 小时减少到 2 小时),有时是间接的(提高客户满意度)。挑战在于使间接价值变得可衡量。规则是这样的:你无法管理和捍卫你无法衡量的价值。这就是为什么每一项计划都必须至少有一个数字成功指标,并且必须在计划开始之前测量该指标(这称为基线;改进前对当前状态的测量)。
价值分为四个主要类别:
值类型
指标示例
测量难度
降低成本
每笔交易的小时/TL
容易
增加收入
转化率、购物车金额
中等
降低风险
错误/违规数量
中等
经验/品质
满意度得分、响应时间
困难但必要
提示:在试点开始之前,“我们如何识别成功?”写下问题的数字答案并测量当前状态(基线)。任何没有基线的“改进”主张都值得商榷。
简单的投资回报率计算
基本公式:投资回报率=(净效益-总成本)/总成本。但真正的纪律是诚实地清点物品。
成本方面(大多数组织低估了):许可/使用费、集成成本、数据准备、培训、变更管理、持续维护和人工监督。人工智能的“隐性成本”通常是集成和监督。
好处(大多数组织夸大了这一点):将节省的时间转化为实际金钱时,询问节省的时间是否真正转化为价值。每天为 100 个人节省 10 分钟只有将时间花在有意义的工作上才是值得的。
举个例子:发票处理工具每年的成本为 300,000 土耳其里拉(许可证 + 集成 + 监督),效益为 12,000 张发票 × 15 分钟节省 × 劳动力成本 = 720,000 土耳其里拉。投资回报率 = (720,000 − 300,000) / 300,000 = 140%。但“15分钟真的节省了吗?”这个问题可能会削弱好处;这就是为什么试点测量至关重要。
一步一步:证明价值
1. 测量基线。在尝试之前按编号记录当前状态。
2. 设定明确的成功指标。选择与业务成果相关的一两个指标。
3.如实将所有成本项目加起来。不要忘记隐藏成本(集成、监督、维护)。
4.衡量试点的实际效益。依靠测量,而不是猜测;如果有对照组的话效果会更强。
5. 决定:扩展、修复或停止。如果证据充分,则放大;如果没有,请诚实地关闭它。
三个迷你箱子
情况 1 — 没有基线的试点。一家呼叫中心宣称其人工智能助手“非常成功”,但在开始之前并未测量平均通话时长。在扩展决策中,首席财务官会问“改进了多少?”他问道;没有人能回答。项目停了3个月,回顾测量:改善只有4%,远低于预期。如果有基线,这一点就会很早就看到。
案例 2——隐藏成本。一家公司计算了人工智能工具的许可证(每年 200,000 美元),但没有计算集成(350,000 美元)和持续的人工监控(2 名全职人员)。该项目原本被认为是“有利可图”的,但加上实际成本后,却处于亏损状态。一旦所有项目都被清点,监控自动化就缩小了范围并降低了成本。
案例 3 — 对照组的证据。一家电子商务公司向一半用户(测试组)开放人工智能产品推荐,但没有向一半用户(对照组)开放。 6 周内,测试组的购物篮金额增加了 7%。这结束了“人工智能还是季节”的争论;感谢对照组,其价值得到了明确证明,并在全国范围内推广。
四个可复制模板
1)价值假设和衡量标准:
您的角色:商业价值分析师。为这项人工智能计划建立一个价值假设:我们期望从什么基线改进什么指标,改进多少?还要写下衡量指标的方式和频率。倡议:[文本]
2) 全部成本明细:
列出以下人工智能计划的确切成本项目:许可/使用、集成、数据准备、培训、变更管理、维护、人工监督。确保突出显示经常被遗忘的隐藏成本。倡议:[文本]
3)ROI计算框架:
使用以下收益和成本数据设置 ROI 计算:净收益、总成本和 ROI 百分比。质疑福利“真正转化为金钱”的假设,并展示两种乐观/悲观的情景。数据:[效益和成本]
4) 扩展决策简报:
将以下试点结果转化为向董事会提交的决策简报:基线、衡量效益、总成本、投资回报率、主要风险和建议(规模/修复/停止)。诚实地陈述证据是强还是弱。结果:[文本]
弱提示/强提示
弱:“计算这个人工智能项目的投资回报率。”
结果:乐观的、毫无疑问的钢笔丢失问题;决策不可靠。
强:“计算发票处理自动化的投资回报率。收益:每年 12,000 张发票,每张发票节省 15 分钟,工时 250 TL。成本:每年许可证 200,000 TL,一次性集成 350,000 TL,持续 1 人监督。展示两种乐观和悲观的场景,假设只有 70% 的时间节省转化为实际价值;写下您建议我决定哪一种上。”
结果:诚实的、假设质疑的、有脚本的、可决策的分析。
常见错误
- 不测量基线。在不知道之前发生了什么的情况下说“我们被治愈了”是无法得到证实的。
- 绕过隐性成本。集成、监督和维护通常比许可更重要。
- 高估了好处。并非所有节省的时间都会转化为价值;使用实际的转化率。
- 不设立对照组。如果没有对照组,目前还不清楚这种改善是来自人工智能还是其他一些效果。
- 根本不衡量软效益。如果因为难以衡量而忽略经验和质量,那么大部分价值仍然是看不见的。
注意:人工智能可以构建投资回报率框架,但经理对其输入的数字和假设的真实性负责。通过夸大的收益假设产生的美观的投资回报率会误导投资委员会并破坏信任。始终验证数字的来源。
综上所述
人工智能初创公司的消亡往往不是因为技术,而是因为未能证明价值。每一项计划都应该至少有一个与业务成果相关的指标,并根据基线进行衡量。在计算投资回报率时,如实计算所有隐藏成本(集成、监督、维护),不要夸大收益;质疑节省的时间是否真正转化为价值。如果可能的话,用对照组进行证明。如果证据有力,就扩大规模,如果证据薄弱,就诚实地停止。在下一个单元中,我们将了解如何管理每个企业及其价值所带来的风险。
应用任务
选择一个人工智能用例。在开始之前,写下需要衡量的基线和成功指标。 2. 删除模板中的所有成本项目(包括隐藏的成本项目)。使用模板 3 生成两种 ROI 场景:乐观和悲观。最后,“这些证据能否说服我进行扩展?”诚实地回答问题。
清单
- [ ] 我定义了干预前基线。
- [ ] 我已经确定了至少一项与业务成果相关的指标。
- [ ] 我将所有成本项目(包括隐藏项目)相加。
- [ ] 我用实际的转化率调整了收益假设。
- [ ]我计算了两种情景,乐观和悲观。
- [ ] 如果可能的话,我计划了一个对照组。
- [ ] 我已经诚实地评估了该决定的证据强度。