Прибуток:
- Можливість визначити показник успіху на основі бізнес-результату, виміряного порівняно з базовим рівнем, для кожної ініціативи
- Можливість чесно підрахувати приховані витрати (інтеграція, нагляд, технічне обслуговування) і розрахувати реалістичну рентабельність інвестицій без перебільшення вигоди
- Здатність доводити цінність за допомогою аналізу контрольної групи та сценарію та базувати рішення щодо масштабування, виправлення чи припинення на доказах
Найпоширенішою причиною смерті для інвестицій у штучний інтелект є не технічний збій; вартість не може бути доведена. Якщо пілот «працює чудово», але ніхто не може точно сказати, що він приносить, його буде закрито при першому скороченні бюджету. У цьому розділі ви дізнаєтесь, як розрахувати ROI (повернення інвестицій) ініціатив штучного інтелекту, як виміряти цінність бізнесу за допомогою показників і як базувати інвестиційні рішення на доказах. Мета полягає в тому, щоб відокремити «гарних» пілотів від стартапів, які створюють «перевірену цінність».
Чому важко виміряти вартість і для чого це необхідно?
Значення штучного інтелекту іноді є прямим (скорочення роботи з 10 годин до 2 годин), іноді непрямим (підвищення задоволеності клієнтів). Завдання полягає в тому, щоб зробити непряму цінність вимірюваною. Правило таке: ви не можете керувати та захищати цінність, яку не можете виміряти. Ось чому кожна ініціатива повинна мати принаймні один числовий показник успіху, і цей показник має бути виміряний до початку ініціативи (це називається базовим рівнем; вимірювання поточного стану до покращення).
Цінність поділяється на чотири основні категорії:
Тип значення
Приклад метрики
складність вимірювання
зниження собівартості
Година/TL за транзакцію
легко
Збільшення доходу
Коефіцієнт конвертації, сума кошика
середній
зниження ризику
Кількість помилок/порушень відповідності
середній
Досвід/якість
Оцінка задоволеності, час відповіді
Важко, але необхідно
Порада: перед початком пілотного проекту, "як ми розпізнаємо успіх?" Напишіть числову відповідь на запитання та виміряйте поточний стан (базову лінію). Будь-яке твердження про «покращення», зроблене без базової лінії, є відкритим для обговорення.
Простий розрахунок ROI
Основна формула: ROI = (чиста вигода − загальна вартість) / загальна вартість. Але справжня дисципліна — це чесно підраховувати речі.
Вартість (яку більшість організацій недораховує): плата за ліцензування/користування, вартість інтеграції, підготовка даних, навчання, керування змінами, поточне обслуговування та людський нагляд. «Прихованою ціною» ШІ часто є інтеграція та нагляд.
Перевага (яку більшість організацій перебільшує): перетворюючи заощаджений час на реальні гроші, запитайте, чи справді заощаджений час перетворюється на вартість. Економія 10 хвилин на день для 100 людей варта того, лише якщо цей час витрачається на змістовну роботу.
Приклад: інструмент обробки рахунків-фактур коштує 300 000 TL на рік (ліцензія + інтеграція + нагляд), вигода становить 12 000 рахунків-фактур × економія за 15 хвилин × вартість праці = 720 000 TL. ROI = (720 000 − 300 000) / 300 000 = 140%. Але "Чи справді було заощаджено 15 хвилин?" Питання може пом'якшити користь; Ось чому пілотне вимірювання є критичним.
Крок за кроком: підтвердження цінності
1. Виміряйте базову лінію. Запишіть поточний статус за номером перед спробою.
2. Встановіть чіткий показник успіху. Виберіть один або два показники, пов’язані з бізнес-результатом.
3. Сумуйте всі статті витрат чесно. Не забувайте про приховані витрати (інтеграція, нагляд, обслуговування).
4. Виміряйте фактичну вигоду в пілотному проекті. Покладайтеся на вимірювання, а не на припущення; сильніше, якщо є контрольна група.
5. Вирішіть: масштабувати, виправити чи зупинити. Якщо доказів достатньо, збільште; Якщо ні, закрийте його чесно.
три міні-чохла
Випадок 1 — Пілот без базової лінії. Один кол-центр оголосив свого помічника зі штучним інтелектом «дуже успішним», але не виміряв середню тривалість розмови перед початком роботи. У рішенні про масштабування фінансовий директор запитує, «наскільки це покращилося?» запитав він; ніхто не міг відповісти. Проект зупинився на 3 місяці, ретроспективне вимірювання: покращення становило лише 4%, що набагато нижче очікуваного. Якби була базова лінія, це було б помітно рано.
Випадок 2 — Прихована вартість. Одна компанія розрахувала ліцензію на інструмент штучного інтелекту ($200 000 на рік), але не врахувала інтеграцію ($350 000) і постійний моніторинг людини (2 людини на повний робочий день). Проект, який вважався «прибутковим», був збитковим, якщо додати реальну вартість. Після підрахунку всіх елементів область застосування була звужена, а вартість зменшена завдяки автоматизації спостереження.
Випадок 3 — Докази з контрольною групою. Компанія електронної комерції відкрила рекомендації щодо своїх продуктів ШІ для половини користувачів (тестової групи), але не для половини (контрольної групи). Через 6 тижнів сума кошика була на 7% вищою в тестовій групі. Це завершило дебати «ШІ чи пори року»; Завдяки контрольній групі цінність була чітко доведена та стала доступною по всій країні.
Чотири шаблони, які можна копіювати
1) Гіпотеза значення та метрика:
Ваша роль: аналітик цінності бізнесу. Сформулюйте гіпотезу цінності для цієї ініціативи ШІ: який показник ми очікуємо покращити, від якого базового рівня, на скільки? Також напишіть, як і з якою частотою буде вимірюватися метрика. Ініціатива: [текст]
2) Розбивка повної вартості:
Перелічіть точні статті витрат для такої ініціативи штучного інтелекту: ліцензія/використання, інтеграція, підготовка даних, навчання, управління змінами, технічне обслуговування, людський нагляд. Обов’язково виділіть приховані витрати, про які часто забувають. Ініціатива: [текст]
3) Структура розрахунку ROI:
Налаштуйте розрахунок рентабельності інвестицій із такими даними про вигоди та витрати: чиста вигода, загальні витрати та відсоток рентабельності інвестицій. Поставте під сумнів припущення про те, що вигоди «дійсно перетворюються на гроші», і покажіть два оптимістичні/песимістичні сценарії. Дані: [вигода та вартість]
4) Брифінг щодо рішення про масштабування:
Перетворіть наведені нижче результати пілотного проекту в брифінг для правління: базовий рівень, виміряна вигода, загальна вартість, ROI, ключові ризики та рекомендація (масштаб/виправлення/зупинка). Чесно вкажіть, чи є докази вагомими чи слабкими. Результати: [текст]
Слабка підказка / Сильна підказка
Слабкий: «Обчисліть рентабельність інвестицій цього проекту ШІ».
Результат: оптимістична, незаперечна проблема з відсутнім пером; ненадійний для прийняття рішення.
Сильний: «Обчисліть рентабельність інвестицій для автоматизації обробки рахунків-фактур. Вигода: 12 000 рахунків-фактур на рік, заощаджуючи 15 хвилин на рахунок-фактуру, робочі години 250 TL. Вартість: річна ліцензія 200 000 TL, одноразова інтеграція 350 000 TL, безперервний нагляд 1 людини. Покажіть два оптимістичні та песимістичні сценарії, припускаючи, що лише 70% економія часу перетворюється на реальну вартість;
Результат: чесний аналіз, який базується на припущеннях, за сценарієм і з можливістю прийняття рішень.
Поширені помилки
- Не вимірювання базової лінії. Сказати «ми зцілені», не знаючи, що було раніше, неможливо довести.
- Обхід прихованих витрат. Інтеграція, нагляд і обслуговування, як правило, важливіші, ніж ліцензування.
- Переоцінити користь. Не весь заощаджений час перетворюється на цінність; Використовуйте реалістичний коефіцієнт конверсії.
- Не створення контрольної групи. Без контрольної групи залишається незрозумілим, чи покращення походить від штучного інтелекту чи якогось іншого ефекту.
- Зовсім не вимірювання м’якої вигоди. Якщо досвід і якість опущені через те, що їх важко виміряти, значна частина цінності залишається непомітною.
Увага: Штучний інтелект може створити структуру рентабельності інвестицій, але менеджер відповідає за реалістичність цифр і припущень, які він вводить. Красива рентабельність інвестицій, створена з перебільшеним припущенням про користь, вводить інвестиційний комітет в оману та підриває довіру. Завжди перевіряйте джерело цифр.
Підсумовуючи
Стартапи штучного інтелекту часто гинуть не через техніку, а через нездатність довести цінність. Кожна ініціатива повинна мати принаймні один показник, пов’язаний із бізнес-результатом, виміряний порівняно з базовим рівнем. Розраховуючи рентабельність інвестицій, чесно враховуйте всі приховані витрати (інтеграція, нагляд, обслуговування) і не перебільшуйте вигоду; Питання, чи справді заощаджений час перетворюється на цінність. Якщо можливо, доведіть контрольною групою. Якщо докази вагомі, масштабуйте, якщо слабкі, чесно зупиніться. У наступному розділі ми побачимо, як керувати ризиками, які несе в собі вартість кожного підприємства.
Аплікаційне завдання
Виберіть варіант використання ШІ. Перш ніж почати, запишіть базову лінію, яку потрібно виміряти, і показник успіху. 2. Видалити всі статті витрат (включаючи приховані) з шаблоном. Створіть два сценарії рентабельності інвестицій, оптимістичний і песимістичний, за допомогою шаблону 3. Нарешті, «чи переконають ці докази мене в масштабуванні?» Відповідай на питання чесно.
контрольний список
- [ ] Я визначив базовий рівень перед втручанням.
- [ ] Я визначив принаймні один показник, пов’язаний із бізнес-результатом.
- [ ] Я склав усі статті витрат (включаючи приховані).
- [ ] Я пом’якшив припущення щодо вигоди реалістичним коефіцієнтом конверсії.
- [ ] Я розрахував два сценарії, оптимістичний і песимістичний.
- [ ] Я запланував контрольну групу, якщо це можливо.
- [ ] Я чесно оцінив силу доказів для рішення.