Добици:
- Способност дефинисања метрике успеха на основу пословног исхода, мереног у односу на основну линију, за сваку иницијативу
- Способност искреног пребројавања скривених трошкова (интеграција, надзор, одржавање) и израчунавања реалног повраћаја улагања без преувеличавања користи
- Способност да се докаже вредност кроз анализу контролне групе и сценарија и да се одлука о скалирању, корекцији или прекиду заснива на доказима
Најчешћи узрок смрти за улагања у вештачку интелигенцију није технички квар; вредност се не може доказати. Ако пилот „ради одлично“, али нико не може тачно да каже шта доноси, биће угашен при првом смањењу буџета. У овој јединици ћете научити како да израчунате РОИ (Ретурн он Инвестмент) иницијатива вештачке интелигенције, како да мерите пословну вредност помоћу метрике и како да заснивате одлуке о улагању на основу доказа. Циљ је да се одвоје пилоти који се осећају добро од стартапа који производе „доказану вредност“.
Зашто је тешко измерити вредност и зашто је то неопходно?
АИ вредност је понекад директна (смањење посла са 10 сати на 2 сата), понекад индиректна (повећање задовољства купаца). Изазов је учинити индиректну вредност мерљивом. Правило је следеће: не можете управљати и бранити вредност коју не можете измерити. Због тога свака иницијатива мора да има најмање једну нумеричку метрику успеха, а ова метрика мора да се мери пре него што иницијатива почне (ово се зове основна линија; мерење тренутног стања пре побољшања).
Вредност спада у четири главне категорије:
Врста вредности
Пример метрике
тешкоћа мерења
смањење трошкова
Сат/ТЛ по трансакцији
лако
Повећање прихода
Стопа конверзије, количина корпе
средње
смањење ризика
Број грешака/кршења усклађености
средње
Искуство/квалитет
Оцена задовољства, време одговора
Тешко али неопходно
Савет: Пре него што пилот почне, „како ћемо препознати успех?“ Напишите нумерички одговор на питање и измерите тренутно стање (основно). Било која тврдња о „побољшању“ изнесена без основе је отворена за дебату.
Једноставно израчунавање повраћаја улагања
Основна формула: РОИ = (Нето Бенефит − Укупни трошкови) / Укупни трошкови. Али права дисциплина је поштено бројање ствари.
Страна трошкова (коју већина организација потцењује): накнада за лиценцирање/употребу, трошкови интеграције, припрема података, обука, управљање променама, текуће одржавање и људски надзор. „Скривени трошак“ у АИ често је интеграција и надзор.
Страна користи (коју већина организација преувеличава): када претварате уштеду времена у прави новац, питајте да ли се уштеђено време заиста претвара у вредност. Уштеда 10 минута дневно за 100 људи вреди само ако се то време потроши на смислен рад.
Пример: Алат за обраду фактура кошта 300.000 ТЛ годишње (лиценца + интеграција + надзор), корист је 12.000 фактура × уштеда од 15 минута × цена рада = 720.000 ТЛ. РОИ = (720.000 − 300.000) / 300.000 = 140%. Али "Да ли је 15 минута заиста уштеђено?" Питање може ублажити корист; Зато је мерење пилота критично.
Корак по корак: доказивање вредности
1. Измерите основну линију. Забележите тренутни статус бројем пре покушаја.
2. Поставите јасну метрику успеха. Изаберите један или два показатеља који су повезани са пословним исходом.
3. Искрено збројите све ставке трошкова. Не заборавите на скривене трошкове (интеграција, надзор, одржавање).
4. Измерите стварну корист у пилоту. Ослоните се на мерење, а не на нагађање; јачи ако постоји контролна група.
5. Одлучите: скалирајте, поправите или зауставите. Ако су докази довољни, увећајте; Ако не, затворите га искрено.
три мини кофера
Случај 1 — Пилот без основне линије. Један позивни центар је свог АИ асистента прогласио „веома успешним“, али није измерио просечну дужину позива пре почетка. У одлуци о скалирању, финансијски директор пита „колико се то побољшало?“ упитао је; нико није могао да одговори. Пројекат је заустављен на 3 месеца, ретроспективно мерење: побољшање је било само 4%, много мање од очекиваног. Да постоји основна линија, то би се рано видело.
Случај 2 — Скривени трошкови. Једна компанија је израчунала лиценцу за АИ алат (200.000 долара годишње), али није рачунала интеграцију (350.000 долара) и стални људски надзор (2 особе са пуним радним временом). Пројекат, за који се сматрало да је "профитабилан", пословао је са губитком када се додају стварни трошкови. Када су све ставке пребројане, обим је сужен и смањени трошкови аутоматизацијом надзора.
Случај 3 — Докази са контролном групом. Компанија за е-трговину отворила је препоруку за АИ производе за половину корисника (тест група), али не и за половину (контролна група). За 6 недеља, количина корпе је била 7% већа у тест групи. Тиме је окончана дебата о „АИ или годишњим добима“; Захваљујући контролној групи, вредност је јасно доказана и доступна широм земље.
Четири шаблона за копирање
1) Хипотеза и метрика вредности:
Ваша улога: аналитичар пословне вредности. Успоставите хипотезу вредности за ову иницијативу вештачке интелигенције: коју метрику очекујемо да се побољша, у односу на коју основу, за колико? Такође напишите како и на којој фреквенцији ће се мерити метрика. Иницијатива: [текст]
2) Комплетна анализа трошкова:
Наведите тачне ставке трошкова за следећу АИ иницијативу: лиценца/употреба, интеграција, припрема података, обука, управљање променама, одржавање, људски надзор. Обавезно истакните скривене трошкове који се често заборављају. Иницијатива: [текст]
3) Оквир за израчунавање повраћаја улагања:
Подесите прорачун повраћаја улагања са следећим подацима о користима и трошковима: нето користи, укупни трошкови и проценат РОИ. Доведите у питање претпоставку да се користи „стварно претварају у новац“ и покажите два оптимистична/песимистичка сценарија. Подаци: [корист и цена]
4) Брифинг о одлуци о скалирању:
Претворите следеће резултате пилота у брифинг за одлуку одбору: основни ниво, измерена корист, укупни трошак, РОИ, кључни ризици и препорука (скала/поправка/заустављање). Искрено реците да ли су докази јаки или слаби. Резултати: [текст]
Слаби промпт / Јаки промпт
Слабо: „Израчунајте РОИ овог АИ пројекта.“
Резултат: оптимистично, неупитно питање са оловком која недостаје; непоуздан за одлуку.
Снажно: „Израчунајте повраћај улагања за аутоматизацију обраде фактура. Предност: 12.000 фактура годишње, уштеда од 15 минута по фактури, радни сати 250 ТЛ. Трошак: годишња лиценца 200.000 ТЛ, једнократна интеграција 350.000 ТЛ, континуирани сценарио за две особе као оптимистички надзор и само оптимистички надзор. 70% уштеде времена претвара се у стварну вредност напишите за коју ми препоручујете да се одлучим.“
Резултат: Искрена, претпоставка која се доводи у питање, скриптована анализа и доношење одлука.
Уобичајене грешке
- Не мерење основне линије. Рећи „ми смо излечени“ а да не знамо шта се раније догодило не може се доказати.
- Заобилазећи скривене трошкове. Интеграција, надзор и одржавање су генерално већи од лиценцирања.
- Прецените корист. Не претвара се сво уштеђено време у вредност; Користите реалну стопу конверзије.
- Не успостављање контролне групе. Без контролне групе, остаје нејасно да ли побољшање долази од вештачке интелигенције или неког другог ефекта.
- Не мерење меке користи уопште. Ако се искуство и квалитет изоставе јер их је тешко измерити, велики део вредности остаје невидљив.
Пажња: Вештачка интелигенција може да изгради оквир за повраћај улагања, али менаџер је одговоран за реалистичност бројева и претпоставки у које улази. Добар повраћај улагања произведен са претераном претпоставком користи доводи у заблуду инвестициону комисију и подрива поверење. Увек проверите извор бројева.
Укратко
АИ стартапи често не умиру због технике, већ због неуспеха да се докажу вредност. Свака иницијатива треба да има бар једну метрику везану за пословни исход, мерено у односу на основну линију. Приликом израчунавања РОИ, поштено рачунајте све скривене трошкове (интеграција, надзор, одржавање) и не преувеличавајте корист; Поставите питање да ли се уштеђено време заиста претвара у вредност. Ако је могуће, доказати са контролном групом. Ако су докази јаки, размјерите, ако су слаби, поштено престаните. У следећој целини ћемо видети како управљати ризицима које сваки подухват носи са својом вредношћу.
Задатак апликације
Изаберите случај употребе АИ. Пре него што почнете, запишите основну линију коју треба да измерите и метрику успеха. 2. Уклоните све ставке трошкова (укључујући скривене) са шаблоном. Генеришите два сценарија повраћаја улагања, оптимистичан и песимистички, са шаблоном 3. Коначно, „хоће ли ме ови докази убедити да се повећам?“ Одговорите на питање искрено.
контролна листа
- [ ] Дефинисао сам основну линију пре интервенције.
- [ ] Идентификовао сам најмање један показатељ који је повезан са пословним исходом.
- [ ] Сабрао сам све ставке трошкова (укључујући скривене).
- [ ] Ублажио сам претпоставку о користи са реалном стопом конверзије.
- [ ] Израчунао сам два сценарија, оптимистичан и песимистички.
- [ ] Планирао сам контролну групу ако је могуће.
- [ ] Искрено сам проценио снагу доказа за одлуку.