Добивки:
- Способност да се дефинира метрика за успех врз основа на деловниот исход, мерено според основната линија, за секоја иницијатива
- Способност искрено да се бројат скриените трошоци (интеграција, надзор, одржување) и да се пресмета реален ROI без да се преувеличува користа
- Способност да се докаже вредноста преку контролна група и анализа на сценарија и да се заснова одлуката за скала, корекција или прекинување на докази
Најчеста причина за смрт за инвестиции во вештачка интелигенција не е технички дефект; вредноста не може да се докаже. Ако пилотот „трча одлично“, но никој не може да каже што точно носи, тој ќе биде затворен при првото намалување на буџетот. Во оваа единица, ќе научите како да го пресметате ROI (Поврат на инвестицијата) на иницијативите за вештачка интелигенција, како да ја измерите деловната вредност со метрика и како да ги засновате одлуките за инвестирање на докази. Целта е да се одделат пилотите кои се чувствуваат добро од стартапите кои произведуваат „докажана вредност“.
Зошто е тешко да се измери вредноста и зошто е тоа потребно?
Вредноста на вештачката интелигенција понекогаш е директна (намалување на работата од 10 часа на 2 часа), понекогаш индиректна (зголемување на задоволството на клиентите). Предизвикот е да се направи индиректната вредност мерлива. Правилото е ова: не можете да управувате и да ја браните вредноста што не можете да ја измерите. Затоа секоја иницијатива мора да има барем една нумеричка метрика за успех и оваа метрика мора да се мери пред да започне иницијативата (ова се нарекува основна линија; мерење на моменталната состојба пред подобрување).
Вредноста спаѓа во четири главни категории:
Тип на вредност
Пример метрика
тешкотија на мерење
намалување на трошоците
Час/TL по трансакција
лесно
Зголемување на приходите
Стапка на конверзија, износ на количка
средно
намалување на ризикот
Број на грешки/прекршувања на усогласеноста
средно
Искуство/квалитет
Резултат на задоволство, време на одговор
Тешко, но неопходно
Совет: Пред да започне пилотот, "како ќе го препознаеме успехот?" Напишете нумерички одговор на прашањето и измерете ја моменталната состојба (основна линија). Секое тврдење за „подобрување“ направено без основна линија е отворено за дебата.
Едноставна пресметка на ROI
Основната формула: ROI = (Net Benefit − Total Cost) / Total Cost. Но, вистинската дисциплина е чесно броење на предметите.
Страна на трошоците (која повеќето организации ја сметаат за помалку): такса за лиценцирање/користење, трошоци за интеграција, подготовка на податоци, обука, управување со промени, тековно одржување и човечки надзор. „Скриената цена“ во вештачката интелигенција често е интеграција и надзор.
Придобивката (која повеќето организации ја преувеличуваат): кога заштедата на време ги претворате во вистински пари, прашајте дали заштеденото време навистина се претвора во вредност. Заштеда на 10 минути дневно за 100 луѓе вреди само ако тоа време се потроши на значајна работа.
Пример: Алатката за обработка на фактури чини 300.000 TL годишно (лиценца + интеграција + надзор), придобивката е 12.000 фактури × 15 мин заштеда × трошоци за работна сила = 720.000 TL. ROI = (720.000 - 300.000) / 300.000 = 140%. Но, „Дали навистина беа заштедени 15 минути? Прашањето може да ја ублажи користа; Затоа пилот мерењето е критично.
Чекор по чекор: докажување вредност
1. Измерете ја основната линија. Запишете го моменталниот статус по број пред да се обидете.
2. Поставете јасна метрика за успех. Изберете една или две метрика кои се поврзани со деловниот исход.
3. Соберете ги сите ставки за трошоци искрено. Не заборавајте на скриените трошоци (интеграција, надзор, одржување).
4. Измерете ја вистинската корист во пилот. Потпрете се на мерење, а не на нагаѓања; посилни ако има контролна група.
5. Одлучете: размерете, поправете или застанете. Ако доказите се доволни, зголемете; Ако не, затворете го искрено.
три мини футроли
Случај 1 - Пилот без основна линија. Еден центар за повици го прогласи својот асистент со вештачка интелигенција за „многу успешен“, но не ја измери просечната должина на повикот пред да започне. Во одлуката за скалирање, финансискиот директор прашува „колку е подобрено? праша тој; никој не можеше да одговори. Проектот запре 3 месеци, ретроспективно мерење: подобрувањето беше само 4%, многу пониско од очекуваното. Ако постоеше основна линија, ова ќе се види рано.
Случај 2 - Скриени трошоци. Една компанија ја пресмета лиценцата за алатка за вештачка интелигенција (200.000 долари годишно), но не ја брои интеграцијата (350.000 долари) и постојаното следење на луѓето (2 лица со полно работно време). Проектот, за кој се сметаше дека е „профитабилен“, работеше со загуба кога се додаде реалниот трошок. Откако ќе се избројат сите ставки, опсегот беше стеснет и цената беше намалена со автоматизација на надзорот.
Случај 3 - Доказ со контролна група. Компанија за е-трговија ја отвори својата препорака за производи со вештачка интелигенција на половина од корисниците (тест група), но не и на половина (контролна група). За 6 недели, износот на кошницата беше 7% поголем во тест групата. Со ова заврши дебатата „Ви или сезони“; Благодарение на контролната група, вредноста беше јасно докажана и достапна низ целата земја.
Четири шаблони за копирање
1) Вредносна хипотеза и метрика:
Вашата улога: аналитичар на деловни вредности. Воспоставете вредносна хипотеза за оваа иницијатива за вештачка интелигенција: која метрика очекуваме да ја подобриме, од која основна линија, за колку? Напишете и како и на која фреквенција ќе се мери метриката. Иницијатива: [текст]
2) Целосна анализа на трошоците:
Наведете ги точните ставки за трошоците за следната иницијатива за вештачка интелигенција: лиценца/употреба, интеграција, подготовка на податоци, обука, управување со промени, одржување, човечки надзор. Погрижете се да ги нагласите скриените трошоци кои често се забораваат. Иницијатива: [текст]
3) Рамка за пресметка на рентабилност:
Поставете пресметка на рентабилност со следните податоци за придобивките и трошоците: нето корист, вкупни трошоци и процент на рентабилност. Преиспитајте ја претпоставката дека придобивките „навистина се претвораат во пари“ и прикажете две оптимистички/песимистички сценарија. Податоци: [придобивка и цена]
4) Брифинг за одлуката за скалирање:
Претворете ги следните пилот-резултати во брифинг за одлуки до одборот: основна линија, измерена корист, вкупен трошок, рентабилност, клучни ризици и препораки (скала/поправи/стоп). Искрено наведете дали доказите се силни или слаби. Резултати: [текст]
Слаб промпт / Силен промпт
Слаб: „Пресметајте го рентабилноста на овој проект за вештачка интелигенција“.
Резултат: Оптимистичко, несомнено прашање со пенкало што недостасува; неверодостојни за одлука.
Силно: "Пресметајте ROI за автоматизација на обработка на фактури. Придобивка: 12.000 фактури годишно, заштеда на 15 минути по фактура, работни часови 250 TL. Цена: годишна лиценца 200.000 TL, еднократна интеграција 350.000 optimistics и континуирана персонистична и суперсимистичка TL. под претпоставка дека само 70% од заштедите на време се претвораат во вистинска вредност, напишете за која ми препорачувате да одлучам.
Резултат: Искрена, испитувана претпоставка, скрипта и решлива анализа.
Вообичаени грешки
- Не мерење на основната линија. Да се каже „исцелени сме“ без да се знае што се случило претходно не може да се докаже.
- Заобиколувајќи ги скриените трошоци. Интеграцијата, надзорот и одржувањето се генерално поголеми од лиценцирањето.
- Прецени ја користа. Не се претвора целото зачувано време во вредност; Користете реална стапка на конверзија.
- Не воспоставување контролна група. Без контролна група, останува нејасно дали подобрувањето доаѓа од вештачката интелигенција или некој друг ефект.
- Воопшто не се мери меката придобивка. Ако искуството и квалитетот се испуштени затоа што тешко се мерат, голем дел од вредноста останува невидлив.
Внимание: Вештачката интелигенција може да изгради рамка за рентабилност, но менаџерот е одговорен за реалноста на бројките и претпоставките што ги внесува. Добар изглед на рентабилност произведен со претерана претпоставка за корист го доведува во заблуда инвестицискиот комитет и ја поткопува довербата. Секогаш проверувајте го изворот на броевите.
Сумирано
Стартапите со вештачка интелигенција често умираат не поради техниката, туку поради неуспехот да докажат вредност. Секоја иницијатива треба да има барем една метрика поврзана со деловниот исход, мерена според основната линија. Кога пресметувате рентабилност, искрено сметајте ги сите скриени трошоци (интеграција, надзор, одржување) и не преувеличувајте ја користа; Прашање дали заштеденото време всушност се претвора во вредност. Ако е можно, докажете со контролна група. Ако доказите се силни, размерете, ако слабите, искрено престанете. Во следната единица, ќе видиме како да управуваме со ризиците што ги носи секој потфат заедно со неговата вредност.
Задача за апликација
Изберете случај за употреба со вештачка интелигенција. Пред да започнете, запишете ја основната линија што треба да ја измерите и метриката за успех. 2. Отстранете ги сите ставки за трошоци (вклучувајќи ги и скриените) со шаблонот. Генерирајте две сценарија за рентабилност, оптимистичко и песимистичко, со шаблон 3. Конечно, „дали овој доказ ќе ме убеди да скалам?“ Одговорете на прашањето искрено.
листа за проверка
- [ ] Ја дефинирав основната линија за прединтервенција.
- [ ] Идентификував барем една метрика поврзана со деловниот исход.
- [ ] Ги собрав сите ставки за трошоци (вклучувајќи ги и скриените).
- [ ] Ја намалив претпоставката за корист со реална стапка на конверзија.
- [ ] Пресметав две сценарија, оптимистичко и песимистичко.
- [ ] Планирав контролна група ако е можно.
- [ ] Искрено ја проценив силата на доказите за одлуката.