zisky:
- Schopnosť definovať metriku úspechu na základe obchodného výsledku, meraného voči základnej línii, pre každú iniciatívu
- Schopnosť poctivo spočítať skryté náklady (integrácia, dohľad, údržba) a vypočítať realistickú návratnosť investícií bez preháňania prínosu
- Schopnosť dokázať hodnotu prostredníctvom analýzy kontrolnej skupiny a scenára a založiť rozhodnutie o škálovaní, oprave alebo prerušení na dôkazoch
Najčastejšou príčinou smrti investícií do AI nie je technické zlyhanie; hodnota sa nedá dokázať. Ak pilotný projekt „funguje skvele“, ale nikto nevie presne povedať, čo prináša, pri prvom znížení rozpočtu sa vypne. V tejto lekcii sa naučíte, ako vypočítať ROI (návratnosť investícií) iniciatív umelej inteligencie, ako merať hodnotu podnikania pomocou metrík a ako zakladať investičné rozhodnutia na dôkazoch. Cieľom je oddeliť pilotov „dobrý pocit“ od startupov, ktoré produkujú „overenú hodnotu“.
Prečo je ťažké merať hodnotu a prečo je to potrebné?
Hodnota AI je niekedy priama (skrátenie úlohy z 10 hodín na 2 hodiny), niekedy nepriama (zvyšuje spokojnosť zákazníkov). Výzvou je urobiť nepriamu hodnotu merateľnou. Pravidlo je toto: nemôžete riadiť a brániť hodnotu, ktorú nemôžete merať. Preto musí mať každá iniciatíva aspoň jednu číselnú metriku úspešnosti a táto metrika sa musí merať pred začatím iniciatívy (toto sa nazýva základná línia; meranie súčasného stavu pred zlepšením).
Hodnota spadá do štyroch hlavných kategórií:
Typ hodnoty
Príklad metriky
obtiažnosť merania
zníženie nákladov
Hodina/TL na transakciu
ľahké
Zvýšenie príjmov
Konverzný pomer, množstvo košíka
stredná
zníženie rizika
Počet chýb/porušení súladu
stredná
Skúsenosti/kvalita
Skóre spokojnosti, čas odozvy
Ťažké, ale nevyhnutné
Tip: Pred spustením pilotného projektu „ako spoznáme úspech?“ Napíšte číselnú odpoveď na otázku a zmerajte aktuálny stav (základňu). Akékoľvek tvrdenie o „zlepšení“ bez základnej línie je predmetom diskusie.
Jednoduchý výpočet ROI
Základný vzorec: ROI = (Čistý zisk − Celkové náklady) / Celkové náklady. Ale skutočná disciplína je poctivé počítanie položiek.
Strana nákladov (ktorú väčšina organizácií podceňuje): licenčný poplatok/poplatok za používanie, náklady na integráciu, prípravu údajov, školenie, riadenie zmien, priebežnú údržbu a ľudský dohľad. „Skrytými nákladmi“ v AI je často integrácia a dohľad.
Strana výhod (ktorú väčšina organizácií preháňa): pri premene úspor času na skutočné peniaze sa opýtajte, či sa ušetrený čas skutočne premení na hodnotu. Úspora 10 minút denne pre 100 ľudí sa oplatí len vtedy, ak sa tento čas venuje zmysluplnej práci.
Príklad: Nástroj na spracovanie faktúr stojí 300 000 TL ročne (licencia + integrácia + dohľad), prínosom je 12 000 faktúr × úspora 15 minút × mzdové náklady = 720 000 TL. NI = (720 000 − 300 000) / 300 000 = 140 %. Ale "Naozaj bolo ušetrených 15 minút?" Otázka môže zmierniť prospech; Preto je pilotné meranie kritické.
Krok za krokom: preukazovanie hodnoty
1. Zmerajte základnú čiaru. Pred pokusom si zaznamenajte aktuálny stav podľa čísla.
2. Nastavte jasnú metriku úspechu. Vyberte jednu alebo dve metriky, ktoré sú spojené s obchodným výsledkom.
3. Poctivo zrátajte všetky nákladové položky. Nezabudnite na skryté náklady (integrácia, dohľad, údržba).
4. Zmerajte skutočný prínos v pilotnom projekte. Spoľahnite sa na meranie, nie na dohady; silnejšie, ak existuje kontrolná skupina.
5. Rozhodnite sa: mierka, oprava alebo zastavenie. Ak sú dôkazy dostatočné, zväčšite; Ak nie, poctivo ho zatvorte.
tri mini prípady
Prípad 1 – Pilotný projekt bez základnej línie. Jedno call centrum vyhlásilo svojho asistenta AI za „veľmi úspešného“, ale pred spustením nemeralo priemernú dĺžku hovoru. V rozhodnutí o škálovaní sa finančný riaditeľ pýta: „O koľko sa to zlepšilo? spýtal sa; nikto nevedel odpovedať. Projekt sa zastavil na 3 mesiace, retrospektívne meranie: zlepšenie bolo len 4 %, čo je oveľa menej, ako sa očakávalo. Ak by existovala základná línia, bolo by to vidieť skoro.
Prípad 2 – Skryté náklady. Jedna spoločnosť vypočítala licenciu na nástroj AI (200 000 USD ročne), ale nepočítala integráciu (350 000 USD) a neustále sledovanie ľudí (2 ľudia na plný úväzok). Projekt, ktorý bol považovaný za „ziskový“, fungoval so stratou, keď sa pripočítali skutočné náklady. Po spočítaní všetkých položiek sa rozsah zúžil a náklady sa znížili pomocou automatizácie sledovania.
Prípad 3 – Dôkaz s kontrolnou skupinou. Spoločnosť elektronického obchodu otvorila odporúčanie produktu AI polovici používateľov (testovacia skupina), ale nie polovici (kontrolná skupina). Za 6 týždňov bola suma v košíku v testovacej skupine o 7 % vyššia. Tým sa debata o „AI alebo ročných obdobiach“ skončila; Vďaka kontrolnej skupine bola hodnota jednoznačne preukázaná a sprístupnená v celej krajine.
Štyri kopírovateľné šablóny
1) Hypotéza hodnoty a metrika:
Vaša úloha: analytik obchodnej hodnoty. Stanovte si hypotézu hodnoty pre túto iniciatívu AI: akú metriku očakávame zlepšenie, od akej základnej línie a o koľko? Napíšte tiež, ako a s akou frekvenciou sa bude metrika merať. Iniciatíva: [text]
2) Úplný rozpis nákladov:
Uveďte presné nákladové položky pre nasledujúcu iniciatívu AI: licencia/používanie, integrácia, príprava údajov, školenie, riadenie zmien, údržba, ľudský dohľad. Nezabudnite zdôrazniť skryté náklady, na ktoré sa často zabúda. Iniciatíva: [text]
3) Rámec výpočtu návratnosti investícií:
Nastavte výpočet ROI s nasledujúcimi údajmi o prínosoch a nákladoch: čistý prínos, celkové náklady a percento ROI. Spochybnite predpoklad, že výhody sa „naozaj premietajú do peňazí“ a ukážte dva optimistické/pesimistické scenáre. Údaje: [výhody a náklady]
4) Inštruktáž o rozhodovaní o mierke:
Preveďte nasledujúce pilotné výsledky na brífing s rozhodnutiami predstavenstvu: základný stav, nameraný prínos, celkové náklady, návratnosť investícií, kľúčové riziká a odporúčanie (rozsah/oprava/zastavenie). Úprimne uveďte, či sú dôkazy silné alebo slabé. Výsledky: [text]
Slabá výzva / Silná výzva
Slabé: „Vypočítajte návratnosť investícií tohto projektu AI.“
Výsledok: Optimistický, nespochybniteľný problém s chýbajúcim perom; nespoľahlivý na rozhodnutie.
Strong: "Vypočítajte návratnosť investícií pre automatizáciu spracovania faktúr. Výhoda: 12 000 faktúr ročne, úspora 15 minút na faktúru, pracovný čas 250 TL. Cena: ročná licencia 200 000 TL, jednorazová integrácia 350 000 TL, nepretržitý dohľad 1 osoby. Ukážte dva optimistické a pesimistické scenáre, ktoré premenia iba jednu hodnotu času na úspory70, ako píše odporúčaš mi, aby som sa rozhodol."
Výsledok: Úprimná, predpokladmi spochybňovaná, scenáristická a rozhodovateľná analýza.
Časté chyby
- Nemeria sa základná čiara. Povedať „sme uzdravení“ bez toho, aby sme vedeli, čo sa stalo predtým, nemožno dokázať.
- Obchádzanie skrytých nákladov. Integrácia, dohľad a údržba sú vo všeobecnosti väčšie ako udeľovanie licencií.
- Preceňujte prínos. Nie všetok ušetrený čas sa zmení na hodnotu; Použite realistický konverzný pomer.
- Nevytváranie kontrolnej skupiny. Bez kontrolnej skupiny zostáva nejasné, či zlepšenie pochádza z umelej inteligencie alebo iného efektu.
- Vôbec sa nemeria mäkký prínos. Ak sa vynechajú skúsenosti a kvalita, pretože sa ťažko merajú, veľká časť hodnoty zostáva neviditeľná.
Pozor: Umelá inteligencia môže vybudovať rámec ROI, ale manažér je zodpovedný za realistickosť čísel a predpokladov, ktoré zadáva. Dobre vyzerajúca návratnosť investícií vytvorená s prehnaným predpokladom prínosu zavádza investičný výbor a podkopáva dôveru. Vždy si overte zdroj čísel.
V súhrne
Startupy s umelou inteligenciou často nezomrú kvôli technike, ale kvôli neschopnosti dokázať hodnotu. Každá iniciatíva by mala mať aspoň jednu metriku viazanú na obchodný výsledok, meranú voči základnej línii. Pri výpočte ROI si poctivo spočítajte všetky skryté náklady (integrácia, dohľad, údržba) a nepreháňajte prínos; Otázka, či sa ušetrený čas skutočne premení na hodnotu. Ak je to možné, dokážte s kontrolnou skupinou. Ak sú dôkazy silné, mierka, ak slabá, úprimne zastavte. V ďalšej časti uvidíme, ako riadiť riziká, ktoré každý podnik nesie spolu s jeho hodnotou.
Aplikačná úloha
Vyberte prípad použitia AI. Skôr ako začnete, zapíšte si základnú líniu, ktorú potrebujete merať, a metriku úspechu. 2. Odstráňte všetky nákladové položky (vrátane skrytých) pomocou šablóny. Vygenerujte dva scenáre návratnosti investícií, optimistický a pesimistický, pomocou šablóny 3. Nakoniec, „presvedčia ma tieto dôkazy o škálovaní?“ Úprimne odpovedzte na otázku.
kontrolný zoznam
- [ ] Definoval som základnú líniu prevencie.
- [ ] Identifikoval som aspoň jednu metriku spojenú s obchodným výsledkom.
- [ ] Sčítal som všetky nákladové položky (vrátane skrytých).
- [ ] Predpoklad výhod som zmiernil realistickým konverzným pomerom.
- [ ] Vypočítal som dva scenáre, optimistický a pesimistický.
- [ ] Plánoval som kontrolnú skupinu, ak to bolo možné.
- [ ] Poctivo som vyhodnotil silu dôkazov pre rozhodnutie.