Dobički:
- Sposobnost definiranja metrike uspeha na podlagi poslovnega rezultata, izmerjenega glede na osnovno vrednost, za vsako pobudo
- Sposobnost poštenega štetja skritih stroškov (integracija, nadzor, vzdrževanje) in izračuna realne donosnosti naložbe brez pretiravanja koristi
- Sposobnost dokazati vrednost z analizo kontrolne skupine in scenarijev ter sprejeti odločitev o povečanju, popravku ali prekinitvi na dokazih
Najpogostejši vzrok smrti pri naložbah v umetno inteligenco ni tehnična okvara; vrednosti ni mogoče dokazati. Če pilot "teče odlično", vendar nihče ne more natančno povedati, kaj prinaša, ga bodo zaprli ob prvem zmanjšanju proračuna. V tej enoti se boste naučili, kako izračunati ROI (Return on Investment) pobud za umetno inteligenco, kako izmeriti poslovno vrednost z metrikami in kako odločitve o naložbah utemeljiti na dokazih. Cilj je ločiti "dobre" pilote od zagonskih podjetij, ki ustvarjajo "preverjeno vrednost".
Zakaj je težko izmeriti vrednost in zakaj je to potrebno?
Vrednost umetne inteligence je včasih neposredna (zmanjšanje delovnega časa z 10 ur na 2 uri), včasih posredna (povečanje zadovoljstva strank). Izziv je narediti posredno vrednost merljivo. Pravilo je naslednje: ne morete upravljati in braniti vrednosti, ki je ne morete izmeriti. Zato mora imeti vsaka pobuda vsaj eno številčno metriko uspeha, to metriko pa je treba izmeriti, preden se pobuda začne (to se imenuje izhodišče; merjenje trenutnega stanja pred izboljšanjem).
Vrednost spada v štiri glavne kategorije:
Vrsta vrednosti
Primer meritve
težavnost merjenja
zmanjšanje stroškov
Ura/TL na transakcijo
enostavno
Povečanje prihodkov
Stopnja konverzije, znesek v košarici
srednje
zmanjšanje tveganja
Število napak/kršitev skladnosti
srednje
Izkušnje/kakovost
Ocena zadovoljstva, odzivni čas
Težko, a potrebno
Namig: preden se pilot začne, "kako bomo prepoznali uspeh?" Napišite številčni odgovor na vprašanje in izmerite trenutno stanje (izhodišče). Vsaka trditev o "izboljšanju" brez izhodišča je odprta za razpravo.
Preprost izračun ROI
Osnovna formula: ROI = (neto dobiček − skupni strošek) / skupni strošek. Toda prava disciplina je pošteno štetje predmetov.
Stroškovna stran (ki jo večina organizacij premalo upošteva): pristojbina za licenciranje/uporabo, stroški integracije, priprava podatkov, usposabljanje, upravljanje sprememb, tekoče vzdrževanje in človeški nadzor. »Skrita cena« pri umetni inteligenci je pogosto integracija in nadzor.
Stran koristi (s katero večina organizacij pretirava): pri pretvorbi prihranka časa v pravi denar se vprašajte, ali se prihranek časa dejansko spremeni v vrednost. Prihranek 10 minut na dan za 100 ljudi je vreden le, če se ta čas porabi za smiselno delo.
Primer: orodje za obdelavo računov stane 300.000 TL na leto (licenca + integracija + nadzor), ugodnost je 12.000 računov × 15 min prihranka × stroški dela = 720.000 TL. ROI = (720.000 − 300.000) / 300.000 = 140 %. Ampak "Je bilo 15 minut res prihranjenih?" Vprašanje lahko omili korist; Zato je pilotna meritev kritična.
Korak za korakom: dokazovanje vrednosti
1. Izmerite osnovno črto. Pred poskusom zabeležite trenutno stanje po številki.
2. Postavite jasno merilo uspeha. Izberite eno ali dve metriki, ki sta povezani s poslovnim rezultatom.
3. Pošteno seštejte vse stroške. Ne pozabite na skrite stroške (integracija, nadzor, vzdrževanje).
4. Izmerite dejansko korist v pilotu. Zanašajte se na meritve, ne na ugibanja; močnejši, če obstaja kontrolna skupina.
5. Odločite se: povečajte, popravite ali ustavite. Če so dokazi zadostni, povečajte; Če ne, ga pošteno zapri.
trije mini kovčki
Primer 1 – Pilot brez izhodišča. En klicni center je svojega pomočnika AI razglasil za "zelo uspešnega", vendar pred začetkom ni izmeril povprečne dolžine klica. V odločitvi o povečanju finančni direktor vpraša, "koliko se je izboljšal?" vprašal je; nihče ni mogel odgovoriti. Projekt je bil ustavljen za 3 mesece, retrospektivna meritev: izboljšanje je bilo samo 4 %, veliko nižje od pričakovanega. Če bi obstajala osnovna linija, bi bilo to vidno zgodaj.
2. primer – Skriti stroški. Eno podjetje je izračunalo licenco za orodje AI (200.000 USD na leto), vendar ni upoštevalo integracije (350.000 USD) in stalnega človeškega nadzora (2 osebi s polnim delovnim časom). Projekt, ki je veljal za "dobičkonosnega", je ob prištevanju realnih stroškov posloval z izgubo. Ko so bili vsi elementi prešteti, je bil obseg zožen in stroški zmanjšani z avtomatizacijo nadzora.
Primer 3 – Dokazi s kontrolno skupino. Podjetje za e-trgovino je svoje priporočilo za izdelek AI odprlo polovici uporabnikov (testna skupina), ne pa polovici (kontrolna skupina). V 6 tednih je bil znesek košarice v testni skupini višji za 7 %. S tem se je končala razprava o "AI ali letni časi"; Zahvaljujoč kontrolni skupini je bila vrednost jasno dokazana in na voljo po vsej državi.
Štiri predloge za kopiranje
1) Hipoteza o vrednosti in metrika:
Vaša vloga: analitik poslovne vrednosti. Vzpostavite hipotezo o vrednosti za to pobudo AI: katero metriko pričakujemo, da se bo izboljšala, od katerega izhodišča, za koliko? Napišite tudi, kako in s kakšno frekvenco se bo metrika merila. Pobuda: [besedilo]
2) Celotna razčlenitev stroškov:
Navedite natančne postavke stroškov za naslednjo pobudo AI: licenca/uporaba, integracija, priprava podatkov, usposabljanje, upravljanje sprememb, vzdrževanje, človeški nadzor. Poudarite skrite stroške, ki so pogosto pozabljeni. Pobuda: [besedilo]
3) Okvir za izračun ROI:
Nastavite izračun ROI z naslednjimi podatki o koristih in stroških: neto korist, skupni stroški in odstotek ROI. Podvomite o predpostavki, da se koristi »res pretvorijo v denar«, in pokažite dva optimistična/pesimistična scenarija. Podatki: [korist in stroški]
4) Poročilo o odločitvi o skaliranju:
Pretvorite naslednje pilotne rezultate v obvestilo o odločitvi za odbor: izhodišče, izmerjena korist, skupni stroški, donosnost naložbe, ključna tveganja in priporočilo (lestvica/popravek/ustavitev). Iskreno povejte, ali so dokazi močni ali šibki. Rezultati: [besedilo]
Šibek poziv/močan poziv
Šibko: »Izračunajte ROI tega projekta AI.«
Rezultat: optimistično, nesporno vprašanje z manjkajočim peresom; nezanesljiv za odločitev.
Strong: "Izračunajte donosnost naložbe za avtomatizacijo obdelave računov. Prednost: 12.000 računov na leto, prihranek 15 minut na račun, delovne ure 250 TL. Stroški: letna licenca 200.000 TL, enkratna integracija 350.000 TL, stalen nadzor 1 osebe. Prikažite dva optimistična in pesimistična scenarija, ob predpostavki, da le 70% prihranek časa se spremeni v realno vrednost; napišite, za katerega mi priporočate."
Rezultat: Iskrena analiza, ki temelji na predpostavkah, napisana in odločljiva.
Pogoste napake
- Ni merjenja osnovne črte. Reči "smo ozdravljeni", ne da bi vedeli, kaj se je zgodilo prej, ni mogoče dokazati.
- Obhod skritih stroškov. Integracija, nadzor in vzdrževanje so na splošno večji od licenciranja.
- Precenite korist. Ves prihranjeni čas se ne spremeni v vrednost; Uporabite realno stopnjo konverzije.
- Brez vzpostavitve kontrolne skupine. Brez kontrolne skupine ostaja nejasno, ali je izboljšanje posledica umetne inteligence ali kakšnega drugega učinka.
- Sploh ne meri mehke koristi. Če izkušnje in kakovost izpustimo, ker ju je težko izmeriti, velik del vrednosti ostane neviden.
Pozor: Umetna inteligenca lahko zgradi okvir ROI, vendar je upravitelj odgovoren za realističnost številk in predpostavk, ki jih vnese. Lepa donosnost naložbe, ustvarjena s pretirano predpostavko o koristih, zavaja investicijski odbor in spodkopava zaupanje. Vedno preverite vir številk.
Če povzamem
Zagonska podjetja z umetno inteligenco pogosto ne umrejo zaradi tehnike, ampak zaradi neuspeha pri dokazovanju vrednosti. Vsaka pobuda mora imeti vsaj eno metriko, povezano s poslovnim izidom, merjeno glede na osnovno vrednost. Pri izračunu donosnosti naložbe pošteno preštejte vse skrite stroške (integracija, nadzor, vzdrževanje) in ne pretiravajte s koristmi; Vprašajte se, ali se prihranjeni čas dejansko spremeni v vrednost. Če je mogoče, dokažite s kontrolno skupino. Če so dokazi močni, obseg, če so šibki, se pošteno ustavite. V naslednji enoti bomo videli, kako obvladovati tveganja, ki jih vsak podvig nosi skupaj s svojo vrednostjo.
Aplikacijska naloga
Izberite primer uporabe AI. Preden začnete, si zapišite izhodišče, ki ga morate izmeriti, in meritev uspeha. 2. Odstranite vse stroškovne postavke (tudi skrite) s predlogo. Ustvarite dva scenarija donosnosti naložbe, optimističnega in pesimističnega, s predlogo 3. Nazadnje, "me bodo ti dokazi prepričali v povečanje?" Iskreno odgovorite na vprašanje.
kontrolni seznam
- [ ] Določil sem izhodišče pred intervencijo.
- [ ] Identificiral sem vsaj eno meritev, povezano s poslovnim izidom.
- [ ] Seštel sem vse stroškovne postavke (tudi skrite).
- [ ] Predpostavko o koristi sem ublažil z realno stopnjo konverzije.
- [ ] Izračunal sem dva scenarija, optimističnega in pesimističnega.
- [ ] Če je bilo mogoče, sem načrtoval kontrolno skupino.
- [ ] Iskreno sem ocenil moč dokazov za odločitev.