Ieguvumi:
- Spēja definēt katras iniciatīvas panākumu metriku, pamatojoties uz biznesa iznākumu, ko mēra ar bāzes līniju
- Spēja godīgi uzskaitīt slēptās izmaksas (integrācija, uzraudzība, uzturēšana) un aprēķināt reālu IA, nepārspīlējot ieguvumu
- Spēja pierādīt vērtību, izmantojot kontroles grupu un scenāriju analīzi, un pamatot lēmumu par mērogošanu, labošanu vai pārtraukšanu uz pierādījumiem
Visbiežākais MI ieguldījumu nāves cēlonis nav tehniska kļūme; vērtību nevar pierādīt. Ja pilots "darbojas lieliski", bet neviens nevar precīzi pateikt, ko tas ienes, tas tiks slēgts pie pirmā budžeta samazinājuma. Šajā nodaļā jūs uzzināsit, kā aprēķināt mākslīgā intelekta iniciatīvu ROI (Investīciju atdevi), kā izmērīt biznesa vērtību ar metriku un kā balstīt ieguldījumu lēmumus uz pierādījumiem. Mērķis ir nodalīt “labas pašsajūtas” pilotus no jaunizveidotiem uzņēmumiem, kas rada “pierādītu vērtību”.
Kāpēc ir grūti izmērīt vērtību un kāpēc tas ir nepieciešams?
AI vērtība dažreiz ir tieša (samazina darbu no 10 stundām līdz 2 stundām), dažreiz netieša (palielina klientu apmierinātību). Izaicinājums ir padarīt netiešo vērtību izmērāmu. Noteikums ir šāds: jūs nevarat pārvaldīt un aizstāvēt vērtību, kuru nevarat izmērīt. Tāpēc katrai iniciatīvai ir jābūt vismaz vienam skaitliskam panākumu rādītājam, un šī metrika ir jāmēra pirms iniciatīvas sākuma (to sauc par bāzes līniju; pašreizējā stāvokļa mērījums pirms uzlabošanas).
Vērtība iedalās četrās galvenajās kategorijās:
Vērtības veids
Metrikas piemērs
mērīšanas grūtības
izmaksu samazināšana
Stunda/TL par darījumu
viegli
Ieņēmumu palielināšana
Reklāmguvuma līmenis, groza summa
vidējs
riska samazināšana
Kļūdu/atbilstības pārkāpumu skaits
vidējs
Pieredze/kvalitāte
Apmierinātības rādītājs, atbildes laiks
Grūti, bet nepieciešams
Padoms. Pirms pilota uzsākšanas uzdodiet jautājumu "kā mēs atpazīsim panākumus?" Uzrakstiet skaitlisku atbildi uz jautājumu un izmēriet pašreizējo stāvokli (bāzes līmeni). Jebkurš "uzlabošanas" apgalvojums, kas izteikts bez bāzes līnijas, ir atvērts debatēm.
Vienkāršs ROI aprēķins
Pamatformula: ROI = (tīrais ieguvums – kopējās izmaksas) / kopējās izmaksas. Bet īsta disciplīna ir godīga priekšmetu skaitīšana.
Izmaksu puse (ko lielākā daļa organizāciju neņem vērā): licencēšanas/lietošanas maksa, integrācijas izmaksas, datu sagatavošana, apmācība, izmaiņu pārvaldība, pastāvīga apkope un cilvēku uzraudzība. AI “slēptās izmaksas” bieži vien ir integrācija un pārraudzība.
Ieguvumu puse (ko lielākā daļa organizāciju pārspīlē): pārvēršot laika ietaupījumu reālā naudā, jautājiet, vai ietaupītais laiks patiešām pārvēršas vērtībā. Ietaupīt 10 minūtes dienā 100 cilvēkiem ir tā vērts tikai tad, ja šis laiks tiek veltīts jēgpilnam darbam.
Piemērs: Rēķinu apstrādes rīks maksā 300 000 TL gadā (licence + integrācija + uzraudzība), ieguvums ir 12 000 rēķinu × 15 min ietaupījums × darbaspēka izmaksas = 720 000 TL. IA = (720 000–300 000) / 300 000 = 140%. Bet "Vai tiešām 15 minūtes tika ietaupītas?" Jautājums var mīkstināt labumu; Tāpēc pilota mērījumi ir ļoti svarīgi.
Soli pa solim: vērtības pierādīšana
1. Izmēriet bāzes līniju. Pirms mēģināt reģistrēt pašreizējo statusu pēc numura.
2. Iestatiet skaidru veiksmes rādītāju. Izvēlieties vienu vai divus rādītājus, kas ir saistīti ar uzņēmējdarbības rezultātu.
3. Godīgi saskaitiet visas izmaksu pozīcijas. Neaizmirstiet par slēptajām izmaksām (integrācija, uzraudzība, uzturēšana).
4. Izmēriet faktisko ieguvumu pilotā. Paļaujieties uz mērījumiem, nevis minējumiem; spēcīgāka, ja ir kontroles grupa.
5. Izlemiet: mērogot, salabot vai apturēt. Ja pierādījumi ir pietiekami, palieliniet; Ja nē, aizveriet to godīgi.
trīs mini futrāļi
1. gadījums — izmēģinājums bez bāzes līnijas. Viens zvanu centrs paziņoja, ka AI palīgs ir “ļoti veiksmīgs”, taču pirms sākuma netika mērīts vidējais zvana ilgums. Mērogošanas lēmumā finanšu direktors jautā: "cik daudz tas ir uzlabojies?" viņš jautāja; neviens nevarēja atbildēt. Projekts apstājās uz 3 mēnešiem, retrospektīvs mērījums: uzlabojums bija tikai 4%, daudz mazāks nekā gaidīts. Ja būtu bāzes līnija, tas būtu redzams agri.
2. gadījums — slēptās izmaksas. Viens uzņēmums aprēķināja AI rīka licenci (200 000 USD gadā), bet neņēma vērā integrāciju (350 000 USD) un pastāvīgu cilvēku uzraudzību (2 pilnas slodzes cilvēki). Projekts, kas tika uzskatīts par "rentablu", darbojās ar zaudējumiem, kad tika pieskaitītas reālās izmaksas. Kad visas preces bija saskaitītas, darbības joma tika sašaurināta un izmaksas tika samazinātas, izmantojot uzraudzības automatizāciju.
3. gadījums — pierādījumi ar kontroles grupu. E-komercijas uzņēmums atvēra savu AI produkta ieteikumu pusei lietotāju (testa grupa), bet ne pusei (kontroles grupa). 6 nedēļu laikā testa grupā groza apjoms bija par 7% lielāks. Ar to beidzās debates par "AI vai gadalaikiem"; Pateicoties kontroles grupai, vērtība tika skaidri pierādīta un pieejama visā valstī.
Četras kopējamas veidnes
1) Vērtības hipotēze un metrika:
Jūsu loma: biznesa vērtību analītiķis. Izveidojiet vērtības hipotēzi šai AI iniciatīvai: kādu rādītāju mēs ceram uzlabot, no kāda bāzes līmeņa, par cik? Uzrakstiet arī, kā un ar kādu biežumu metrika tiks mērīta. Iniciatīva: [teksts]
2) Pilns izmaksu sadalījums:
Norādiet precīzas izmaksu pozīcijas šādai AI iniciatīvai: licence/lietošana, integrācija, datu sagatavošana, apmācība, izmaiņu pārvaldība, uzturēšana, cilvēku uzraudzība. Noteikti izceliet slēptās izmaksas, kuras bieži tiek aizmirstas. Iniciatīva: [teksts]
3) IA aprēķina sistēma:
Iestatiet IA aprēķinu, izmantojot šādus ieguvumu un izmaksu datus: neto ieguvums, kopējās izmaksas un IA procentuālā daļa. Apšaubiet pieņēmumu, ka ieguvumi “tiešām pārvēršas naudā”, un parādiet divus optimistiskus/pesimistiskus scenārijus. Dati: [ieguvums un izmaksas]
4) Mērogošanas lēmuma instruktāža:
Pārvērtiet šādus izmēģinājuma rezultātus par lēmumu instruktāžu padomei: bāzes līnija, izmērītais ieguvums, kopējās izmaksas, IA, galvenie riski un ieteikums (mērogošana/labošana/apturēšana). Godīgi norādiet, vai pierādījumi ir spēcīgi vai vāji. Rezultāti: [teksts]
Vāja uzvedne / spēcīga uzvedne
Vāji: "Aprēķiniet šī AI projekta IA."
Rezultāts: optimistisks, neapšaubāms jautājums ar trūkstošu pildspalvu; neuzticams lēmuma pieņemšanai.
Spēcīgi: "Aprēķiniet ROI rēķinu apstrādes automatizācijai. Ieguvums: 12 000 rēķinu gadā, ietaupot 15 minūtes vienam rēķinam, darba stundas 250 TL. Izmaksas: gada licence 200 000 TL, vienreizēja integrācija 350 000 TL, nepārtraukta 1 personas uzraudzība, tikai 1 persona optimistiska uzraudzība. 70% laika ietaupījumu pārvēršas par reālu vērtību, uzrakstiet, kuru jūs man ieteiktu izvēlēties.
Rezultāts: godīga, uz pieņēmumiem balstīta, skripta un izlēmīga analīze.
Biežas kļūdas
- Nemērot bāzes līniju. Saka "mēs esam dziedināti", nezinot, kas notika iepriekš, nevar pierādīt.
- Apejot slēptās izmaksas. Integrācija, pārraudzība un uzturēšana parasti ir svarīgāki par licencēšanu.
- Pārvērtējiet ieguvumu. Ne viss ietaupītais laiks pārvēršas vērtībā; Izmantojiet reālu reklāmguvumu līmeni.
- Netiek izveidota kontroles grupa. Bez kontroles grupas paliek neskaidrs, vai uzlabojums nāk no mākslīgā intelekta vai kāda cita efekta.
- Nemaz nemērot mīksto labumu. Ja pieredze un kvalitāte tiek izlaista, jo tos ir grūti izmērīt, liela daļa vērtības paliek neredzama.
Uzmanību: mākslīgais intelekts var izveidot ROI ietvaru, taču vadītājs ir atbildīgs par ievadīto skaitļu un pieņēmumu reālismu. Izskatīgs IA, kas iegūts ar pārspīlēta ieguvuma pieņēmumu, maldina investīciju komiteju un grauj uzticību. Vienmēr pārbaudiet skaitļu avotu.
Rezumējot
AI jaunizveidotie uzņēmumi bieži mirst nevis tehnikas dēļ, bet gan tāpēc, ka nespēj pierādīt vērtību. Katrai iniciatīvai ir jābūt vismaz vienai metrikai, kas ir saistīta ar uzņēmējdarbības rezultātiem, salīdzinot ar bāzes līniju. Aprēķinot IA, godīgi uzskaitiet visas slēptās izmaksas (integrācija, uzraudzība, uzturēšana) un nepārspīlējiet ieguvumu; Pajautājiet, vai ietaupītais laiks tiešām pārvēršas vērtībā. Ja iespējams, pierādiet ar kontroles grupu. Ja pierādījumi ir spēcīgi, mērogojiet, ja vāji, godīgi apstājieties. Nākamajā nodaļā mēs redzēsim, kā pārvaldīt riskus, kas saistīti ar katru uzņēmumu kopā ar tā vērtību.
Lietojumprogrammas uzdevums
Izvēlieties AI lietošanas gadījumu. Pirms sākat, pierakstiet pamatlīniju, kas jāizmēra, un veiksmes rādītāju. 2. Izmantojot veidni, noņemiet visas izmaksu pozīcijas (arī slēptās). Izmantojot 3. veidni, ģenerējiet divus IA scenārijus — optimistiskus un pesimistiskus. Visbeidzot, “vai šie pierādījumi mani pārliecinās par mērogošanu?” Atbildiet uz jautājumu godīgi.
kontrolsaraksts
- [ ] Es definēju pirmsintervences bāzes līniju.
- [ ] Esmu identificējis vismaz vienu metriku, kas ir saistīta ar uzņēmējdarbības rezultātiem.
- [ ] Es saskaitīju visas izmaksu pozīcijas (arī slēptās).
- [ ] Es samazināju priekšrocību pieņēmumu ar reālistisku reklāmguvumu līmeni.
- [ ] Es aprēķināju divus scenārijus, optimistisko un pesimistisko.
- [ ] Ja iespējams, es plānoju kontroles grupu.
- [ ] Esmu godīgi novērtējis lēmuma pieņemšanas pierādījumu stiprumu.