Keuntungan:
- Keupayaan untuk menentukan metrik kejayaan berdasarkan hasil perniagaan, diukur berdasarkan garis dasar, untuk setiap inisiatif
- Keupayaan untuk mengira secara jujur kos tersembunyi (integrasi, pengawasan, penyelenggaraan) dan mengira ROI yang realistik tanpa membesar-besarkan faedah
- Keupayaan untuk membuktikan nilai melalui analisis kumpulan kawalan dan senario dan mendasarkan keputusan untuk skala, membetulkan atau menghentikan pada bukti
Punca kematian yang paling biasa untuk pelaburan AI bukanlah kegagalan teknikal; nilai tidak boleh dibuktikan. Jika juruterbang "berjalan dengan baik" tetapi tiada siapa yang boleh mengatakan dengan tepat apa yang dibawa masuk, ia akan ditutup pada pemotongan belanjawan pertama. Dalam unit ini, anda akan belajar cara mengira ROI (Pulangan Pelaburan) bagi inisiatif kecerdasan buatan, cara mengukur nilai perniagaan dengan metrik dan cara mengasaskan keputusan pelaburan berdasarkan bukti. Matlamatnya adalah untuk memisahkan juruterbang "berasa baik" daripada syarikat permulaan yang menghasilkan "nilai terbukti."
Mengapa sukar untuk mengukur nilai dan mengapa ia perlu?
Nilai AI kadangkala langsung (mengurangkan kerja daripada 10 jam kepada 2 jam), kadangkala tidak langsung (meningkatkan kepuasan pelanggan). Cabarannya adalah untuk menjadikan nilai tidak langsung boleh diukur. Peraturannya ialah: anda tidak boleh mengurus dan mempertahankan nilai yang anda tidak boleh ukur. Itulah sebabnya setiap inisiatif mesti mempunyai sekurang-kurangnya satu metrik kejayaan berangka dan metrik ini mesti diukur sebelum inisiatif bermula (ini dipanggil garis dasar; pengukuran keadaan semasa sebelum penambahbaikan).
Nilai terbahagi kepada empat kategori utama:
Jenis nilai
Contoh metrik
kesukaran pengukuran
pengurangan kos
Jam/TL setiap transaksi
mudah
Meningkatkan pendapatan
Kadar penukaran, jumlah troli
sederhana
pengurangan risiko
Bilangan ralat/pelanggaran pematuhan
sederhana
Pengalaman/kualiti
Skor kepuasan, masa tindak balas
Sukar tetapi perlu
Petua: Sebelum juruterbang bermula, "bagaimana kita akan mengenali kejayaan?" Tulis jawapan berangka untuk soalan dan ukur keadaan semasa (garis dasar). Sebarang tuntutan "penambahbaikan" yang dibuat tanpa garis dasar terbuka untuk dibahaskan.
Pengiraan ROI mudah
Formula asas: ROI = (Faedah Bersih − Jumlah Kos) / Jumlah Kos. Tetapi disiplin sebenar adalah mengira item dengan jujur.
Bahagian kos (yang kebanyakan organisasi kurang dikira): yuran pelesenan/penggunaan, kos penyepaduan, penyediaan data, latihan, pengurusan perubahan, penyelenggaraan berterusan dan pengawasan manusia. "Kos tersembunyi" dalam AI selalunya ialah penyepaduan dan pengawasan.
Sisi manfaat (yang kebanyakan organisasi dibesar-besarkan): apabila menukar penjimatan masa kepada wang sebenar, tanya sama ada masa yang dijimatkan benar-benar berubah menjadi nilai. Penjimatan 10 minit sehari untuk 100 orang hanya berbaloi jika masa itu digunakan untuk kerja yang bermakna.
Contoh: Alat pemprosesan invois berharga 300,000 TL setahun (lesen + integrasi + pengawasan), faedah ialah 12,000 invois × 15 min penjimatan × kos buruh = 720,000 TL. ROI = (720,000 − 300,000) / 300,000 = 140%. Tetapi "Adakah 15 minit benar-benar disimpan?" Soalan itu boleh melembutkan faedah; Itulah sebabnya pengukuran perintis adalah kritikal.
Langkah demi langkah: membuktikan nilai
1. Ukur garis dasar. Catat status semasa mengikut nombor sebelum mencuba.
2. Tetapkan metrik kejayaan yang jelas. Pilih satu atau dua metrik yang terikat dengan hasil perniagaan.
3. Jumlahkan semua item kos dengan jujur. Jangan lupa kos tersembunyi (integrasi, pengawasan, penyelenggaraan).
4. Ukur manfaat sebenar dalam perintis. Bergantung pada ukuran, bukan tekaan; lebih kuat jika terdapat kumpulan kawalan.
5. Tentukan: skala, betulkan atau hentikan. Jika bukti mencukupi, besarkan; Jika tidak, tutuplah dengan jujur.
tiga kes mini
Kes 1 — Juruterbang tanpa garis dasar. Satu pusat panggilan mengisytiharkan pembantu AInya "sangat berjaya" tetapi tidak mengukur purata panjang panggilan sebelum memulakan. Dalam keputusan penskalaan, CFO bertanya "berapa banyak yang telah bertambah baik?" dia bertanya; tiada siapa yang dapat menjawab. Projek dihentikan selama 3 bulan, pengukuran retrospektif: peningkatan hanya 4%, jauh lebih rendah daripada yang dijangkakan. Jika terdapat garis dasar ini akan dilihat lebih awal.
Kes 2 — Kos tersembunyi. Satu syarikat mengira lesen untuk alat AI ($200,000 setahun) tetapi tidak mengira integrasi ($350,000) dan pemantauan manusia yang berterusan (2 orang sepenuh masa). Projek itu, yang dianggap "menguntungkan", beroperasi dengan kerugian apabila kos sebenar ditambah. Setelah semua item dikira, skop dikecilkan dan kos dikurangkan dengan automasi pengawasan.
Kes 3 — Bukti dengan kumpulan kawalan. Sebuah syarikat e-dagang membuka cadangan produk AInya kepada separuh daripada pengguna (kumpulan ujian), tetapi tidak kepada separuh (kumpulan kawalan). Dalam 6 minggu, jumlah bakul adalah 7% lebih tinggi dalam kumpulan ujian. Ini menamatkan perdebatan "AI atau musim"; Terima kasih kepada kumpulan kawalan, nilai itu terbukti dengan jelas dan tersedia di seluruh negara.
Empat templat yang boleh disalin
1) Hipotesis dan metrik nilai:
Peranan anda: penganalisis nilai perniagaan. Wujudkan hipotesis nilai untuk inisiatif AI ini: apakah metrik yang kami harapkan untuk dipertingkatkan, dari garis dasar apakah, dengan berapa banyak? Tulis juga bagaimana dan pada kekerapan metrik akan diukur. Inisiatif: [teks]
2) Pecahan kos penuh:
Senaraikan item kos yang tepat untuk inisiatif AI berikut: lesen/penggunaan, penyepaduan, penyediaan data, latihan, pengurusan perubahan, penyelenggaraan, pengawasan manusia. Pastikan untuk menyerlahkan kos tersembunyi yang sering dilupakan. Inisiatif: [teks]
3) Rangka kerja pengiraan ROI:
Sediakan pengiraan ROI dengan data faedah dan kos berikut: faedah bersih, jumlah kos dan peratusan ROI. Persoalkan andaian bahawa faedah "benar-benar diterjemahkan kepada wang" dan tunjukkan dua senario optimistik/pesimis. Data: [faedah dan kos]
4) Taklimat keputusan skala:
Tukar hasil perintis berikut kepada taklimat keputusan kepada lembaga: garis dasar, manfaat terukur, jumlah kos, ROI, risiko utama dan pengesyoran (skala/pembetulan/henti). Nyatakan dengan jujur sama ada bukti itu kuat atau lemah. Keputusan: [teks]
Gesaan lemah / Gesaan kuat
Lemah: "Kira ROI projek AI ini."
Keputusan: Isu optimistik dan tidak dipersoalkan dengan pen yang hilang; tidak boleh dipercayai untuk membuat keputusan.
Kuat: "Kira ROI untuk automasi pemprosesan invois. Faedah: 12,000 invois setahun, menjimatkan 15 minit setiap invois, jam buruh 250 TL. Kos: lesen tahunan 200,000 TL, penyepaduan sekali 350,000 TL, hanya menunjukkan dua penyeliaan optimistik dan optimistik berterusan untuk 1 orang. 70% daripada penjimatan masa bertukar menjadi nilai sebenar; tulis yang mana satu yang anda cadangkan untuk saya putuskan."
Keputusan: Analisis yang jujur, diragui, berskrip dan boleh membuat keputusan.
Kesilapan biasa
- Tidak mengukur garis dasar. Mengatakan "kami sudah sembuh" tanpa mengetahui apa yang berlaku sebelum ini tidak dapat dibuktikan.
- Melangkaui kos tersembunyi. Penyepaduan, pengawasan dan penyelenggaraan secara amnya lebih besar daripada pelesenan.
- Anggaran terlalu tinggi faedahnya. Tidak semua masa yang disimpan bertukar menjadi nilai; Gunakan kadar penukaran yang realistik.
- Tidak menubuhkan kumpulan kawalan. Tanpa kumpulan kawalan, masih tidak jelas sama ada peningkatan itu datang daripada kecerdasan buatan atau beberapa kesan lain.
- Tidak mengukur manfaat lembut sama sekali. Jika pengalaman dan kualiti diketepikan kerana ia sukar untuk diukur, kebanyakan nilai kekal tidak kelihatan.
Perhatian: Kecerdasan buatan boleh membina rangka kerja ROI, tetapi pengurus bertanggungjawab ke atas realisme nombor dan andaian yang dimasukkan. ROI tampan yang dihasilkan dengan andaian faedah yang berlebihan mengelirukan jawatankuasa pelaburan dan menjejaskan kepercayaan. Sentiasa sahkan sumber nombor.
Secara ringkasnya
Pemula AI sering mati bukan kerana teknik, tetapi kerana kegagalan untuk membuktikan nilai. Setiap inisiatif harus mempunyai sekurang-kurangnya satu metrik yang terikat dengan hasil perniagaan, diukur dengan garis dasar. Apabila mengira ROI, hitung dengan jujur semua kos tersembunyi (integrasi, pengawasan, penyelenggaraan) dan jangan membesar-besarkan faedah; Soalan sama ada masa yang dijimatkan benar-benar bertukar menjadi nilai. Jika boleh, buktikan dengan kumpulan kawalan. Jika bukti kukuh, skala, jika lemah, hentikan secara jujur. Dalam unit seterusnya, kita akan melihat cara mengurus risiko yang ditanggung oleh setiap usaha niaga bersama nilainya.
Tugasan permohonan
Pilih kes penggunaan AI. Sebelum anda mula, tulis garis dasar yang anda perlukan untuk mengukur dan metrik kejayaan. 2. Alih keluar semua item kos (termasuk yang tersembunyi) dengan templat. Hasilkan dua senario ROI, optimistik dan pesimis, dengan templat 3. Akhir sekali, "adakah bukti ini meyakinkan saya untuk membuat skala?" Jawab soalan dengan jujur.
senarai semak
- [ ] Saya mentakrifkan garis dasar praintervensi.
- [ ] Saya telah mengenal pasti sekurang-kurangnya satu metrik yang terikat dengan hasil perniagaan.
- [ ] Saya menambah semua item kos (termasuk yang tersembunyi).
- [ ] Saya meredakan andaian faedah dengan kadar penukaran yang realistik.
- [ ] Saya mengira dua senario, optimistik dan pesimis.
- [ ] Saya merancang kumpulan kawalan jika boleh.
- [ ] Saya telah menilai secara jujur kekuatan bukti untuk keputusan itu.