Lợi nhuận:
- Khả năng xác định thước đo thành công dựa trên kết quả kinh doanh, được đo lường dựa trên đường cơ sở, cho từng sáng kiến
- Khả năng tính toán trung thực các chi phí ẩn (tích hợp, giám sát, bảo trì) và tính toán ROI thực tế mà không phóng đại lợi ích
- Khả năng chứng minh giá trị thông qua nhóm kiểm soát và phân tích kịch bản, đồng thời đưa ra quyết định mở rộng quy mô, sửa chữa hoặc ngừng dựa trên bằng chứng
Nguyên nhân gây tử vong phổ biến nhất cho các khoản đầu tư vào AI không phải là lỗi kỹ thuật; giá trị không thể được chứng minh. Nếu một phi công đang "hoạt động tốt" nhưng không ai có thể nói chính xác nó mang lại lợi ích gì thì nó sẽ ngừng hoạt động ở lần cắt giảm ngân sách đầu tiên. Trong phần này, bạn sẽ tìm hiểu cách tính ROI (Lợi tức đầu tư) của các sáng kiến trí tuệ nhân tạo, cách đo lường giá trị doanh nghiệp bằng các số liệu và cách đưa ra quyết định đầu tư dựa trên bằng chứng. Mục tiêu là tách biệt các phi công “cảm thấy hài lòng” khỏi các công ty khởi nghiệp tạo ra “giá trị đã được chứng minh”.
Tại sao khó đo lường giá trị và tại sao cần thiết?
Giá trị AI đôi khi là trực tiếp (giảm thời gian làm việc từ 10 giờ xuống còn 2 giờ), đôi khi là gián tiếp (tăng sự hài lòng của khách hàng). Thách thức là làm cho giá trị gián tiếp có thể đo lường được. Quy tắc là thế này: bạn không thể quản lý và bảo vệ giá trị mà bạn không thể đo lường được. Đó là lý do tại sao mọi sáng kiến đều phải có ít nhất một thước đo thành công bằng số và thước đo này phải được đo lường trước khi sáng kiến bắt đầu (đây được gọi là đường cơ sở; thước đo trạng thái hiện tại trước khi cải tiến).
Giá trị rơi vào bốn loại chính:
Loại giá trị
Số liệu mẫu
khó khăn đo lường
giảm chi phí
Giờ/TL mỗi giao dịch
dễ dàng
Tăng doanh thu
Tỷ lệ chuyển đổi, số lượng giỏ hàng
trung bình
giảm thiểu rủi ro
Số lỗi/vi phạm tuân thủ
trung bình
Kinh nghiệm/chất lượng
Điểm hài lòng, thời gian phản hồi
Khó khăn nhưng cần thiết
Mẹo: Trước khi chương trình thí điểm bắt đầu, "làm thế nào chúng ta sẽ nhận ra thành công?" Viết câu trả lời bằng số cho câu hỏi và đo lường trạng thái hiện tại (đường cơ sở). Bất kỳ tuyên bố "cải tiến" nào được đưa ra mà không có cơ sở đều có thể gây tranh cãi.
Tính toán ROI đơn giản
Công thức cơ bản: ROI = (Lợi ích ròng - Tổng chi phí) / Tổng chi phí. Nhưng kỷ luật thực sự là đếm các món đồ một cách trung thực.
Mặt chi phí (mà hầu hết các tổ chức đều tính đến): phí cấp phép/sử dụng, chi phí tích hợp, chuẩn bị dữ liệu, đào tạo, quản lý thay đổi, bảo trì liên tục và giám sát con người. “Chi phí ẩn” trong AI thường là sự tích hợp và giám sát.
Mặt lợi ích (mà hầu hết các tổ chức đều phóng đại): khi chuyển đổi thời gian tiết kiệm được thành tiền thật, hãy hỏi xem liệu thời gian tiết kiệm được có thực sự biến thành giá trị hay không. Tiết kiệm 10 phút mỗi ngày cho 100 người chỉ có giá trị nếu thời gian đó được dành cho những công việc có ý nghĩa.
Ví dụ: Công cụ xử lý hóa đơn có giá 300.000 TL mỗi năm (giấy phép + tích hợp + giám sát), lợi ích là 12.000 hóa đơn × tiết kiệm 15 phút × chi phí lao động = 720.000 TL. ROI = (720.000 − 300.000) / 300.000 = 140%. Nhưng "15 phút có thực sự được tiết kiệm không?" Câu hỏi có thể làm dịu đi lợi ích; Đó là lý do tại sao việc đo lường thí điểm là rất quan trọng.
Từng bước: chứng minh giá trị
1. Đo đường cơ sở. Ghi lại trạng thái hiện tại theo số trước khi thử.
2. Đặt thước đo thành công rõ ràng. Chọn một hoặc hai số liệu gắn liền với kết quả kinh doanh.
3. Cộng tất cả các hạng mục chi phí một cách trung thực. Đừng quên các chi phí ẩn (tích hợp, giám sát, bảo trì).
4. Đo lường lợi ích thực tế trong thí điểm. Dựa vào đo lường, không phỏng đoán; mạnh mẽ hơn nếu có một nhóm kiểm soát.
5. Quyết định: mở rộng quy mô, sửa chữa hoặc dừng lại. Nếu bằng chứng đầy đủ, hãy phóng to; Nếu không, hãy đóng nó một cách trung thực.
ba trường hợp nhỏ
Trường hợp 1 - Phi công không có đường cơ sở. Một trung tâm cuộc gọi tuyên bố trợ lý AI của họ “rất thành công” nhưng không đo thời lượng cuộc gọi trung bình trước khi bắt đầu. Trong quyết định mở rộng quy mô, CFO hỏi “nó đã được cải thiện bao nhiêu?” anh ấy hỏi; không ai có thể trả lời. Dự án dừng 3 tháng, đo lường hồi cứu: mức cải thiện chỉ đạt 4%, thấp hơn nhiều so với dự kiến. Nếu có đường cơ sở thì điều này sẽ được nhìn thấy sớm.
Trường hợp 2 - Chi phí ẩn. Một công ty đã tính toán giấy phép cho một công cụ AI (200.000 USD mỗi năm) nhưng không tính phần tích hợp (350.000 USD) và giám sát con người liên tục (2 người làm việc toàn thời gian). Dự án được cho là "có lãi" lại đang hoạt động thua lỗ khi cộng thêm chi phí thực tế. Khi tất cả các mục đã được đếm, phạm vi được thu hẹp và giảm chi phí nhờ tự động hóa giám sát.
Trường hợp 3 - Bằng chứng với nhóm đối chứng. Một công ty thương mại điện tử đã mở đề xuất sản phẩm AI của mình cho một nửa số người dùng (nhóm thử nghiệm), nhưng không phải một nửa (nhóm kiểm soát). Trong 6 tuần, số lượng giỏ cao hơn 7% ở nhóm thử nghiệm. Điều này đã kết thúc cuộc tranh luận về "AI hoặc các mùa"; Nhờ nhóm đối chứng, giá trị đã được chứng minh rõ ràng và được phổ biến khắp cả nước.
Bốn mẫu có thể sao chép
1) Giả thuyết và thước đo giá trị:
Vai trò của bạn: nhà phân tích giá trị doanh nghiệp. Thiết lập giả thuyết giá trị cho sáng kiến AI này: chúng ta mong đợi cải thiện số liệu nào, từ mức cơ bản nào, ở mức bao nhiêu? Đồng thời viết cách thức và tần suất đo lường số liệu. Sáng kiến: [văn bản]
2) Phân tích chi phí đầy đủ:
Liệt kê các hạng mục chi phí chính xác cho sáng kiến AI sau: cấp phép/sử dụng, tích hợp, chuẩn bị dữ liệu, đào tạo, quản lý thay đổi, bảo trì, giám sát con người. Đảm bảo nêu bật những chi phí ẩn thường bị lãng quên. Sáng kiến: [văn bản]
3) Khung tính ROI:
Thiết lập tính toán ROI với dữ liệu lợi ích và chi phí sau: lợi ích ròng, tổng chi phí và tỷ lệ phần trăm ROI. Đặt câu hỏi về giả định rằng lợi ích “thực sự chuyển thành tiền” và đưa ra hai kịch bản lạc quan/bi quan. Dữ liệu: [lợi ích và chi phí]
4) Tóm tắt quyết định mở rộng quy mô:
Chuyển các kết quả thí điểm sau đây thành bản tóm tắt quyết định cho hội đồng quản trị: đường cơ sở, lợi ích đo lường được, tổng chi phí, ROI, rủi ro chính và khuyến nghị (quy mô/khắc phục/dừng). Nêu rõ bằng chứng mạnh hay yếu. Kết quả: [văn bản]
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: “Tính ROI của dự án AI này.”
Kết quả: Một vấn đề lạc quan, không thể nghi ngờ với một cây bút bị mất; không đáng tin cậy để quyết định.
Mạnh: "Tính ROI cho quá trình tự động hóa xử lý hóa đơn. Lợi ích: 12.000 hóa đơn mỗi năm, tiết kiệm 15 phút cho mỗi hóa đơn, số giờ lao động 250 TL. Chi phí: giấy phép hàng năm 200.000 TL, tích hợp một lần 350.000 TL, giám sát liên tục của 1 người. Hiển thị hai kịch bản lạc quan và bi quan, giả định rằng chỉ 70% thời gian tiết kiệm được chuyển thành giá trị thực; hãy viết kịch bản nào bạn đề nghị tôi quyết định."
Kết quả: Một phân tích trung thực, dựa trên giả định, có kịch bản và có thể quyết định.
Những lỗi thường gặp
- Không đo đường cơ sở. Nói “chúng tôi đã khỏi bệnh” mà không biết chuyện gì đã xảy ra trước đó thì không thể chứng minh được.
- Bỏ qua chi phí ẩn. Tích hợp, giám sát và bảo trì thường lớn hơn cấp phép.
- Đánh giá quá cao lợi ích. Không phải tất cả thời gian tiết kiệm được đều có giá trị; Sử dụng tỷ lệ chuyển đổi thực tế.
- Không thành lập nhóm kiểm soát Nếu không có nhóm kiểm soát, vẫn chưa rõ liệu sự cải thiện đến từ trí tuệ nhân tạo hay tác động nào khác.
- Không đo lường lợi ích mềm chút nào. Nếu kinh nghiệm và chất lượng bị bỏ qua vì khó đo lường thì phần lớn giá trị vẫn vô hình.
Lưu ý: Trí tuệ nhân tạo có thể xây dựng khung ROI, nhưng người quản lý phải chịu trách nhiệm về tính thực tế của các con số và giả định mà nó đưa vào. ROI đẹp mắt được tạo ra với giả định lợi ích quá mức sẽ đánh lừa ủy ban đầu tư và làm xói mòn niềm tin. Luôn xác minh nguồn gốc của các con số.
Tóm lại
Các công ty khởi nghiệp AI thường chết không phải vì kỹ thuật mà vì không chứng minh được giá trị. Mỗi sáng kiến phải có ít nhất một thước đo gắn liền với kết quả kinh doanh, được đo lường dựa trên đường cơ sở. Khi tính ROI, hãy tính trung thực tất cả các chi phí tiềm ẩn (tích hợp, giám sát, bảo trì) và không phóng đại lợi ích; Đặt câu hỏi liệu thời gian tiết kiệm được có thực sự biến thành giá trị hay không. Nếu có thể, hãy chứng minh với nhóm đối chứng. Nếu bằng chứng mạnh thì mở rộng quy mô, nếu yếu thì hãy thành thật dừng lại. Trong phần tiếp theo, chúng ta sẽ xem cách quản lý rủi ro mà mọi hoạt động kinh doanh đều mang lại cùng với giá trị của nó.
Nhiệm vụ ứng dụng
Chọn trường hợp sử dụng AI. Trước khi bắt đầu, hãy viết ra đường cơ sở bạn cần đo lường và thước đo thành công. 2. Xóa tất cả các mục chi phí (kể cả những mục bị ẩn) trong mẫu. Tạo hai kịch bản ROI, lạc quan và bi quan, với mẫu 3. Cuối cùng, “liệu bằng chứng này có thuyết phục tôi mở rộng quy mô không?” Trả lời câu hỏi một cách trung thực.
danh sách kiểm tra
- [ ] Tôi đã xác định đường cơ sở trước can thiệp.
- [ ] Tôi đã xác định được ít nhất một thước đo gắn liền với kết quả kinh doanh.
- [ ] Tôi đã cộng tất cả các hạng mục chi phí (kể cả những hạng mục ẩn).
- [ ] Tôi đã giảm bớt giả định về lợi ích bằng tỷ lệ chuyển đổi thực tế.
- [ ] Tôi đã tính toán hai kịch bản, lạc quan và bi quan.
- [ ] Tôi đã lên kế hoạch cho một nhóm kiểm soát nếu có thể.
- [ ] Tôi đã trung thực đánh giá sức mạnh của bằng chứng cho quyết định này.