กำไร:
- ความสามารถในการอธิบายชั้นข่าวกรองธุรกิจ (แหล่งที่มา, ETL, คลังข้อมูล, รายงาน) และคำจำกัดความที่ถูกต้องของตัวชี้วัดทางธุรกิจหลัก (KPI)
- ความสามารถในการใช้ปัญญาประดิษฐ์เพื่อสร้างคำจำกัดความของเมตริก ร่าง SQL และการบรรยายรายงาน และจัดเตรียมผลลัพธ์ด้วยข้อมูลจริง
- ความสามารถในการรับรู้ความเสี่ยงของความสับสนที่เกิดจากความสัมพันธ์และสาเหตุและตัวชี้วัดที่ทำให้เข้าใจผิดในผลลัพธ์การวิเคราะห์ที่สนับสนุนโดย AI
ระบบธุรกิจอัจฉริยะ (BI) คือระเบียบวินัยที่รวบรวมข้อมูลที่กระจัดกระจายขององค์กร ทำให้พร้อมสำหรับการวิเคราะห์ และสร้างข้อมูลสนับสนุนการตัดสินใจจากข้อมูลนี้ สำหรับมืออาชีพด้าน MIS BI คือชั้นที่ “ข้อมูลกลายเป็นการตัดสินใจ” บันทึกคำสั่งซื้อดิบเพียงอย่างเดียวไม่มีความหมาย แต่ “เดือนนี้ผลประกอบการลดลงในภูมิภาคไหน เพราะเหตุใด?” ก่อให้เกิดคุณค่าเมื่อกลายเป็นรายงานที่สามารถตอบคำถามได้ ในหน่วยนี้ เราจะเห็นเลเยอร์ของ BI การออกแบบหน่วยเมตริกที่เหมาะสม และจุดที่ปัญญาประดิษฐ์เป็นตัวเร่งและเป็นกับดักในกระบวนการนี้
โดยทั่วไปสถาปัตยกรรม BI ประกอบด้วยเลเยอร์ต่อไปนี้ ระบบต้นทาง: สถานที่ที่ข้อมูลกำเนิด เช่น ERP, CRM, อีคอมเมิร์ซ กระบวนการ ETL (English Extract-Transform-Load): กระบวนการที่แยกข้อมูลจากแหล่งที่มา (Extract) ทำความสะอาดและแปลงเป็นโครงสร้างมาตรฐาน (Transform) และโหลดไปยังเป้าหมาย (Load) คลังข้อมูล: พื้นที่เก็บข้อมูลส่วนกลางที่รวบรวมข้อมูลในอดีตและสอดคล้องกันซึ่งออกแบบมาเพื่อการวิเคราะห์ ชั้นการรายงาน/การแสดงภาพ: แดชบอร์ด รายงาน และการสืบค้นเฉพาะกิจ ในห่วงโซ่นี้ คุณภาพของแต่ละชั้นจะกำหนดชั้นถัดไป หากแหล่งที่มาสกปรก รายงานก็จะสกปรกด้วย
การกำหนดเมตริกและ KPI อย่างถูกต้อง
ตัวชี้วัดคือค่าตัวเลขที่วัดได้ ได้แก่ มูลค่าการซื้อขายทั้งหมด จำนวนคำสั่งซื้อ KPI (ตัวบ่งชี้ประสิทธิภาพหลัก) เป็นตัวชี้วัดสำคัญที่ใช้วัดประสิทธิภาพเทียบกับเป้าหมาย: "อัตราการเปลี่ยนใจของลูกค้าต่อเดือนต่ำกว่า 5%" ไม่ใช่ทุกตัวชี้วัดจะเป็น KPI; KPI คือตัวชี้วัดที่เชื่อมโยงกับเป้าหมายทางธุรกิจและกระตุ้นให้เกิดการตัดสินใจ
ปัญหาที่ร้ายกาจที่สุดของโครงการ BI คือคำจำกัดความที่คลุมเครือของเมตริก "ลูกค้าที่ใช้งานอยู่" หมายถึงอะไร? สั่งซื้อในช่วง 30 วันที่ผ่านมาหรือ 90 วัน? ผู้ที่กลับมาจะถูกนับหรือไม่? หากทั้งสองทีมมีความหมายต่างกันด้วย “จำนวนลูกค้าที่ใช้งานอยู่” แดชบอร์ดเดียวกันจะแสดงข้อเท็จจริงสองประการที่แตกต่างกัน นั่นเป็นเหตุผลที่ KPI ทุกรายการควรมีคำจำกัดความเพียงประโยคเดียวและเป็นที่ยอมรับอย่างกว้างขวาง AI สร้างร่างคำจำกัดความเหล่านี้อย่างรวดเร็ว แต่ขึ้นอยู่กับหน่วยธุรกิจที่จะตัดสินใจว่าคำจำกัดความใด "ถูกต้อง"
เคล็ดลับ: เมื่อออกแบบ KPI ให้จดสามสิ่งต่อไปนี้: (1) สูตร (ตัวเศษ/ส่วนคืออะไรกันแน่) (2) กรอบเวลา (3) กรณีและปัญหาที่แยกออก การให้ AI พูดว่า "แยกความคลุมเครือในคำจำกัดความของ KPI นี้เป็นคำถาม" เผยสมมติฐานที่ซ่อนอยู่
ทีละขั้นตอน: การสร้างรายงานที่ขับเคลื่อนโดย AI
ขั้นตอนที่ 1 — ชี้แจงคำถาม รายงานจะทำหน้าที่ตัดสินใจอย่างไร? เป้าหมายที่เป็นรูปธรรม เช่น "เราจะตัดสินใจว่าจะเปลี่ยนงบประมาณไปที่ภูมิภาคใด" ไม่ใช่ "ควรดูดี"
ขั้นตอนที่ 2 — กำหนดหน่วยเมตริก เขียน KPI ที่จำเป็นพร้อมสูตร หน้าต่าง และข้อยกเว้น ปัญญาประดิษฐ์สามารถสร้างคำจำกัดความแบบร่างได้
ขั้นตอนที่ 3 — สร้างร่าง SQL ให้ข้อมูลสคีมาแก่ปัญญาประดิษฐ์และสร้างแบบร่างแบบสอบถาม แต่อ่านและทำความเข้าใจแบบสอบถามก่อนใช้งาน
ขั้นตอนที่ 4 — ตรวจสอบด้วยข้อมูลขนาดเล็ก เรียกใช้แบบสอบถามก่อนกับตัวอย่างขนาดเล็กที่มีผลลัพธ์ที่ทราบ ตรวจสอบผลรวมด้วยตนเอง SQL ของ AI อาจมีความถูกต้องทางวากยสัมพันธ์ แต่ไม่ถูกต้องตามตรรกะ
ขั้นตอนที่ 5 — เพิ่มการบรรยาย ทดสอบการกล่าวอ้าง AI สามารถสร้างข้อความบรรยายสำหรับรายงานได้ แต่พิสูจน์ทุกข้อเรียกร้องเชิงสาเหตุ (“นั่นคือสาเหตุที่ยอดขายลดลง”)
กับดักความสัมพันธ์และสาเหตุ
ข้อผิดพลาดที่อันตรายที่สุดใน BI คือการตีความสองเมตริกที่ทำงานร่วมกันเป็น "อันหนึ่งสร้างอีกอัน" สหสัมพันธ์คือเมื่อค่าสองค่าเปลี่ยนแปลงร่วมกัน สาเหตุคือเมื่อสิ่งหนึ่งทำให้เกิดสิ่งอื่น ประโยคที่ว่า "เมื่อยอดขายไอศกรีมเพิ่มขึ้น กรณีจมน้ำก็เพิ่มขึ้น" นั้นเป็นเรื่องจริง แต่ไอศกรีมไม่ได้ทำให้เกิดการจมน้ำ สาเหตุที่พบบ่อยคือฤดูร้อน (อากาศร้อน) ปัญญาประดิษฐ์สามารถสร้างประโยคเชิงสาเหตุได้อย่างง่ายดายเมื่อสร้างการเล่าเรื่องในรายงาน ผู้เชี่ยวชาญ MIS ตอบสนองต่อคำกล่าวอ้างเหล่านี้โดยถามว่า "มีคำอธิบายอื่นใดอีกหรือไม่" เขาควรจะทดสอบมัน มิฉะนั้นการตัดสินใจที่ผิดจะกระทำโดยเหตุผลที่ไม่ถูกต้อง
คดีเล็กๆ สามคดี: ตามตัวเลข
กรณีที่ 1 — ต้นทุนของเมตริกที่ไม่ได้กำหนด ในบริษัทโทรคมนาคมแห่งหนึ่ง จำนวน "สมาชิกที่ใช้งานอยู่" ที่นำเสนอต่อคณะกรรมการบริหารอยู่ที่ 2.1 ล้านราย และรายงานของทีมการเงินอยู่ที่ 1.7 ล้านราย ข้อแตกต่างคืออันหนึ่งนับ 90 วันว่า "ใช้งานอยู่" ในขณะที่อีกอันนับ 30 วัน มีการพูดคุยถึงอัตราการเติบโตที่ไม่ถูกต้องเป็นเวลาสองสัปดาห์จนกว่าจะมีการชี้แจงคำจำกัดความทั่วไป คำจำกัดความ KPI เพียงประโยคเดียวจะช่วยหลีกเลี่ยงความสับสนนี้ได้
กรณีที่ 2 — SQL ผิดของ AI ที่ผู้ค้าปลีกรายหนึ่ง AI ได้เพิ่มรายการส่งคืนไปยังยอดรวมเมื่อสร้างแบบสอบถาม "ตะกร้าเฉลี่ยต่อลูกค้า" ผลลัพธ์สูงกว่ามูลค่าจริงถึง 12% SQL นั้นสมบูรณ์แบบทางวากยสัมพันธ์ เมื่อผู้เชี่ยวชาญตรวจสอบยอดรวมของวันที่ทราบด้วยตนเอง เขาก็ตรวจพบค่าเบี่ยงเบนและเพิ่มตัวกรองผลตอบแทน
กรณีที่ 3 — การเข้าใจผิดของสาเหตุ ที่บริษัทอีคอมเมิร์ซแห่งหนึ่ง แดชบอร์ดแจ้งว่า "ยอดขายเพิ่มขึ้น 18% ในวันที่ส่งแคมเปญอีเมล" และทีมงานกำลังจะเพิ่มงบประมาณแคมเปญ การวิเคราะห์แสดงให้เห็นว่าแคมเปญถูกกำหนดเวลาให้ตรงกับวันแคมเปญที่มีการเข้าชมสูง (ช่วงส่วนลด) มันเป็นช่วงเวลา ไม่ใช่อีเมล ที่กระตุ้นยอดขาย หากงบประมาณเพิ่มขึ้นโดยไม่มีการทดสอบกับกลุ่มควบคุม เงินจะสูญเปล่า
พรอมต์ที่อ่อนแอ / พรอมต์ที่แข็งแกร่ง
พรอมต์ที่อ่อนแอ:
เขียนรายงานการขาย SQL จากตารางนี้
พรอมต์อันทรงพลัง:
บทบาทของคุณ: คุณเป็นนักวิเคราะห์ BI ที่เอาใจใส่ เขียน DRAFT ของการสืบค้น SQL ตามแผนภาพด้านล่าง กฎ:- ใช้เฉพาะตาราง/ฟิลด์ที่กำหนดเท่านั้น ช่องที่ไม่เหมาะสม- ไม่รวมการส่งคืน (สถานะ='การส่งคืน') จากผลรวม- กรอบเวลา: 30 วันที่ผ่านมา- แสดงความคิดเห็นทีละบรรทัดว่าแบบสอบถามทำอะไร- แนะนำบรรทัดตัวอย่าง 1 บรรทัดที่สามารถตรวจสอบได้ด้วยตนเองสำหรับการทดสอบในตอนท้าย สคีมา:คำสั่งซื้อ(id, customer_id, วันที่, จำนวน, สถานะ)ลูกค้า(id, ชื่อ, ส่วน)วัตถุประสงค์: มูลค่าการซื้อขายสุทธิในช่วง 30 วันที่ผ่านมาตามส่วน
พรอมต์ที่มีประสิทธิภาพจะจำกัดสคีมา กำหนดกฎเกณฑ์ทางธุรกิจ (ไม่รวมการส่งคืน) ระบุหน้าต่าง และร้องขอเอาต์พุตที่ตรวจสอบได้
เทมเพลตที่คัดลอกได้สี่แบบ
1) การชี้แจงคำจำกัดความ KPI:
เขียนคำอธิบายแบบเต็มสำหรับ KPI ต่อไปนี้: สูตร (ตัวเศษ/ส่วน) กรอบเวลา กรณีและปัญหาที่แยกออก เพิ่มความคลุมเครือในคำจำกัดความเป็นคำถาม KPI: [ชื่อ เช่น "อัตราการเปลี่ยนใจของลูกค้า"]
2) การตรวจสอบลอจิก SQL:
ตรวจสอบแบบสอบถาม SQL ต่อไปนี้: มีความเสี่ยงของข้อผิดพลาดเชิงตรรกะ JOIN ที่ไม่ถูกต้อง ตัวกรองหายไป หรือการนับซ้ำหรือไม่ เขียนเหตุผลสำหรับการค้นพบแต่ละครั้ง อย่าเปลี่ยนคำถาม เพียงแค่ตรวจสอบ SQL: [แบบสอบถาม]
3) รายงานการเล่าเรื่อง + การควบคุมการเรียกร้อง:
เขียนบทสรุปผู้บริหารโดยย่อจากตารางผลลัพธ์ด้านล่าง ป้ายกำกับ [EVIDENCE REQUIRED] ถัดจากคำกล่าวอ้างเชิงสาเหตุแต่ละรายการ และเสนอแนะคำอธิบายทางเลือกอื่น เพียงอาศัยข้อมูลในตาราง ตาราง: [ข้อมูล]
4) การตรวจสอบความสอดคล้องของเมตริก:
ในรายงานทั้งสองด้านล่าง เมตริกที่มีชื่อเดียวกันจะให้ค่าที่ต่างกัน ความแตกต่างที่เป็นไปได้ในคำจำกัดความ (กรอบเวลา ตัวกรอง การคำนวณ) จะถูกแสดงรายการไว้ รายงาน: [A] [B]
แผนภูมิเปรียบเทียบ: KPI ที่ดีและไม่ดี
คุณสมบัติ
KPI ไม่ดี
ตัวชี้วัดที่ดี
คำอธิบาย
"ลูกค้าที่ใช้งานอยู่"
"ลูกค้าที่มีคำสั่งซื้อเสร็จสมบูรณ์ ≥1 รายการในช่วง 30 วันที่ผ่านมา"
ผูกพันกับเป้าหมาย
ไม่มี
"อยู่ต่ำกว่า 5% อัตราการสูญเสีย"
ความสามารถในการวัดผล
ไม่ชัดเจน
สูตรชัดเจน
ข้อยกเว้น
ไม่แน่นอน
ไม่รวมผลตอบแทน
มันทำให้เกิดการตัดสินใจหรือไม่?
ไม่
ใช่
ข้อผิดพลาดทั่วไป
- ปล่อยให้เมตริกไม่ได้กำหนด หากใช้คำว่า "ใช้งานอยู่" "สำเร็จ" "เสร็จสมบูรณ์" โดยไม่มีสูตร แต่ละทีมจะนับต่างกัน
- เรียกใช้ SQL ของ AI โดยไม่มีการตรวจสอบ แบบสอบถามที่ถูกต้องทางวากยสัมพันธ์อาจไม่ถูกต้องตามตรรกะ การนับซ้ำและการเข้าร่วมที่ไม่ถูกต้องเป็นเรื่องปกติ
- ความสัมพันธ์ที่สับสนกับสาเหตุ การคิดว่า “มันเพิ่มขึ้นด้วยสิ่งนั้น” หมายความว่า “สิ่งนี้ทำให้เกิดสิ่งนั้น” ย่อมนำไปสู่การตัดสินใจที่ผิดพลาด
- การแสวงหาตัวชี้วัดแบบโต๊ะเครื่องแป้ง การเข้าใจผิดว่าเมตริกที่ซับซ้อนแต่ไม่ชี้ขาด เช่น "จำนวนคลิกทั้งหมด" เป็น KPI
- การนำเสนอตัวเลขโดยไม่มีบริบท “รายได้ 4.2 ล้าน” เพียงอย่างเดียวก็ไม่มีความหมาย จำเป็นต้องมีบริบทโดยพิจารณาจากเดือนที่แล้ว เป้าหมาย หรืองบประมาณ
ข้อควรระวัง: การเล่าเรื่องในรายงานที่สร้างโดยปัญญาประดิษฐ์นั้นน่าเชื่อถือและลื่นไหล นี่เป็นการขยายความเสี่ยงอย่างแน่นอน ประโยคที่คล่องแคล่วอาจมีการกล่าวอ้างว่าเป็นเหตุอันเป็นเท็จ ทดสอบข้อความ "เพราะ" และ "ดังนั้น" แต่ละข้อความพร้อมหลักฐาน
โดยสรุป
ระบบธุรกิจอัจฉริยะเป็นเลเยอร์ที่แปลงข้อมูลที่กระจัดกระจายเป็นการตัดสินใจ และประกอบด้วยแหล่งที่มา, ETL, คลังข้อมูล และสายการรายงาน KPI เป็นตัวชี้วัดที่สำคัญซึ่งเชื่อมโยงกับเป้าหมายทางธุรกิจ โดยมีสูตรและข้อยกเว้นที่กำหนดไว้อย่างชัดเจน เมตริกที่ไม่ได้กำหนดเป็นข้อผิดพลาด BI ที่พบบ่อยที่สุด ปัญญาประดิษฐ์มอบความเร็วที่สำคัญในการสร้างคำจำกัดความ KPI, ร่าง SQL และการบรรยายรายงาน แต่ทุก SQL จะต้องมีเหตุผลเชิงตรรกะ ทุกตัวเลขต้องได้รับการสนับสนุนจากข้อมูลที่ทราบ และทุกการกล่าวอ้างเชิงสาเหตุจะต้องได้รับการทดสอบด้วยหลักฐาน ความสัมพันธ์ไม่ใช่สาเหตุ การเล่าเรื่องแบบไหลไม่รับประกันความถูกต้อง
งานสมัคร
ออกแบบ KPI “อัตราการสำเร็จ” สำหรับแพลตฟอร์มหลักสูตรออนไลน์ (1) เขียนคำอธิบายหนึ่งประโยคพร้อมสูตร กรอบเวลา และข้อยกเว้น (เช่น การลงทะเบียนที่ถูกยกเลิกจะนับหรือไม่) (2) สร้างสคีมาอย่างง่าย (การลงทะเบียน หลักสูตร ความคืบหน้า) และสร้างร่าง SQL สำหรับ KPI นี้พร้อมพร้อมท์ที่มีประสิทธิภาพ (3) ค้นหาความเสี่ยงที่เป็นไปได้อย่างน้อยหนึ่งรายการของการนับซ้ำหรือการกรองที่ไม่ถูกต้องในแบบสอบถาม (4) พิมพ์บทสรุปผู้บริหารของข้อสรุปและทำเครื่องหมายการอ้างสิทธิ์เชิงสาเหตุแต่ละรายการในนั้น (5) ยกตัวอย่างกับดักที่ก่อให้เกิดความสัมพันธ์และอธิบายว่าคุณจะทดสอบมันอย่างไร
รายการตรวจสอบ
- [ ] มีการเขียนสูตร กรอบเวลา และข้อยกเว้นของแต่ละ KPI
- [ ] ฉันอ่านและทำความเข้าใจ SQL ที่สร้างโดย AI ทีละบรรทัด
- [ ] ฉันตรวจสอบแบบสอบถามด้วยตนเองด้วยข้อมูลที่ไม่ค่อยมีใครรู้จัก
- [ ] ฉันทดสอบการกล่าวอ้างเชิงสาเหตุทุกรายการในรายงานพร้อมหลักฐาน
- [ ] ฉันกำหนดบริบทให้กับตัวเลขแต่ละตัวด้วยเกณฑ์มาตรฐาน (เป้าหมาย/ช่วงสุดท้าย)
- [ ] ฉันได้รับความเห็นพ้องต้องกันระหว่างทีมเกี่ยวกับคำจำกัดความของเมตริก