การวัดผล KPI และการปรับปรุงอย่างต่อเนื่อง: ต้องติดตามอะไรและอย่างไร

กำไร:

• ความสามารถในการอ่าน KPI แบบคลาสสิก (AHT, FCR, CSAT, NPS, CES) และตัวชี้วัดเฉพาะของ AI พร้อมตัวสร้างสมดุลคุณภาพสำหรับการวัดประสิทธิภาพการทำงานแต่ละรายการ
• ความสามารถในการวัดความแม่นยำของคำตอบและเบี่ยงเบนไปอย่างสม่ำเสมอ และหลีกเลี่ยงกับดักของการล็อคเป็นเมตริกเดียว
• ความสามารถในการดำเนินการปรับปรุงอย่างต่อเนื่องโดยอิงตามการบันทึก 'ฉันไม่รู้' เหตุผลในการหมุนเวียน และโฟลว์ที่ล้มเหลวด้วยวงจร PDCA

ข้อผิดพลาดที่อันตรายที่สุดเมื่อ AI เข้าสู่ Call Center คือการพูดว่า "เราติดตั้งแล้ว ดูเหมือนว่าจะใช้งานได้ ก็พอแล้ว" บอท ผู้ช่วย หรือโฟลว์การบริการตนเองไม่สมบูรณ์แบบทันทีที่เริ่มใช้งานและไม่ได้คงอยู่ตรงนั้น จะต้องมีการวัด ติดตาม และปรับปรุงอย่างต่อเนื่อง ยิ่งไปกว่านั้น การติดตามตัววัดที่ไม่ถูกต้องบางครั้งก็เป็นอันตรายมากกว่าการไม่ติดตามตัววัดที่ถูกต้อง — เพราะมันทำให้คุณวิ่งไปในทิศทางที่ผิด ในหน่วยนี้ เราจะดูตัวบ่งชี้หลักของศูนย์บริการทางโทรศัพท์ (KPI) ตัวชี้วัดเฉพาะของ AI และวิธีการสร้างวงจรการปรับปรุงอย่างต่อเนื่อง

ประการแรก คำเตือน: ตัวชี้วัดเป็นหนทางสู่จุดจบ ไม่ใช่จุดสิ้นสุด เป้าหมายคือการแก้ปัญหาของลูกค้าได้ดีและมีประสิทธิภาพ หากคุณไล่ตามตัวชี้วัดตัวใดตัวหนึ่ง (เช่น AHT) โดยแยกจากกัน ตัวแทนจะตัดการโทรโดยไม่แก้ไขปัญหาลูกค้า และวัตถุประสงค์ที่แท้จริงจะเสียหาย สิ่งนี้เรียกว่าความหลงใหลในตัวชี้วัด อ่านแต่ละเมตริกด้วยการถ่วงดุล

KPI ของศูนย์บริการข้อมูลพื้นฐาน

KPI (ตัวบ่งชี้ประสิทธิภาพหลัก) คือตัวเลขที่ใช้วัดประสิทธิภาพของกระบวนการ สิ่งพื้นฐานที่สุดในศูนย์บริการทางโทรศัพท์:

ตัวชี้วัด

มีมาตรการอะไร

บาลานเซอร์

AHT (เวลาดำเนินการโดยเฉลี่ย)

ระยะเวลาในการติดต่อ

FCR, CSAT (สั้นแต่ไม่ละลายน้ำ)

FCR (ความละเอียดในการติดต่อครั้งแรก)

วิธีแก้ปัญหาครั้งเดียว

CSAT (อย่าบอกว่าคุณแก้ไขได้แต่ไม่ได้แก้ปัญหา)

CSAT (ความพึงพอใจของลูกค้า)

คะแนนหลังการติดต่อ

อัตราการตอบกลับ (จะทำให้เข้าใจผิดหากมีคนกรอกน้อย)

NPS (คะแนนแนะนำ)

ความภักดี/คำแนะนำ

สาเหตุที่แท้จริง (ทำไมต่ำ?)

CES (คะแนนความพยายามของลูกค้า)

ลูกค้าลำบากแค่ไหน.

—

SL (ระดับการให้บริการ)

% การโทรที่รับใน x วินาที

อัตราการละทิ้ง

อัตราการละทิ้ง (ละทิ้ง)

สายถูกพักสายไว้

SL คูลดาวน์

CES (คะแนนความพยายามของลูกค้า) วัดว่าลูกค้าพยายามแก้ไขปัญหาของตนอย่างหนักเพียงใด ความพยายามต่ำมีความเกี่ยวข้องอย่างมากกับความเที่ยงตรงสูง ลูกค้าที่พูดว่า "ฉันแก้ไขมันได้อย่างง่ายดาย" มักจะมีคุณค่ามากกว่าการพูดว่า "ฉันพอใจมาก"

ตัวชี้วัดเฉพาะของ AI

ถัดจาก KPI แบบคลาสสิก มีการเพิ่มหน่วยวัดพิเศษสำหรับแอปพลิเคชัน AI:

• อัตราการกักเก็บ/การโก่งตัว: อัตราการติดต่อที่บอท/การบริการตนเองแก้ไขโดยไม่ต้องส่งต่อให้กับมนุษย์ แต่นั่นเพียงอย่างเดียวเป็นการหลอกลวง ควรอ่านควบคู่กับการแก้ปัญหา (กับดักในบทที่ 8)
• อัตราการแก้ปัญหาบอท: ผู้ติดต่อที่บอทแก้ไขได้จริง (ลูกค้าพึงพอใจ) — ไม่ใช่ "ยังคงอยู่ในบอท"
• อัตราหมุนเวียนและเหตุผล: โอนไปเท่าไรและทำไม (หน่วยที่ 10)
• ความแม่นยำของคำตอบ: อัตราที่คำตอบที่ได้รับจากบอท/ผู้ช่วยนั้นถูกต้อง — วัดจากการสุ่มตัวอย่างและการควบคุมดูแลโดยมนุษย์
• การยอมรับ: อัตราที่ตัวแทนใช้คำแนะนำการช่วยเหลือตัวแทน (หน่วยที่ 6)
• ความแม่นยำในการสรุป: อัตราที่การสรุป/แท็กอัตโนมัติได้รับการแก้ไขโดยการอนุมัติจากมนุษย์ (หน่วยที่ 4)
• อัตราอาการประสาทหลอน/ข้อผิดพลาด: ความถี่ของคำตอบที่ถูกสร้างขึ้นหรือไม่ถูกต้อง — เป้าหมายใกล้ศูนย์

เคล็ดลับ: จับคู่หน่วยวัด AI แต่ละรายการกับ “ตัวปรับคุณภาพ” "การกักกันสูง" เพียงอย่างเดียวไม่ดี "การกักกันอยู่ในระดับสูง และความพึงพอใจในโซลูชันบอทอยู่ในระดับสูง" เป็นสิ่งที่ดี อย่าแยกตัวชี้วัดประสิทธิภาพออกจากตัวชี้วัดคุณภาพ

วงจรการปรับปรุงอย่างต่อเนื่อง

โปรแกรม AI ที่ดีคือวงล้อหมุน ไม่ใช่โปรเจ็กต์ที่ทำเพียงครั้งเดียว วงจร PDCA แบบคลาสสิก (Plan-Do-Check-Act; PDCA) ใช้งานได้ที่นี่:

1. แผน: คุณจะปรับปรุงตัวชี้วัดใดและเพราะเหตุใด ตั้งเป้าหมาย (เช่น “เพิ่มอัตราการแก้ปัญหาบอทจากผลตอบแทนจาก 60% เป็น 75%)”
2. นำไปใช้: ทำการเปลี่ยนแปลง (เพิ่มรายการฐานความรู้ แก้ไขโฟลว์ ปรับปรุงพร้อมท์)
3. ตรวจสอบ: ตัวชี้วัดมีการปรับปรุงจริงหรือไม่? มีผลข้างเคียงหรือไม่ (ตัวชี้วัดอื่น ๆ ใช้งานไม่ได้) หรือไม่?
4. ใช้ความระมัดระวัง: หากได้ผล ให้ทำให้ถาวร ถ้ามันไม่ได้ผลก็ให้นำมันกลับมาและเรียนรู้

เชื้อเพลิงสำหรับรอบนี้คือข้อมูล: บันทึก "ไม่รู้" (หน่วยที่ 5) เหตุผลในการหมุนเวียน (หน่วยที่ 10) การไหลที่ล้มเหลว (หน่วยที่ 8) การสนทนาที่ได้คะแนนต่ำ (หน่วยที่ 7) แหล่งข้อมูลเหล่านี้จะบอกคุณว่าควรปรับปรุงจุดใด

ข้อควรระวัง: โมเดล AI และพฤติกรรมของลูกค้าเปลี่ยนแปลงไปตามกาลเวลา นี้เรียกว่าดริฟท์ บอทที่ทำงานได้อย่างแม่นยำ 95% ในปัจจุบันสามารถเสื่อมลงได้อย่างเงียบๆ หากฐานความรู้ล้าสมัยหรือรูปแบบคำถามของลูกค้าเปลี่ยนไป นั่นเป็นสาเหตุที่การวัดไม่ใช่ครั้งเดียวแต่ต่อเนื่อง สิ่งที่คุณไม่ได้วัดก็พังทลายลงอย่างเงียบ ๆ

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) การออกแบบแดชบอร์ด KPI:

สร้างร่างแดชบอร์ด KPI รายเดือนสำหรับโปรแกรม AI ของศูนย์บริการทางโทรศัพท์ของฉัน สำหรับแต่ละเมตริก: คำจำกัดความ เป้าหมาย เมตริกออฟเซ็ต แหล่งข้อมูล เกณฑ์การแจ้งเตือน (สัญญาณเตือนสูงกว่า/ต่ำกว่าค่านี้) ตัวชี้วัด: AHT, FCR, CSAT, การกักกัน, อัตราการแก้ปัญหาบอท, อัตราการหมุนเวียน, ความแม่นยำของคำตอบ อย่าให้ตัวเลขสมมติ ตั้งค่าเทมเพลตเพื่อให้ฉันกรอกข้อมูลในฟิลด์

2) การตีความหน่วยเมตริก (สาเหตุที่แท้จริง):

ตีความข้อมูล KPI ด้านล่างเหมือนนักวิเคราะห์ CX (1) การเปลี่ยนแปลงที่โดดเด่นที่สุด (2) สาเหตุที่แท้จริงที่เป็นไปได้ (พิสูจน์) (3) ตัวชี้วัดอื่นใดที่ควรพิจารณา (ชดเชย) (4) การดำเนินการที่แนะนำ 2 รายการ รับตัวเลขจากข้อมูล ทำเครื่องหมายสมมติฐานว่า "ต้องได้รับการยืนยัน" ข้อมูล: <<...>>

3) การประเมินการเปรียบเทียบ A/B:

เปรียบเทียบบอท/สตรีมเวอร์ชัน (A และ B) สองเวอร์ชันกับข้อมูลนี้: <<data>> สิ่งใดดีกว่าในการกักกัน อัตราการแก้ไขบอท และ CSAT ความแตกต่างดูเหมือนมีนัยสำคัญหรือเล็กน้อย/มีเสียงรบกวนหรือไม่? ผลผลิตที่เพิ่มขึ้นต้องแลกกับการสูญเสียคุณภาพหรือไม่? ให้คำแนะนำที่ชัดเจน แต่ยังชี้ให้เห็นความไม่แน่นอนด้วย

4) สรุปผลตอบรับการปรับปรุงอย่างต่อเนื่อง:

รวมทรัพยากรการปรับปรุงต่อไปนี้ (ไม่ทราบบันทึก เหตุผลในการส่งมอบ ขั้นตอนล้มเหลว) จัดลำดับความสำคัญของโอกาสในการปรับปรุงผลกระทบสูงสุด 3 ประการ: ปัญหา / ตัวชี้วัดที่ได้รับผลกระทบ / การเปลี่ยนแปลงที่เสนอ / ผลกระทบที่คาดหวัง เพียงแค่พึ่งพาข้อมูล ที่มา: <<...>>

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

บอกเลยว่าเลขเดือนนี้ดีหรือไม่ดี

ไม่ชัดเจน: ตัวชี้วัดใด, เป้าหมายอะไร, ตัวทำให้คงตัวอะไร, สาเหตุที่แท้จริง - ทำให้เกิดการตัดสินอย่างผิวเผินและทำให้เข้าใจผิด

พรอมต์อันทรงพลัง:

ในเดือนนี้ การควบคุมเพิ่มขึ้นจาก 58% เป็น 71% แต่ CSAT ลดลงจาก 4.1 เป็น 3.6 และอัตราการหมุนเวียนลดลงจาก 30% เป็น 19% ตีความแผนภูมินี้: ผลผลิตที่เพิ่มขึ้นส่งผลให้ลูกค้าพึงพอใจหรือไม่ (ลูกค้าอาจติดอยู่ในบอทได้หรือไม่) ฉันควรตรวจสอบข้อมูลใด? เสนอแนะ 2 การกระทำ

ความแตกต่าง: คำถามเกี่ยวกับตัวชี้วัด ความสมดุล และการตรวจสอบความถูกต้องนั้นชัดเจน การตีความนั้นสมเหตุสมผล (ในที่นี้มีสัญญาณกับดัก "การกักขัง" เนื่องจากการเพิ่มการกักกันมาพร้อมกับการลดลงของ CSAT)

มินิเคสสามอัน

กรณีที่ 1 — กับดักเมตริกที่ไม่ถูกต้อง ศูนย์บริการทางโทรศัพท์หนึ่งแห่งได้รับรางวัล AHT เท่านั้น ตัวแทนวางสายกับลูกค้าโดยไม่แก้ไขปัญหาเพื่อลดระยะเวลา; ในระยะสั้น AHT ลดลง 15% แต่การโทรซ้ำเพิ่มขึ้น 28% และ FCR ก็พังทลายลง ภาระและต้นทุนทั้งหมดเพิ่มขึ้นจริง ยอดคงเหลือเกิดขึ้นเมื่อมีการตรวจสอบ AHT, FCR และ CSAT ร่วมกัน บทเรียน: ตัวชี้วัดหนึ่งโกหก

กรณีที่ 2 — การดริฟท์แบบเงียบๆ บอทของธนาคารทำงานโดยไม่มีปัญหาใดๆ เป็นเวลา 6 เดือน ไม่มีใครวัดได้ เมื่อมีผลิตภัณฑ์ใหม่ออกมา ฐานความรู้ก็ถูกทิ้งไว้ข้างหลัง ความแม่นยำของบอทลดลงอย่างเห็นได้ชัดจาก 94% เป็น 79% และการร้องเรียนเพิ่มขึ้น เมื่อสร้างการวัดความแม่นยำเป็นประจำ ความคลาดเคลื่อนจะถูกตรวจพบตั้งแต่เนิ่นๆ บทเรียน: ระบบที่ไม่ได้วัดจะพังทลายลงอย่างเงียบๆ

กรณีที่ 3 — พลังของวงจรการรักษา บริษัทอีคอมเมิร์ซแห่งหนึ่งเลือกการปรับปรุงผลกระทบสูงสุด 3 รายการในแต่ละเดือน (จากการไม่ทราบบันทึก + เหตุผลในการหมุนเวียน + โฟลว์ล้มเหลว) โดยมีรอบ PDCA รายเดือน ใน 6 เดือน อัตราการแก้ไขบอทเพิ่มขึ้นจาก 52% เป็น 74% CSAT จาก 3.8 เป็น 4.4 — ไม่ใช่ความก้าวหน้าครั้งใหญ่เพียงครั้งเดียว แต่เป็นการปรับปรุงเล็กๆ ที่วัดผลทีละรายการ การปรับปรุงอย่างต่อเนื่องมาจากความสม่ำเสมอ ไม่ใช่การก้าวกระโดด

ข้อผิดพลาดทั่วไป

• มุ่งเน้นไปที่เมตริกเดียว การดำเนินการตาม AHT หรือการกักกันเพียงอย่างเดียวจะทำให้คุณภาพลดลง ทุกตัวชี้วัดจะต้องมีตัวทำให้เสถียร
• แยกเมตริกการผลิตออกจากคุณภาพ "บอทแก้ปัญหาได้มาก" และ "ลูกค้าพึงพอใจ" เป็นสองสิ่งที่แตกต่างกัน อ่านด้วยกัน
• ตั้งค่าครั้งเดียวแล้วปล่อยมันไป ดริฟท์เงียบ การวัดอย่างต่อเนื่องเป็นสิ่งจำเป็น
• พิจารณา CSAT เพียงอย่างเดียวว่าเป็นจริง อัตราการตอบสนองที่ต่ำทำให้ CSAT เข้าใจผิด ดูว่าใครกรอกไว้บ้าง
• ไม่เชื่อมต่อการปรับปรุงเข้ากับข้อมูล จัดลำดับความสำคัญด้วยข้อมูล "ไม่ทราบบันทึก/การส่งมอบ/ขั้นตอนที่ล้มเหลว" ไม่ใช่สัญชาตญาณ

โดยสรุป

การวัดผลและการปรับปรุงอย่างต่อเนื่องเปลี่ยน AI จากการติดตั้งเพียงครั้งเดียวให้กลายเป็นระบบที่มีชีวิต ติดตาม KPI แบบคลาสสิก (AHT, FCR, CSAT, NPS, CES) และตัววัดเฉพาะของ AI (การกักกัน อัตราโซลูชันบอท ความแม่นยำของคำตอบ การใช้คำแนะนำ) ร่วมกัน อ่านตัวชี้วัดการผลิตแต่ละรายการด้วยตัวปรับเสถียรภาพคุณภาพ อย่ายึดติดกับตัวชี้วัดเดียว ปรับปรุงอย่างต่อเนื่องด้วยลูป PDCA และใช้บันทึก "ไม่ทราบ" เหตุผลในการหมุนเวียน และการไหลที่ล้มเหลวเป็นเชื้อเพลิงสำหรับลูป ข้อควรจำ: โมเดลและลูกค้าเปลี่ยนแปลงไปตามกาลเวลา สิ่งที่คุณไม่ได้วัดจะสลายไปอย่างเงียบ ๆ

งานสมัคร

ออกแบบแดชบอร์ด KPI สำหรับโปรแกรม AI ของคุณเองซึ่งประกอบด้วย 7 เมตริก สำหรับแต่ละเมตริก ให้กำหนดคำจำกัดความ เป้าหมาย เมตริกการชดเชย และเกณฑ์การแจ้งเตือน (ใช้เทมเพลต "1) แดชบอร์ด KPI") จากนั้นสร้างชุดข้อมูลรายเดือนสมมติและดำเนินการวิเคราะห์สาเหตุที่แท้จริงด้วยเทมเพลต "2) การตีความหน่วยเมตริก" สุดท้าย จัดลำดับความสำคัญของการปรับปรุงผลกระทบสูงสุด 3 ประการในเดือนหน้าด้วย “4) สรุปผลตอบรับการปรับปรุงอย่างต่อเนื่อง”

รายการตรวจสอบ

• [ ] ฉันติดตาม KPI แบบคลาสสิกและเมตริกเฉพาะของ AI ร่วมกัน
• [ ] ทุกตัวชี้วัดการผลิตมีตัวปรับคุณภาพ ฉันไม่ได้มุ่งเน้นไปที่เมตริกเดียว
• [ ] ฉันอ่านอัตราการกักกัน/โซลูชันบอทพร้อมกับความพึงพอใจของลูกค้า
• [ ] ฉันวัดความแม่นยำของคำตอบและเลื่อนลอยเป็นประจำ
• [ ] ฉันทำการปรับปรุงอย่างต่อเนื่องโดยอาศัยข้อมูลด้วยวงจร PDCA
• [ ] ฉันจัดลำดับความสำคัญของการปรับปรุงด้วยบันทึก "ไม่ทราบ" เหตุผลในการส่งมอบ และขั้นตอนที่ล้มเหลว