การวิเคราะห์การทดสอบการใช้งานและการสังเคราะห์ผลการวิจัย

กำไร:

• ความสามารถในการแปลงบันทึกการทดสอบการใช้งานและบันทึกการสังเกตให้เป็นข้อค้นพบ น้ำหนัก และคำแนะนำด้วยปัญญาประดิษฐ์
• ความสามารถในการจัดอันดับสิ่งที่ค้นพบตามความรุนแรงและสร้างตารางการจัดลำดับความสำคัญ
• ความสามารถในการแก้ไขการค้นพบที่ปัญญาประดิษฐ์ละเว้นหรือเกินจริงด้วยหลักฐานการสังเกตจริง

การทดสอบการใช้งานเป็นวิธีการสังเกตได้ว่าการออกแบบทำงานที่ไหนและติดขัดตรงไหนโดยมอบหมายงานเฉพาะให้กับผู้ใช้จริงและติดตามดู การทดสอบนั้นง่ายมาก ความท้าทายที่แท้จริงคือผลที่ตามมา: เปลี่ยนชั่วโมงการบันทึก หน้าบันทึกการสังเกต และภาพหน้าจอที่กระจัดกระจายให้กลายเป็นการค้นพบที่ชัดเจนและจัดลำดับความสำคัญ การสังเคราะห์นี้ใช้เวลาหลายวันและทีมงานมักจะปล่อยให้การสังเคราะห์ไม่เสร็จ ปัญญาประดิษฐ์ช่วยเปิดปัญหาคอขวดนี้: เปลี่ยนบันทึกและบันทึกย่อให้เป็นข้อค้นพบ น้ำหนัก และคำแนะนำ แต่เป็นการตัดสินของมนุษย์ที่จะตัดสินใจว่าการสังเกตการณ์เป็นปัญหาจริงๆ หรือไม่และมีความสำคัญเพียงใด

ความแตกต่างระหว่างการสังเกต การค้นพบ และข้อเสนอแนะ

สิ่งสำคัญคือต้องแยกสามชั้นในการสังเคราะห์:

• ผู้สังเกต : เกิดอะไรขึ้น ไม่มีความเห็น "ผู้เข้าร่วม 3 ค้นหาปุ่ม 'ดำเนินการต่อ' เป็นเวลา 40 วินาที"
• การค้นพบ: รูปแบบที่เกิดจากการสังเกต "ผู้ใช้ประสบปัญหาในการค้นหาการดำเนินการหลัก"
• คำแนะนำ: จะทำอย่างไร. "ทำให้ปุ่มหลักดูโดดเด่น"

AI สร้างเลเยอร์ทั้งสามนี้อย่างรวดเร็ว แต่มักจะสร้างความสับสนให้กับการสังเกตกับการค้นหา หรืออนุมานการค้นพบทั้งหมดจากการสังเกตเพียงครั้งเดียว งานของคุณคือการตรวจสอบว่ามีการสังเกตการณ์เพียงพอ (จำนวนผู้เข้าร่วม กี่ครั้ง) ที่อยู่เบื้องหลังการค้นพบแต่ละครั้ง

เคล็ดลับ: ให้ปัญญาประดิษฐ์พูดว่า "ด้านล่างการค้นพบแต่ละครั้ง ให้เพิ่มข้อสังเกตที่สนับสนุนและจำนวนผู้เข้าร่วมที่พบ" วิธีนี้ทำให้คุณสามารถแยกแยะสิ่งที่ค้นพบที่สูงเกินจริงจากการสังเกตเพียงครั้งเดียวได้ทันที

ความรุนแรง: จะต้องแก้ไขอะไรก่อน?

การค้นพบทั้งหมดไม่เท่ากัน ระดับความรุนแรงบ่งชี้ว่าปัญหาจำเป็นต้องได้รับการแก้ไขอย่างเร่งด่วนเพียงใด และพิจารณาจากปัจจัย 3 ประการ:

1. ผลกระทบ: ปัญหานี้ทำให้ผู้ใช้ไม่สามารถทำงานให้เสร็จสิ้นหรือเพียงรบกวนพวกเขาได้หรือไม่
2. ความถี่: มีผู้ใช้กี่คนและบ่อยแค่ไหน?
3. ผลกระทบทางธุรกิจ: ปัญหานี้มีผลกระทบต่อการเปลี่ยนแปลง รายได้ หรือความไว้วางใจมากน้อยเพียงใด

ระดับทั่วไป: วิกฤต (ขัดขวางภารกิจโดยสิ้นเชิง), สูง (ความยากระดับรุนแรง), ปานกลาง (ช้าลง), ต่ำ (สวยงาม) AI อาจแนะนำการจัดอันดับเบื้องต้น แต่การตัดสินใจถ่วงน้ำหนักขั้นสุดท้าย โดยเฉพาะผลกระทบทางธุรกิจ ต้องใช้ความรู้ของทีมเกี่ยวกับบริบท

การค้นหา

ผลกระทบ

ความถี่

ความสำคัญ

ข้อเสนอแนะ

ไม่พบปุ่มหลัก

มันรบกวนการทำงาน

ผู้เข้าร่วม 4/6 คน

สำคัญ

ปุ่มไฮไลท์

ข้อความแสดงข้อผิดพลาดไม่ชัดเจน

ชะลอตัวลง

3/6

สูง

ชี้แจงข้อความ

ไอคอนความหมายไม่ชัดเจน

ลังเลเล็กน้อย

2/6

ปานกลาง

เพิ่มแท็ก

โทนสีไม่ค่อยชอบ

เครื่องสำอาง

1/6

ต่ำ

ทิ้งไว้ในภายหลัง

มินิเคสสามอัน

กรณีที่ 1 — การบันทึก 5 ชั่วโมง พบผลลัพธ์ในครึ่งวัน ทีมหนึ่งป้อนบันทึกการทดสอบผู้ใช้ 6 รายการ (รวม 5 ชั่วโมง) ให้กับ AI แบบจำลองเสนอข้อค้นพบ 14 ข้อ; ทีมงานตรวจสอบแต่ละรายการกับจำนวนการสังเกต โดยจำกัดให้เหลือ 9 รายการ และจัดอันดับตามลำดับความสำคัญ การสังเคราะห์ซึ่งจะใช้เวลา 2 วันด้วยตนเอง ลดลงเหลือครึ่งวัน

กรณีที่ 2 — การค้นพบที่สูงเกินจริงตรวจพบได้ “ผู้ใช้ไม่เข้าใจการนำทาง” AI เขียนในการค้นพบที่สำคัญ เมื่อทีมดูข้อสังเกตสนับสนุน พวกเขาพบว่ามันอิงจากช่วงเวลาเดียวจากผู้เข้าร่วมเพียงคนเดียว ผลการวิจัยถูกลดระดับลงเป็น "ปานกลาง" และได้รับการร้องขอข้อมูลเพิ่มเติม บทเรียน: การสังเกตเพียงครั้งเดียวไม่ได้ทำให้เกิดการค้นพบที่สำคัญ

กรณีที่ 3 — พลาดปัญหาร้ายแรง โมเดลนับปัญหาที่เกิดขึ้นซ้ำๆ แต่ดูเหมือนเป็นปัญหาเล็กน้อย (แบบฟอร์มที่ไม่เลื่อนอัตโนมัติ) เป็น "ต่ำ" เมื่อนักออกแบบดูข้อสังเกต เขาพบว่าสิ่งนี้ทำให้ผู้เข้าร่วม 5 คนละทิ้งงานและตั้งค่าเป็น "สูง" บทเรียน: การประมาณความสำคัญของ AI ได้รับการแก้ไขโดยหลักฐานเชิงสังเกต

การอ่านข้อมูลเชิงปริมาณและเชิงคุณภาพร่วมกัน

การทดสอบการใช้งานส่วนใหญ่เป็นเชิงคุณภาพ (จากการสังเกต) แต่ก็มีสัญญาณเชิงปริมาณ (ตัวเลข) ด้วย เช่น อัตราความสำเร็จของงาน ระยะเวลาของงาน จำนวนข้อผิดพลาด คะแนนความพึงพอใจ การสังเคราะห์ที่ทรงพลังที่สุดผสมผสานสองสิ่งนี้เข้าด้วยกัน: “มีผู้เข้าร่วมเพียง 33% เท่านั้นที่เสร็จสิ้นงานชำระเงิน (เชิงปริมาณ) และทุกคนที่ล้มเหลวในการดำเนินการให้เสร็จสิ้นต้องติดอยู่ที่ขั้นตอนการจัดส่ง (เชิงคุณภาพ)” ปัญญาประดิษฐ์ช่วยรวมข้อมูลทั้งสองนี้เข้าด้วยกันเมื่อคุณให้ข้อมูลแยกกัน แต่คุณยืนยันความถูกต้องของตัวเลขและขนาดตัวอย่าง การพูดถึงเปอร์เซ็นต์อาจทำให้เข้าใจผิดในกลุ่มตัวอย่างเล็กๆ (เช่น ผู้ใช้ 5 คน) การพูดว่า "ผู้ใช้ 3 ใน 5 ราย" มีความตรงไปตรงมามากกว่าการพูดว่า "60%" ขอให้แบบจำลองพูดเป็นจำนวนสัมบูรณ์

เคล็ดลับ: ให้ AI พูดว่า "เขียนเป็น 'จำนวนผู้ใช้' แทนที่จะเป็นเปอร์เซ็นต์" ในกลุ่มตัวอย่างขนาดเล็ก เปอร์เซ็นต์ให้ความรู้สึกว่ามีความแม่นยำมากกว่าที่เป็นจริง

พร้อมท์ที่คัดลอกได้

บทบาทของคุณ: นักวิเคราะห์การใช้งาน ดึงสิ่งที่ค้นพบจากบันทึกการทดสอบที่ไม่ระบุชื่อต่อไปนี้ สำหรับการค้นพบแต่ละครั้ง: 1) ข้อความที่ชัดเจน 2) สนับสนุนการสังเกตและจำนวนผู้เข้าร่วมที่เห็น 3) ผลกระทบ (การปิดกั้น/การชะลอตัว/การตกแต่ง) ทำเครื่องหมายการค้นพบจากการสังเกตเพียงครั้งเดียวว่าเป็น "หลักฐานที่อ่อนแอ" หมายเหตุ: <<ข้อความ>>

จัดเรียงรายการข้อค้นพบนี้ตามความสำคัญ เกณฑ์: ผลกระทบ (อุปสรรคของงาน) ความถี่ (มีผู้เข้าร่วมกี่คน) ผลกระทบทางธุรกิจ กำหนดผลการวิจัยแต่ละรายการที่สำคัญ/สูง/ปานกลาง/ต่ำ และเขียนเหตุผล หากคุณไม่แน่ใจเกี่ยวกับผลกระทบทางธุรกิจ ให้พูดว่า "ทีมต้องประเมิน" ผลการวิจัย: <<รายการ>>

เขียนคำแนะนำการออกแบบที่เป็นรูปธรรมและนำไปปฏิบัติได้สำหรับการค้นพบแต่ละครั้ง คำแนะนำ: สิ่งที่จะเปลี่ยนแปลง + เหตุใดจึงแก้ปัญหาได้ + หน้าจอใดที่ส่งผลต่อ หลีกเลี่ยงคำแนะนำที่คลุมเครือ ("ทำดีกว่า") ผลการวิจัย: <<รายการ>>

สรุปรายงานการค้นพบนี้เพื่อการนำเสนอของผู้มีส่วนได้ส่วนเสีย: เขียนบทสรุปผู้บริหารโดยย่อซึ่งประกอบด้วยข้อค้นพบที่สำคัญที่สุด 3 ประการ หลักฐาน (จำนวนผู้ใช้) และการดำเนินการที่แนะนำ การพูดเกินจริง; นำตัวเลขจากบันทึกรายงาน: <<ข้อความ>>

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

อ่อนแอ: "สรุปจากคะแนนสอบเหล่านี้"

ผลลัพธ์: รายการปะปนกันโดยไม่มีหลักฐาน ไม่มีลำดับความสำคัญ และเข้าใจผิดว่าข้อสังเกตเดียวคือการค้นพบ

ชัดเจน: "วาดการค้นพบจากบันทึก; ใต้การค้นพบแต่ละครั้ง ให้เพิ่มข้อสังเกตสนับสนุนและจำนวนผู้เข้าร่วมที่ถูกพบ ทำเครื่องหมายสิ่งที่ค้นพบจากการสังเกตเพียงครั้งเดียวว่าเป็น 'หลักฐานที่อ่อนแอ' จากนั้นจัดอันดับตามลำดับความสำคัญตามเอฟเฟกต์-ความถี่-เอฟเฟกต์งาน"

ผลลัพธ์: การค้นพบตามหลักฐาน, จัดลำดับความสำคัญ, ป้องกันได้

ความแตกต่าง: พรอมต์ที่ชัดเจน แจ้งจำนวนหลักฐาน + พรอมต์ที่อ่อนแอ + เกณฑ์ความสำคัญ

ข้อผิดพลาดทั่วไป

• การสังเกตที่สับสนกับการค้นพบ เปลี่ยน "สิ่งที่เกิดขึ้น" เดี่ยวๆ ให้เป็นบทสรุปโดยรวม
• การค้นพบที่สำคัญจากการสังเกตเพียงครั้งเดียว จะไม่มีการให้น้ำหนักจนกว่าความถี่จะได้รับการยืนยัน
• การตัดสินใจผลกระทบทางธุรกิจต่อปัญญาประดิษฐ์ ผลกระทบต่อรายได้/การแปลงต้องมีบริบท เขาอยู่ในทีมของเขา
• อย่าจัดลำดับความสำคัญ. รายการการค้นพบที่ไม่เป็นระเบียบทำให้ทีมเป็นอัมพาต ไม่ใช่ทุกอย่างจะสามารถแก้ไขได้ในคราวเดียว
• ทิ้งข้อเสนอแนะไว้อย่างคลุมเครือ “ทำดีกว่า” ใช้ไม่ได้ อะไร ทำไม และที่ไหน ควรชัดเจน

โดยสรุป

คุณค่าของการทดสอบการใช้งานมาจากการเปลี่ยนการบันทึกและบันทึกย่อให้กลายเป็นการค้นพบที่ชัดเจนและจัดลำดับความสำคัญ ปัญญาประดิษฐ์ช่วยเร่งการสังเคราะห์นี้อย่างมาก: รวบรวมข้อสังเกตเข้ากับข้อค้นพบ ร่างข้อเสนอแนะ แนะนำลำดับความสำคัญ แต่เป็นงานของมนุษย์ในการตรวจสอบจำนวนข้อสังเกตเบื้องหลังการค้นพบแต่ละครั้ง เพื่อกำจัดการค้นพบที่สูงเกินจริงจากการสังเกตเพียงครั้งเดียว และเพื่อชั่งน้ำหนักผลกระทบทางธุรกิจกับบริบท รายงานการค้นพบที่อิงตามหลักฐาน มีความถี่ที่แน่นอน และจัดเรียงตามลำดับความสำคัญจะเป็นไปอย่างรวดเร็วและสามารถปกป้องผู้มีส่วนได้ส่วนเสียได้

งานสมัคร

1. ไม่เปิดเผยชื่อบันทึกจากการทดสอบการใช้งาน (ของจริงหรือตัวละคร)
2. ลบสิ่งที่ค้นพบในข้อความแจ้งแรก ตรวจสอบจำนวนข้อสังเกตในแต่ละข้อ
3. แยกการค้นพบที่ทำเครื่องหมายว่าเป็น "หลักฐานที่อ่อนแอ" และตัดสินใจว่าจำเป็นต้องมีข้อมูลเพิ่มเติมหรือไม่
4. ด้วยข้อความที่สอง ให้จัดอันดับสิ่งที่ค้นพบตามลำดับความสำคัญ ประเมินผลกระทบทางธุรกิจเป็นทีม
5. ในข้อความที่สาม ให้เขียนข้อเสนอแนะที่เป็นรูปธรรมสำหรับการค้นพบแต่ละครั้งและสร้างตารางการจัดลำดับความสำคัญ

รายการตรวจสอบ

• [ ] ฉันเก็บการสังเกต ข้อค้นพบ และข้อเสนอแนะเป็นชั้นๆ แยกกัน
• [ ] ฉันตรวจสอบจำนวนผู้เข้าร่วมที่แสดงให้เห็นผลการวิจัยแต่ละครั้ง
• [ ] ฉันทำเครื่องหมายการค้นพบจากการสังเกตเพียงครั้งเดียวว่าเป็นหลักฐานที่อ่อนแอ
• [ ] ฉันกำหนดระดับความรุนแรงโดยผลกระทบ-ความถี่-งาน
• [ ] ประเมินการตัดสินใจสร้างผลกระทบทางธุรกิจร่วมกับทีมงาน
• [ ] ฉันเขียนข้อเสนอแนะอย่างเป็นรูปธรรม (อะไร/ทำไม/ที่ไหน)