กำไร:
- ความสามารถในการเข้าใจธรรมชาติของการทดสอบเชิงสำรวจที่อิงตามความอยากรู้อยากเห็นของมนุษย์ และใช้ปัญญาประดิษฐ์เป็นพันธมิตรในการสร้างกฎเกณฑ์การทดสอบและเบาะแสที่ใช้งานง่าย
- ความสามารถในการกระจายแกนการค้นพบ เช่น อินพุต เวลา รูปแบบ การอนุญาต และการหยุดชะงัก และบันทึกความผิดปกติแต่ละรายการในขั้นตอนการผลิตอีกครั้ง
- ความสามารถในการใช้ขีดจำกัดของการใช้ AI เฉพาะในการเตรียมการและสรุปในขณะที่เซสชันการค้นพบนั้นดำเนินการโดยมนุษย์
ทุกกรณีการทดสอบที่เขียนขึ้นจะตรวจสอบสิ่งที่คิดไว้แล้ว แต่ข้อผิดพลาดที่อันตรายที่สุดมักจะซ่อนอยู่ในสถานที่ที่ไม่มีใครเคยนึกถึงมาก่อน การทดสอบเชิงสำรวจ — วิธีการทดสอบที่ผู้ทดสอบเรียนรู้ ออกแบบ และใช้งานผลิตภัณฑ์ไปพร้อมๆ กันโดยการสำรวจโดยไม่ต้องอาศัยสคริปต์ที่เขียนไว้ล่วงหน้า — กำหนดเป้าหมายช่องว่างนี้อย่างชัดเจน ในการทดสอบเชิงสำรวจ ผู้เชี่ยวชาญเล่นกับผลิตภัณฑ์ได้อย่างอิสระ ถามว่า "จะเกิดอะไรขึ้นถ้าฉันทำเช่นนี้" และตรวจจับพฤติกรรมที่ไม่คาดคิดของระบบ นี่คือประเภทของการทดสอบที่ต้องอาศัยสัญชาตญาณและความอยากรู้อยากเห็นของมนุษย์มากที่สุด และนั่นคือสาเหตุที่บทบาทของปัญญาประดิษฐ์ (AI) ในที่นี้ไม่ได้ "แทนที่" แต่เพื่อขยายความอยากรู้อยากเห็น ทำให้เกิดจุดบอด และสร้างแนวคิดต่างๆ
ในหน่วยนี้ คุณจะได้เรียนรู้วิธีใช้ AI เป็นพันธมิตรการทดสอบเชิงสำรวจ ตั้งแต่การพิมพ์กฎบัตรการทดสอบ พฤติกรรมจำลอง ไปจนถึงการสรุปบันทึกหลังเซสชัน
เหตุใดการทดสอบเชิงสำรวจจึงยังคงเป็นงานของมนุษย์
การทดสอบตามสคริปต์ - การทดสอบที่มีขั้นตอนที่เขียนไว้ล่วงหน้าและคำต่อคำซ้ำ - ยืนยันสิ่งที่ทราบ การทดสอบเชิงสำรวจค้นหาสิ่งที่ไม่ทราบ คุณค่าในการทดสอบเชิงสำรวจมาจากช่วงเวลาที่ผู้ทดสอบเห็นผลิตภัณฑ์และสัมผัสได้ว่า "มีบางอย่างแปลกๆ อยู่ที่นี่" AI ไม่สามารถมองเห็นผลิตภัณฑ์ในแบบที่คุณเห็น ไม่สามารถรับรู้ได้ว่าสิ่งใดที่จะรบกวนผู้ใช้จริง และไม่สามารถถูกรบกวนด้วยการพูดว่า "ปุ่มนี้อยู่ผิดที่" แต่ AI เป็นตัวช่วยที่ทรงพลังมากในสามวิธี: (1) สร้างรายการแนวคิดการทดสอบอย่างเป็นระบบ (2) เตือนคุณเกี่ยวกับแกนทดสอบที่คุณลืมไปแล้ว (3) เปลี่ยนบันทึกการค้นพบที่กระจัดกระจายของคุณให้เป็นรายงานที่จัดระเบียบ
เคล็ดลับ: ขอให้ AI "อุ่นเครื่องแนวคิดทดสอบ" ก่อนที่จะเริ่มเซสชั่นการค้นพบ อย่าปล่อยให้หน้าจอเป็นหน้าที่ของ AI ในระหว่างเซสชั่น AI มีประโยชน์ทั้งก่อนและหลังเซสชัน เซสชันนี้ขับเคลื่อนด้วยความอยากรู้อยากเห็นของคุณ
ฮิวริสติกส์และ AI
ผู้ทดสอบเชิงสำรวจใช้การวิเคราะห์พฤติกรรม ซึ่งเป็นการเตือนสั้นๆ ที่ให้แนวทางในการตามล่าหาแมลง AI สามารถเตือนคุณถึงสิ่งเหล่านี้โดยปรับให้เข้ากับบริบทของคุณ คลาสสิกบางส่วน:
- CRUD: ลองใช้โฟลว์สร้าง อ่าน อัปเดต ลบสำหรับแต่ละข้อมูล ขัดจังหวะใครบางคน
- Goldilocks (น้อย/เต็ม/มาก): ป้อนข้อมูลเพียงเล็กน้อย เต็ม และจำนวนมากในช่อง (0 ตัวอักษร, 1 ตัวอักษร, 10,000 ตัวอักษร)
- CRUD + การกำหนดเวลา: แก้ไขบันทึกเดียวกันในสองแท็บพร้อมกัน จากนั้นบันทึกทั้งสองแท็บ
- ขัดจังหวะ: รีเฟรชหน้าระหว่างดำเนินการ ยกเลิกการเชื่อมต่อเครือข่าย กด Backspace
- ลำดับย้อนกลับ: ทำตามขั้นตอนในลำดับย้อนกลับ (ชำระเงินก่อนแล้วจึงหยิบลงตะกร้า)
เมื่อคุณบอกให้ AI “แนะนำการทดลองที่เป็นรูปธรรมโดยใช้สัญญาณที่ใช้งานง่ายเหล่านี้สำหรับหน้าจอนั้น” คุณจะได้รับรายการตรวจสอบที่พร้อมภาคสนาม
การเขียนเงื่อนไขการทดสอบ (กฎบัตร)
การทดสอบเชิงสำรวจไม่ได้เกี่ยวกับการเดินไปเดินมา โดยมุ่งเน้นไปที่กฎบัตรการทดสอบ (คำสั่งสั้นๆ ที่กำหนดว่าเซสชันการสำรวจจะสำรวจอะไรและเพื่อวัตถุประสงค์ใด) กฎบัตรที่ดีเป็นไปตามรูปแบบนี้: “สำรวจ [โดเมนเป้าหมาย] โดยใช้ [เครื่องมือ/ข้อมูล] เพื่อเปิดเผย [ข้อมูล/ความเสี่ยง]” AI ร่างข้อกำหนดเหล่านี้อย่างรวดเร็ว
ปรับสมดุลการทดสอบสคริปต์กับการทดสอบเชิงสำรวจ
กลยุทธ์การทดสอบที่ดีใช้การผสมผสานระหว่างการทดสอบตามสคริปต์ (อัตโนมัติ ทำซ้ำได้) และการทดสอบเชิงสำรวจ การทดสอบแบบสคริปต์จะตรวจสอบอย่างถูกว่าพฤติกรรมที่ทราบจะไม่เสียหาย รุ่นแล้วรุ่นเล่า ในทางกลับกัน การทดสอบเชิงสำรวจจะมองหาความเสี่ยงใหม่ๆ ที่สคริปต์เหล่านี้ไม่เคยพิจารณามาก่อน ทั้งสองไม่ใช่คู่แข่ง แต่เป็นส่วนเสริม ข้อผิดพลาดทั่วไปคือการคิดว่า "มาทำให้ทุกอย่างเป็นอัตโนมัติกันเถอะ จะได้ไม่ต้องค้นพบ"; แม้ว่าระบบอัตโนมัติจะตรวจสอบเฉพาะสิ่งที่คุณรู้อยู่แล้ว แต่จะไม่สามารถค้นหาสิ่งที่คุณไม่รู้ได้ ข้อผิดพลาดอีกประการหนึ่งคือสิ่งที่ตรงกันข้าม: อาศัยการค้นหาด้วยตนเองในแต่ละรุ่นโดยไม่ต้องตั้งค่าระบบอัตโนมัติใดๆ สิ่งนี้นำไปสู่ข้อบกพร่องพื้นฐานเดิมๆ ที่คืบคลานเข้ามาซ้ำแล้วซ้ำเล่า
AI ช่วยสร้างสมดุลนี้: คุณสามารถเปลี่ยนความผิดปกติที่คุณพบในเซสชันการค้นพบของคุณให้เป็นการทดสอบการถดถอยแบบสคริปต์ถาวรโดยมอบให้กับ AI ดังนั้นข้อผิดพลาดเมื่อค้นพบในการค้นพบจะไม่สามารถกลับมาตรวจไม่พบได้อีก Discovery ดูแล "ค้นหาความเสี่ยงใหม่" ระบบอัตโนมัติดูแล "อย่าละทิ้งสิ่งที่พบ" AI เร่งสะพานเชื่อมระหว่างทั้งสอง
เคล็ดลับ: แยกผลลัพธ์ของเซสชันการค้นหาแต่ละรายการออกเป็นสองส่วน: “จุดบกพร่องที่ต้องแก้ไขทันที” และ “สถานการณ์ที่จะกลายเป็นระบบอัตโนมัติถาวร” ที่เก็บข้อมูลที่สองจะนำมูลค่าระยะยาวของการค้นพบไปไว้ในแพ็คเกจการถดถอยของคุณ
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
อ่อนแอ: "ฉันควรทดสอบอะไรบนหน้าจอนี้"
แข็งแกร่ง: "สำหรับฟีเจอร์ 'การอัปโหลดรูปโปรไฟล์' ให้แบ่งเซสชันการทดสอบเชิงสำรวจ 90 นาทีออกเป็น 3 เงื่อนไขการทดสอบ สำหรับแต่ละเงื่อนไข: ระบุเป้าหมาย เบาะแสที่ใช้งานง่าย (ขนาดไฟล์/รูปแบบ/goldilocks/การตัดทอน) การดำเนินการที่เป็นรูปธรรม 5 ประการที่ควรลอง และสัญญาณความเสี่ยงที่ต้องระวัง (การชะลอตัว รูปภาพที่เสียหาย ความปลอดภัย) โดยเฉพาะอย่างยิ่งจัดการกับความเสี่ยงของการอัปโหลดไฟล์ที่เป็นอันตราย (ไฟล์ใหญ่เกินไป นามสกุลไม่ถูกต้อง) ในเชิงป้องกัน"
พรอมต์อันทรงพลัง; ให้ระยะเวลา โครงสร้าง เบาะแส และการมุ่งเน้นความเสี่ยง ผลลัพธ์ที่ได้คือโรดแมปที่คุณจะเก็บไว้ใช้สะดวกตลอดเซสชั่น
ตารางแกนสำรวจ
แกน
คำถามที่จะถาม
เรียงความตัวอย่าง
ขีดจำกัดอินพุต
สนามทำอะไรที่ค่าสูงสุด?
ชื่อตัวละคร 10,000 ตัว
เวลา
จะเกิดอะไรขึ้นในการประมวลผลพร้อมกัน/หยุดชะงัก?
บันทึกบันทึกเดียวกันในสองแท็บ
รูปแบบ
จะจัดการกับรูปแบบที่ไม่คาดคิดได้อย่างไร?
อิโมจิ ข้อความจากขวาไปซ้าย HTML
ผู้มีอำนาจ
ผู้ใช้ที่ไม่ได้รับอนุญาตสามารถเข้าถึงได้หรือไม่?
เปลี่ยน URL ด้วยตนเอง
สถานะ
การเปลี่ยนสถานะที่ไม่ถูกต้องเป็นไปได้หรือไม่
ลองชำระเงินสำหรับคำสั่งซื้อที่ถูกยกเลิก
การหักเงิน
ข้อมูลสอดคล้องกันเมื่อเครือข่าย/เซสชันถูกขัดจังหวะหรือไม่
ตัดเครือข่ายขณะบันทึก
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) เครื่องกำเนิดเงื่อนไขการทดสอบ:
บทบาทของคุณ: ผู้ทดสอบเชิงสำรวจอาวุโส แบ่งเซสชันการสำรวจ [ระยะเวลา] นาทีออกเป็น 3-4 เงื่อนไขการทดสอบสำหรับคุณลักษณะ: [คุณลักษณะ] แต่ละเงื่อนไข: เป้าหมาย เบาะแสที่ใช้งานง่าย การกระทำที่เป็นรูปธรรม 5 ประการที่ควรลอง สัญญาณความเสี่ยงที่ต้องจับตามอง รูปแบบเงื่อนไข: "สำรวจ [โดเมน] ด้วย [เครื่องมือ/ข้อมูล] สำหรับ [ความเสี่ยง/ข้อมูล]"
2) อะแดปเตอร์คิวที่ใช้งานง่าย:
แปลคำใบ้ที่เข้าใจง่ายเหล่านี้เป็นการทดลองที่เป็นรูปธรรมสำหรับหน้าจอต่อไปนี้: CRUD, goldilocks (น้อย/เต็ม/มาก), ขัดจังหวะ, ลำดับย้อนกลับ, การอนุญาตบายพาส หน้าจอ: [คำอธิบายหน้าจอ/โฟลว์] เขียนการทดลองเฉพาะหน้าจอ 2 รายการสำหรับแต่ละเบาะแส
3) การแจ้งเตือนจุดบอด:
ฉันกำลังทดสอบคุณสมบัติต่อไปนี้: [คุณสมบัติ] แสดงรายการ 10 กรณีที่ผู้ทดสอบที่มีประสบการณ์มักพลาดคุณสมบัติประเภทนี้ รวมถึงการเข้าถึง การแปลเป็นภาษาท้องถิ่น (ภาษา/วันที่/สกุลเงิน) การทำงานพร้อมกัน การรักษาความปลอดภัย และแกนด้านประสิทธิภาพ
4) ตัวสรุปบันทึกเซสชัน:
ด้านล่างนี้เป็นบันทึกดิบจากเซสชันการค้นพบของฉัน จัดระเบียบไว้ในโครงสร้างนี้: - ความผิดปกติที่พบ (โดยมีความรุนแรงโดยประมาณ) - ผู้ที่มีขั้นตอนการทำซ้ำที่ทราบ - รายการที่ต้องมีการตรวจสอบเพิ่มเติม - ข้อเสนอแนะสำหรับเซสชันถัดไป หมายเหตุดิบ: [วางบันทึกย่อ]
มินิเคสสามอัน
กรณีที่ 1 — การแจ้งเตือนจุดบอดในการดำเนินการ ผู้เชี่ยวชาญกำลังทดสอบคุณลักษณะการค้นหาในแอปพลิเคชันหลายภาษา เมื่อ AI เตือนให้ "อย่าลืมแกนการแปล" เขาจึงลองใช้การแปลงตัวอักษร "i/I" เฉพาะภาษาตุรกี การค้นหา "อิสตันบูล" ไม่พบผลลัพธ์ใดๆ ตรวจพบข้อผิดพลาดในการแปลงตัวพิมพ์เล็ก แกน AI เตือน ผู้เชี่ยวชาญลองแล้วพบว่า
กรณีที่ 2 — จุดเน้นของกฎบัตร ผู้ทดสอบรายใหม่ใช้เวลา 2 ชั่วโมงในการ "ท่องเว็บ" ผ่านหน้าจอการชำระเงิน แต่จดบันทึกเล็กๆ น้อยๆ เพียง 2 ข้อเท่านั้นเนื่องจากไม่มีโครงสร้าง หลังจากวางแผนเซสชันโดย AI แบ่งออกเป็น 3 เงื่อนไขการทดสอบ ก็บันทึกความผิดปกติ 11 รายการในช่วงเวลาเดียวกัน พวกเขาสองคนจริงจัง ในเวลาเดียวกันก็มีประสิทธิภาพมากกว่าถึง 5 เท่าด้วยโครงสร้าง
กรณีที่ 3 — การทดสอบการอัพโหลดไฟล์เชิงป้องกัน ทีมงานลองใช้ "นามสกุลผิด/ไฟล์ใหญ่เกินไป" ที่แนะนำโดย YZ ในการอัปโหลดรูปโปรไฟล์ภายในผลิตภัณฑ์ของตนเอง พบว่าไฟล์ขนาด 50 MB ทำให้เซิร์ฟเวอร์เสียหายเป็นเวลา 40 วินาที และเพิ่มขีดจำกัดขนาดและการหมดเวลา การทดสอบดำเนินการกับผลิตภัณฑ์ของบริษัทเองเท่านั้น เพื่อวัตถุประสงค์ในการป้องกัน
ข้อผิดพลาดทั่วไป
- แทนที่ AI ด้วยเซสชัน คุณค่าของการค้นพบอยู่ที่การสังเกตและสัญชาตญาณของคุณ AI ช่วยในการเตรียมพร้อมและฟื้นฟู
- เรียกดูโดยไม่ต้องจอง ใช้เวลาหลายชั่วโมงโดยไม่มีสมาธิและค้นหาสิ่งเล็กๆ น้อยๆ เงื่อนไขการทดสอบให้โฟกัส
- ไม่รวบรวมบันทึก หากคุณไม่บันทึกความผิดปกติที่พบในการค้นพบพร้อมกับขั้นตอนการผลิตอีกครั้ง การค้นพบนั้นจะหายไป
- ติดอยู่ในแกนเดียว ทดสอบขีดจำกัดของอินพุตเสมอ ข้ามอำนาจ การจัดกำหนดการ แกนการแปล
- ดำเนินการทดสอบความปลอดภัยโดยไม่ได้รับอนุญาต พยายามจัดการไฟล์/URL ในผลิตภัณฑ์ของคุณเองและได้รับอนุญาตเท่านั้น
โดยสรุป
การทดสอบเชิงสำรวจเป็นการทดสอบประเภทหนึ่งที่ต้องอาศัยความอยากรู้ของมนุษย์มากที่สุด โดยค้นหาสิ่งที่ไม่ได้เขียนไว้ AI จะไม่มาแทนที่คุณที่นี่ โดยสรุปเงื่อนไขการทดสอบ ปรับคำใบ้ตามสัญชาตญาณให้เข้ากับบริบทของคุณ เตือนคุณถึงจุดบอด และเปลี่ยนบันทึกเซสชั่นที่ยุ่งวุ่นวายของคุณให้เป็นรายงานที่จัดระเบียบ คุณค่ามาจากการสังเกตและสัญชาตญาณของคุณ AI มุ่งเน้นและเพิ่มมูลค่านี้ เขียนเงื่อนไข เปลี่ยนแปลงแกน บันทึกผลการค้นพบด้วยขั้นตอนการผลิตอีกครั้ง ทำการทดสอบความปลอดภัยภายในเวลาที่ได้รับอนุญาตเท่านั้น
งานสมัคร
เลือกคุณสมบัติจากผลิตภัณฑ์ของคุณเอง แบ่งเซสชั่น 60 นาทีออกเป็น 3 เงื่อนไขโดยใช้เทมเพลต “ตัวสร้างเงื่อนไขการทดสอบ” พร้อม AI ทำเซสชัน (โดยไม่ต้องใช้ AI สำรวจด้วยมือ) เก็บบันทึกดิบ เมื่อเสร็จแล้ว ให้จัดระเบียบบันทึกย่อด้วยเทมเพลต “ตัวสรุปบันทึกเซสชัน” ผลลัพธ์: ความผิดปกติอย่างน้อย 5 รายการ ขั้นตอนการฟื้นฟูสำหรับแต่ละข้อ และการประมาณความรุนแรง โปรดทราบว่าเงื่อนไขการทดสอบและเงื่อนงำตามสัญชาตญาณใดที่ส่งผลให้เกิดความผิดปกติที่มีค่าที่สุดที่คุณพบ
รายการตรวจสอบ
- [ ] ก่อนเซสชั่น ฉันสร้างเงื่อนไขการทดสอบด้วย AI และกำหนดจุดสนใจ
- [ ] ฉันลองใช้แกนการค้นพบที่แตกต่างกันอย่างน้อย 4 แกน (อินพุต เวลา รูปแบบ การอนุญาต การหยุดชะงัก)
- [ ] ฉันดำเนินการเซสชั่นด้วยตนเอง ด้วยความอยากรู้อยากเห็นของตัวเอง ฉันไม่ได้แทนที่ AI
- [ ] ฉันบันทึกความผิดปกติแต่ละรายการพร้อมขั้นตอนการสืบพันธุ์และการประเมินความรุนแรง
- [ ] ฉันเปลี่ยนบันทึกของฉันให้เป็นรายงานปกติด้วย AI
- [ ] ฉันได้พยายามรักษาความปลอดภัย/จัดการผลิตภัณฑ์ของตัวเองและได้รับอนุญาตเท่านั้น