การวิเคราะห์บันทึกและการสังเกต

กำไร:

• ความสามารถในการสรุปดัมพ์บันทึกขนาดใหญ่โดยการมาสก์และกรองเป็น AI และสร้างไทม์ไลน์
• ความสามารถในการประเมินความสัมพันธ์ของเวลาที่ AI สร้างขึ้นเป็นสมมติฐาน ไม่ใช่เชิงสาเหตุ
• ความสามารถในการตรวจสอบสมมติฐานต้นตอของสาเหตุด้วยหน่วยเมตริกและโค้ด และเตรียมร่างภาพหลังชันสูตรพลิกศพ

เมื่อซอฟต์แวร์กำลังทำงานในการใช้งานจริง (สภาพแวดล้อมที่ใช้งานจริง) เฉพาะการติดตาม ตัวชี้วัด และบันทึก (รายการบันทึกที่ประทับเวลาที่สร้างโดยแอปพลิเคชันในขณะที่กำลังทำงาน) เท่านั้นที่จะบอกคุณว่าซอฟต์แวร์กำลังทำอะไรอยู่ การดึงสัญญาณที่มีความหมายจากสายบันทึกหลายพันหรือบางครั้งอาจเป็นหลายล้านสายในระหว่างที่ไฟฟ้าดับถือเป็นช่วงเวลาที่ตึงเครียดและวิกฤตเวลามากที่สุดในการตอบสนองต่อเหตุการณ์ ที่นี่ AI สามารถเป็นตัวช่วยในการสรุปข้อความขนาดใหญ่ แยกรูปแบบ และสร้างสมมติฐานได้ ตราบใดที่คุณเคารพความเป็นส่วนตัวและขีดจำกัดในการตรวจสอบ

ในหน่วยนี้ เราเรียนรู้การใช้ AI ในบริบทของการสังเกตได้ — ความสามารถในการทำความเข้าใจสถานะภายในของระบบโดยดูที่ผลลัพธ์ภายนอก: การแยกความหมายจากสัญญาณรบกวนบันทึก สร้างไทม์ไลน์ของจุดบกพร่อง การค้นหารูปแบบที่เกิดซ้ำ และการร่างการชันสูตรพลิกศพ คำเตือนที่สำคัญล่วงหน้า: บันทึกการผลิตดิบมักจะมีข้อมูลส่วนบุคคลและความลับ การติดพวกมันเข้ากับเครื่องมือ AI โดยไม่ได้ตั้งใจถือเป็นการละเมิดอย่างร้ายแรง

ทำไมบันทึกถึงยาก ทำไม AI ถึงมีประโยชน์?

บันทึกเป็นเรื่องยากด้วยเหตุผลสามประการ ได้แก่ ปริมาณ (มีมากเกินไป) สัญญาณรบกวน (หลายบรรทัดไม่เกี่ยวข้อง) และความยุ่งเหยิง (เหตุการณ์กระจัดกระจายไปตามบันทึกของบริการต่างๆ) สายตาของมนุษย์เริ่มล้าในกองนี้และพลาดเส้นสำคัญ

AI เก่งในการสรุปบล็อกข้อความขนาดใหญ่ นับรูปแบบที่ซ้ำกัน และถามว่า “มีอะไรเปลี่ยนแปลงก่อนที่จะเกิดข้อผิดพลาด?” มีประสิทธิภาพในการสร้างความสัมพันธ์ด้านเวลา เช่น อย่างไรก็ตาม มีข้อจำกัดอยู่ 2 ประการ อย่างแรกคือหน้าต่างบริบท: จำนวนบันทึกที่คุณสามารถใส่ลงในโมเดลนั้นมีจำกัด ดังนั้นคุณจึงต้องกรองและสุ่มตัวอย่างก่อน ประการที่สอง การตรวจสอบ: AI ที่บอกว่า "นี่คือสาเหตุที่แท้จริง" เป็นเพียงสมมติฐาน อย่าตัดสินใจโดยไม่ยืนยันด้วยเมตริกและโค้ด

ข้อควรระวัง: บันทึกการผลิตดิบอาจมีที่อยู่ IP, อีเมล, โทเค็น, รหัสเซสชัน และบางครั้งก็เป็นความลับแบบเปิด ปิดบังพวกมันก่อนที่จะป้อนให้กับ AI หรือใช้เฉพาะเครื่องมือที่ได้รับการอนุมัติจากองค์กรและมีการรักษาความปลอดภัยข้อมูล เราทำให้หัวข้อนี้ลึกซึ้งยิ่งขึ้นในหน่วยที่ 10

ทีละขั้นตอน: จากบันทึกไปจนถึงสาเหตุหลัก

1. จำกัดกรอบเวลาให้แคบลง กำหนดนาทีที่กิจกรรมเริ่มต้น ตรวจสอบหน้าต่างนั้น ไม่ใช่ทั้งวัน
2. กรองเสียงรบกวน. กำจัดเส้นที่ซ้ำซากและไม่เป็นอันตรายออก มุ่งเน้นไปที่ข้อผิดพลาด (ERROR) คำเตือน (WARN) และช่วงเวลาเบี่ยงเบนแรก
3. มาสก์ข้อมูลที่ละเอียดอ่อน ทำความสะอาดข้อมูลส่วนบุคคลและความลับก่อนมอบให้กับ AI
4. สร้างบทสรุปและไทม์ไลน์ ขอให้ AI สรุปเหตุการณ์ตามลำดับเวลา (“อันนี้ก่อน อันนั้น”)
5. ตรวจสอบสมมติฐานด้วยหน่วยเมตริกและโค้ด เหตุผลที่ AI ชี้ให้เห็น ยืนยันด้วยแดชบอร์ด รหัสที่เกี่ยวข้อง และไทม์ไลน์การใช้งาน หากมี
6. ใส่สิ่งที่เรียนรู้เป็นลายลักษณ์อักษร จัดทำภาพร่างหลังการชันสูตรพลิกศพและรายการมาตรการป้องกัน

มินิเคสสามอัน

กรณีที่ 1 — สรุป 40,000 บรรทัดใน 5 นาที บริการชำระเงินรายงานข้อผิดพลาดเป็นระยะ ๆ เป็นเวลา 12 นาที ทีมงานป้อนบันทึกที่ปิดบังหน้าต่างที่เกี่ยวข้องเป็นเวลา 20 นาที (ประมาณ 40,000 บรรทัด โดยสุ่มตัวอย่าง) ให้กับ AI และสร้างไทม์ไลน์ แบบจำลองแสดงให้เห็นว่าข้อผิดพลาดระเบิดเกิดขึ้นพร้อมกับช่วงเวลาที่เวลาตอบสนองของบริการอ้างอิงเพิ่มขึ้นจาก 200 มิลลิวินาทีเป็น 8 วินาที ทีมงานยืนยันเรื่องนี้บนแดชบอร์ดและสรุปสาเหตุให้แคบลงภายใน 10 นาที

กรณีที่ 2 — ความสัมพันธ์ที่ทำให้เข้าใจผิด ในอีกเหตุการณ์หนึ่ง AI ตำหนิโดยบอกว่าข้อผิดพลาดเกิดขึ้น "ในเวลาเดียวกัน" ในขณะที่ cron (งานที่กำหนดเวลาไว้) ทำงาน เมื่อทีมงานตรวจสอบตัวชี้วัด พวกเขาพบว่า cron เสร็จสิ้นจริงก่อนเหตุการณ์ ความสัมพันธ์เป็นเรื่องบังเอิญ สาเหตุที่แท้จริงคือหน่วยความจำรั่ว บทเรียน: ความสัมพันธ์ด้านเวลาที่กำหนดโดย AI เป็นเพียงเบาะแส ไม่ใช่หลักฐาน

กรณีที่ 3 — การชันสูตรศพแบบเร่งด่วน หลังจากการหยุดทำงาน ทีมงานได้ป้อนสำเนาข้อความ (ที่ปกปิด) และไทม์ไลน์จากช่องทางเหตุการณ์ไปยัง AI และให้ AI สร้างภาพร่างหลังชันสูตร: สรุป ผลกระทบ ไทม์ไลน์ สาเหตุที่แท้จริง และการดำเนินการ บรรณาธิการที่เป็นมนุษย์ได้แก้ไขข้อเท็จจริงและแต่งตั้งเจ้าของการดำเนินการ เอกสารซึ่งโดยปกติจะใช้เวลา 2 ชั่วโมงจะแล้วเสร็จภายในเวลาประมาณ 40 นาที โดยมีโครงสร้างที่สอดคล้องกันมากขึ้น

เทมเพลตที่คัดลอกได้สี่แบบ

สรุปบันทึกและไทม์ไลน์ (พร้อมบันทึกที่ปกปิด):

ด้านล่างนี้คือหน้าต่างเหตุการณ์ของบันทึกการผลิตที่ถูกมาสก์1) เทเหตุการณ์ลงในไทม์ไลน์ตามลำดับเวลา (ทำเครื่องหมายช่วงเวลาของการเบี่ยงเบนครั้งแรก)2) นับและจัดกลุ่มประเภทข้อผิดพลาด/คำเตือนที่เกิดบ่อยที่สุด3) "มีอะไรเปลี่ยนแปลงไปก่อนหน้านี้" แสดงรายการเหตุการณ์ของผู้สมัครสำหรับคำถาม นี่เป็นสมมติฐาน ทำเครื่องหมายว่า "ต้องได้รับการตรวจสอบ" {{บันทึก}}

การแยกรูปแบบข้อผิดพลาด:

ค้นหารูปแบบข้อผิดพลาดที่เกิดซ้ำในบรรทัดบันทึกเหล่านี้ สำหรับแต่ละรูปแบบ: บรรทัดตัวอย่าง (ปกปิด) แหล่งที่มาโดยประมาณ และความหมายที่เป็นไปได้ รวบรวมข้อผิดพลาดที่เกิดขึ้นไม่บ่อยแต่ร้ายแรงในรายการ "ความสนใจ" แยกต่างหาก{{logs}}

การสืบค้นแบบมีโครงสร้าง/การสร้างตัวกรอง:

สำหรับ {{log tool: grep/jq/Kibana KQL/CloudWatch Insights}} ให้เขียนคำค้นหาที่ตรงตามเงื่อนไขต่อไปนี้: {{e.g. ข้อผิดพลาด 5xx ในช่วง 15 นาทีที่ผ่านมา ไม่รวมผู้ใช้ X}} อธิบายคำถาม ตรวจสอบให้แน่ใจว่าคุณไม่ได้สร้างชื่อโดเมน ถามว่าคุณไม่แน่ใจหรือไม่

ร่างการชันสูตรพลิกศพ:

เขียนภาพร่างหลังชันสูตรจากไทม์ไลน์ของเหตุการณ์ (ปกปิด) ต่อไปนี้: สรุป / ผลกระทบ (ระยะเวลา ผู้ใช้ได้รับผลกระทบ) / ไทม์ไลน์ / สาเหตุที่แท้จริง / อะไรผ่านไปด้วยดี / การดำเนินการ (เว้นช่องเจ้าของให้ว่างไว้สำหรับแต่ละรายการ) อย่าใช้ภาษาที่กล่าวหา เป็นข้อเท็จจริงและเชิงรุก{{timeline}}

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

อ่อนแอ: "ดูบันทึกพวกนี้สิ เกิดอะไรขึ้น?" (บันทึกดิบของทั้งวันพร้อมข้อมูลส่วนบุคคล ไม่ได้กำหนดเป้าหมาย)

แข็งแกร่ง: "ด้านล่างนี้คือบันทึกการผลิตที่ปกปิดตั้งแต่เวลา 14:02–14:20 น. (กรองเป็น 5xxs) ในหน้าต่างนี้ ให้ค้นหาช่วงเวลาที่ข้อผิดพลาดระเบิดเริ่มต้นขึ้น นับประเภทข้อผิดพลาดที่พบบ่อยที่สุด และแสดงรายการส่วนเบี่ยงเบนที่ปรากฏใน 60 วินาทีทันทีก่อนเกิดการระเบิด ทำเครื่องหมายทั้งหมดว่าเป็น 'สมมติฐานที่ต้องตรวจสอบ'"

รุ่นทรงพลัง; โดยจะจำกัดกรอบเวลาให้แคบลง กรองและปกปิดบันทึก ถามคำถามที่ชัดเจน และสร้างตั้งแต่เริ่มแรกว่าผลลัพธ์คือสมมติฐาน

ภารกิจ

เอไอแข็งแกร่ง

ขีดจำกัด/การตรวจสอบ

สรุปบันทึกใหญ่

ใช่เร็ว

อาจมีการสูญเสียตัวอย่าง

การสร้างความสัมพันธ์ทางเวลา

สร้างคำแนะนำ

สหสัมพันธ์ ≠ สาเหตุ

การสร้างแบบสอบถาม/ตัวกรอง

ร่างที่ดี

ชื่อโดเมนมีจริงหรือไม่?

ภาพร่างหลังการชันสูตรพลิกศพ

โครงสร้างและภาษา

กรณีได้รับการยืนยันจากมนุษย์

ความสัมพันธ์ไม่ใช่สาเหตุ

ข้อผิดพลาดที่พบบ่อยที่สุดในการวิเคราะห์บันทึกคือ "มันเกิดขึ้นในเวลาเดียวกัน ดังนั้นจึงเป็นสาเหตุ" ที่เข้าใจผิด AI ตกหลุมพรางนี้ง่ายกว่ามนุษย์ เพราะคิดว่าความพร้อมกันในข้อความเป็นสัญญาณที่แรง เพื่อให้สามารถพูดได้ว่าเหตุการณ์หนึ่งนำไปสู่อีกเหตุการณ์หนึ่งจริงๆ จังหวะเวลา กลไก และหากเป็นไปได้ จำเป็นต้องมีความสามารถในการทำซ้ำ สำหรับการอ้างเหตุผลทุกประการที่ AI สร้างขึ้น เราจะถามว่า "มีหลักฐานอื่นใดที่ยืนยันเรื่องนี้" ทดสอบด้วยคำถาม.

เคล็ดลับ: เมื่อเข้าสู่ระบบ AI แทนที่จะทิ้งข้อความ หากเป็นไปได้ ให้พิมพ์ข้อความค้นหา/ตัวกรองก่อนแล้วเรียกใช้งานในรถของคุณ วิธีนี้ช่วยลดข้อมูลที่ละเอียดอ่อนและแยกหน้าต่างบริบทของโมเดลออกเป็นแถวที่สำคัญจริงๆ

ข้อผิดพลาดทั่วไป

• วางบันทึกดิบและไม่เปิดเผย การเปิดเผยข้อมูลส่วนบุคคลและความลับ การละเมิดความเป็นส่วนตัวอย่างร้ายแรง
• ให้ทั้งวันในคราวเดียว มันเกินหน้าต่างบริบท สัญญาณจมอยู่ในเสียงรบกวน
• ความสัมพันธ์ที่ผิดพลาดสำหรับสาเหตุ ความสัมพันธ์ด้านเวลาที่ AI สร้างขึ้นเป็นเพียงเบาะแส ไม่ใช่หลักฐาน
• อาศัยแบบสอบถามที่มีชื่อโดเมนที่สร้างขึ้น โมเดลอาจแนะนำชื่อฟิลด์บันทึกที่ไม่มีอยู่ ตรวจสอบกับแผนผัง
• การเผยแพร่ผลชันสูตรพลิกศพโดยไม่ตรวจสอบ ข้อเท็จจริงและตัวเลขผลกระทบจะต้องได้รับการยืนยันจากมนุษย์

โดยสรุป

AI เป็นเครื่องมืออันทรงพลังในการเอาชนะระดับเสียงและเสียงในการวิเคราะห์บันทึก: การสรุปข้อความเสียงขนาดใหญ่ การสร้างไทม์ไลน์ การแยกรูปแบบ และการเตรียมภาพร่างหลังการชันสูตรพลิกศพ แต่อย่าลืมข้อจำกัด 3 ข้อ: อย่าส่งออกข้อมูลที่ละเอียดอ่อนโดยไม่ปิดบัง กรองและสุ่มตัวอย่างให้พอดีกับหน้าต่างบริบท และตรวจสอบการอ้างสาเหตุแต่ละรายการด้วยเมตริกและโค้ด ความสัมพันธ์ไม่ใช่สาเหตุ AI ให้เบาะแส คุณตัดสินใจโดยใช้หลักฐาน

งานสมัคร

เลือกกรอบเวลา 15–20 นาทีจากบันทึกเหตุการณ์หรือสภาพแวดล้อมการทดสอบที่คุณมี ขั้นแรกให้ปกปิดข้อมูลส่วนบุคคลและความลับ (หรือสร้างบันทึกสังเคราะห์) จากนั้นแยกลำดับเหตุการณ์และประเภทข้อผิดพลาดที่พบบ่อยที่สุดจาก AI ด้วยเทมเพลต “สรุปบันทึกและไทม์ไลน์” ลองตรวจสอบสมมติฐานต้นเหตุที่ AI หยิบยกมาด้วยเมตริกหรือโค้ดที่คุณมี: สมมติฐานมีหรือมีความสัมพันธ์ที่ทำให้เข้าใจผิดหรือไม่? เขียนสิ่งที่คุณค้นพบลงในหนึ่งประโยค

รายการตรวจสอบ

• [ ] ฉันปกปิดข้อมูลส่วนบุคคลและความลับก่อนที่จะมอบบันทึกให้กับ AI
• [ ] ฉันลดการวิเคราะห์ลงในกรอบเวลาที่แคบและกรอง
• [ ] ฉันมองว่าความสัมพันธ์ของเวลาที่ AI สร้างขึ้นเป็นเพียงสมมติฐาน ไม่ใช่เชิงสาเหตุ
• [ ] ฉันตรวจสอบการอ้างสิทธิ์สาเหตุที่แท้จริงด้วยเมตริกและโค้ด
• [ ] ฉันยืนยันว่าชื่อโดเมนของการสืบค้น/ตัวกรองที่ฉันสร้างเป็นชื่อจริง
• [ ] ข้าพเจ้าให้การรับรองข้อเท็จจริงและตัวเลขในภาพร่างหลังชันสูตรด้วยมนุษย์