تحليل السجل وتحليل السبب الجذري: العثور على الإشارة في الضوضاء

المكاسب:

• يمكنك العثور بسرعة على الإشارة في الضوضاء باستخدام الذكاء الاصطناعي لتلخيص السجلات وتجميعها والمخطط الزمني
• القدرة على فصل الارتباط والسببية ومعالجة اقتراحات السبب الجذري للذكاء الاصطناعي باعتبارها فرضيات تحتاج إلى التحقق منها
• القدرة على الوصول إلى السبب الجذري الحقيقي من خلال تشغيل طريقة "5 لماذا" باستخدام الذكاء الاصطناعي ودعم كل خطوة بأدلة حقيقية

تحليل السجل وتحليل السبب الجذري: العثور على الإشارة في الضوضاء باستخدام الذكاء الاصطناعي

عندما يتعطل النظام، أول مكان تنظر إليه هو السجلات. السجل عبارة عن دفق نصي يحتفظ بسجل مختوم زمنيًا لـ "ما فعلته، وما حدث، وما الذي تعطل" لنظام أو تطبيق. لكن البنية التحتية الحديثة تنتج ملايين الأسطر من جذوع الأشجار في الساعة؛ فهو ليس بحرًا من المعلومات، بل غالبًا ما يكون محيطًا من الضوضاء. تحليل السجل هو فن العثور على الإشارة المهمة (الخطأ، الشذوذ، النمط) في هذا الضجيج. تسمى عملية الإجابة على سؤال "ما هو السبب الحقيقي" بعد وقوع حدث ما بتحليل السبب الجذري (RCA - تحليل السبب الجذري). وهنا، يكون الذكاء الاصطناعي قويًا جدًا في تلخيص آلاف الأسطر في الثانية، واستخراج الأنماط، وإنشاء جداول زمنية، وإدراج الأسباب المحتملة. ولكن كلمة تحذير: الذكاء الاصطناعي يولد الأسباب المحتملة؛ أنت الشخص الذي يتحقق في النظام مما هو حقيقي ويتخذ القرار.

ستتعلم في هذه الوحدة كيفية تلخيص السجلات بثقة باستخدام الذكاء الاصطناعي، وكيفية إنشاء جدول زمني لحدث ما، وكيفية التمييز بين الارتباط (التغيير معًا) والسببية (أحدهما يسبب الآخر)، وكيفية تشغيل طريقة RCA مثل "5 لماذا" باستخدام الذكاء الاصطناعي.

لماذا الارتباط ليس السببية؟

هذا هو المفهوم الأكثر أهمية لهذه الوحدة. فمجرد وقوع حدثين في نفس الوقت، فإن أحدهما لا يسبب الآخر. قد تزيد حركة مرور وحدة المعالجة المركزية (CPU) والشبكة الخاصة بالخادم في نفس الوقت؛ لكن أحدهما ليس نتيجة الآخر، بل يمكن أن يكون كلاهما نتيجة لحدث ثالث (على سبيل المثال، بداية مهمة دفعية). عندما يرى الذكاء الاصطناعي أن المقاييس تتغير معًا، فإنه يفترض "من المحتمل أن يكون X هو السبب وراء Y". وهذه نقطة بداية وليست نتيجة. للتحقق من العلاقة السببية، تحتاج إما إلى عزل المتغير (محفز X في بيئة الاختبار ومعرفة ما إذا كان Y يحدث) أو إثبات الآلية (إظهار الوسائل التقنية التي ينتج بها X Y).

تحذير: خذ جملة الذكاء الاصطناعي "ربما تسبب هذا في هذا" على أنها فرضية، وليست نتيجة. في RCA، يؤدي السبب الجذري غير الصحيح إلى تصحيح غير صحيح وتكرار الحدث. لقد وجدت المشتبه به الأول، وليس السبب؛ يبدأ العمل هناك.

خطوة بخطوة: تحليل السجل باستخدام الذكاء الاصطناعي

1. تضييق النطاق. قم بإدراج نافذة الحدث، وليس السجل بأكمله: "بدأ الحدث في الساعة 14:05، وهو أمر بالغ الأهمية من الساعة 14:00 إلى 14:20". أخبر الذكاء الاصطناعي بالفترة الزمنية والخدمة ذات الصلة.
2. قناع. تحتوي السجلات على عنوان IP الداخلي واسم المضيف والمستخدم والرمز المميز. قم بإخفائها (10.x.x.x، host-A، user1، REDACTED) ثم قم بالتصدير.
3. طلب تلخيص وتجميع. "قم بتجميع هذا السجل حسب الخطورة، وحساب الأخطاء المتكررة، والعثور على الطابع الزمني للخطأ الأول." اسأل عن الهيكل، وليس السجل الخام.
4. قم بإعداد جدول زمني. "رتب هذه الأحداث بالترتيب الزمني وأظهر ما يليها." العثور على قطعة الدومينو الأولى هو الطريق إلى السبب الجذري.
5. اطلب فرضية وليس دليلاً. "قم بإدراج الأسباب الجذرية المحتملة حسب الاحتمالية وأعطني أمر التحقق لتشغيله على النظام لكل منها." اسأل عن التشخيص وليس النتيجة.
6. التحقق في النظام. اختبر كل فرضية باستخدام أوامر تشخيصية للقراءة فقط (log grep، استعلام الحالة، المقياس). قم بالإزالة حتى يكون هناك سبب جذري واحد مؤكد.

5 لماذا الطريقة

أداة RCA الكلاسيكية والقوية هي "5 لماذا": البدء بعرض واحد والسؤال "لماذا؟" خمس مرات. من خلال السؤال، يمكنك الوصول إلى السبب الجذري الموجود تحت الأعراض السطحية. مثال: "تعطل الموقع. لماذا؟ توقف التطبيق بسبب نفاد الذاكرة. لماذا؟ استهلك الاستعلام كل الذاكرة. لماذا؟ لم يستخدم الاستعلام فهرسًا. لماذا؟ تم حذف الفهرس في الإصدار الأخير. لماذا؟ لم تتم ملاحظة ذلك في مراجعة التغيير." السبب الجذري ليس هو "تعطل الموقع" السطحي ولكن "عملية مراجعة التغيير الضعيفة". سيكون الذكاء الاصطناعي شريكًا جيدًا في بناء هذه السلسلة - ولكن يجب عليك دعم كل خطوة "لماذا" بأدلة حقيقية، وإلا فقد يأتي الذكاء الاصطناعي بسلسلة معقولة ولكنها خاطئة.

ثلاث حالات صغيرة

الحالة 1 - 40.000 سطر، 3 دقائق. بدأ أحد المسؤولين بمسح 40 ألف سطر من سجلات التطبيق يدويًا أثناء انقطاع الخدمة طوال الليل. أعطى الجزء ذي الصلة من السجل المقنع لمدة 20 دقيقة إلى الذكاء الاصطناعي وطلب الملخص والتجميع. قام الذكاء الاصطناعي بوضع علامة على أول خطأ في OutOfMemory في الساعة 02:14، مباشرة بعد زيادة أخطاء المهلة. استلم المهندس ورقة الوقت خلال 3 دقائق؛ أكد التشخيص الأصلي على لوحة القياس الخاصة به.

الحالة 2 - العودة من السبب الجذري الخاطئ. اعتقد أحد الفريق أن الفرضية الأولى للذكاء الاصطناعي ("السجلات تملأ القرص") كانت صحيحة وقاموا بمسح السجلات. لكن الحادثة تكررت في اليوم التالي. في الجولة الثانية، قاموا بتنفيذ "5 Whys" بانضباط: السبب الحقيقي هو أن خطأ في التطبيق كان يكتب مئات عمليات تفريغ النواة في الثانية. كانت الفرضية الأولى هي الارتباط. السبب الحقيقي كان مختلفا. وكان القبول دون التحقق يمنح مهلة لمدة يوم واحد فقط.

الحالة 3 - وجد الجدول الزمني الجاني. كانت هناك سجلات لعشرات الأجهزة أثناء انقطاع الشبكة المتقطع. أعطى المهندس السجلات المقنعة إلى الذكاء الاصطناعي وطلب منه إنشاء جدول زمني موحد. أظهر الرسم البياني أن كل انقطاع بدأ بعد 30 ثانية بالضبط من ظهور رسالة التحقق من سلامة تبديل التكرار. وكان هذا الارتباط دليلا قويا. تحقق الفريق من خطأ البرنامج الثابت للمفتاح على الجهاز واستبدله.

أربعة قوالب قابلة للنسخ

1) ملخص السجل والتجميع:

يوجد أدناه السجل المقنع لـ [الخدمة] من الساعة 14:00 إلى 14:20. أخبرني: (1) قم بتجميع السطور وإحصائها حسب الخطورة (خطأ/تحذير/معلومات)، (2) قم بإدراج أهم 5 أنماط للأخطاء المتكررة، (3) ابحث عن الطابع الزمني للخطأ الأول. لا تقم بإعادة كتابة السجل الأولي، فقط قم بتقديم ملخص منظم. إضافة سطر مكون.السجل: [سجل مقنع]

2) إعداد الجدول الزمني:

قمنا بترتيب سجلات الأحداث المقنعة التالية في مخطط زمني واحد (الطابع الزمني + المصدر + الحدث). أظهر ما يلي ما وحدد الحدث الذي يبدو أنه المحفز الأول. لاحظ أن هذه فرضية ويجب التحقق من العلاقة السببية. التسجيلات: [التسجيلات المقنعة]

3) 5 أسباب لشراكة RCA:

دورك: ميسر RCA. العَرَض: [الأعراض]. افعل معي "5 لماذا": "لماذا؟" في كل خطوة. إسأل سأجيب بالأدلة التي عندي، أنت إسأل السؤال التالي. إذا كانت أدلتي ضعيفة، حذرني وأخبرني ما هي البيانات التي يجب أن أجمعها. لا تعلن عن السبب الجذري دون دليل.

4) الفرضية + أمر التحقق:

قم بإدراج الأسباب الجذرية المحتملة لهذا العرض [العَرَض] بترتيب الاحتمالية. لكل سبب من الأسباب: (أ) ما الذي تشك فيه، (ب) أعطني أمر التحقق للقراءة فقط لتشغيله على نظامي (بدون حذف/تغيير). اشرح النتيجة التي تؤكد أو تدحض الفرضية.

موجه ضعيف / موجه قوي

حث ضعيف:

ما هو الخطأ في هذا السجل؟ [10000 سطر من السجل الخام]

يؤدي هذا إلى تسريب بيانات حساسة غير مقنعة ويترك الذكاء الاصطناعي بدون سياق. قد يتعثر الذكاء الاصطناعي في خط عشوائي ويعطي سببًا سطحيًا أو حتى مختلقًا.

مطالبة قوية:

دورك: كبير SRE. الحدث: أعطت خدمة الدفع خطأ بنسبة 50% بين الساعة 02:10-02:25. يوجد أدناه السجل المقنع لتلك النافذة. أعطني (1) الملخص المجمع حسب الخطورة، (2) الطابع الزمني للخطأ الأول، (3) الأسباب الجذرية المحتملة حسب ترتيب الاحتمالية، وأمر التحقق للقراءة فقط لكل منها. ضع علامة على ادعاءات السببية على أنها فرضيات. السجل: [سجل مقنع]

خطوة

الغرض

دور الذكاء الاصطناعي

دور الرجل

ملخص/تجميع

تقليل الضوضاء

تكوين آلاف الصفوف

تحديد النطاق والقناع

الجدول الزمني

العثور على الدومينو الأول

فرز الأحداث

التحقق من صحة الطوابع

توليد الفرضيات

فرز المشتبه بهم

قائمة الاحتمالات

التصفية حسب السياق

التحقق

العثور على السبب الحقيقي

اقتراح أمر التشخيص

قم بتشغيل الأمر والتعليق عليه

القرار

اختيار الإصلاح

خيارات العرض

اتخاذ القرار والتأكيد

الأخطاء الشائعة

• الارتباط الخاطئ للسببية. إن قبول مقياسين يتغيران معًا لأن "أحدهما تسبب في الآخر" يؤدي إلى تصحيح خاطئ.
• لصق السجل الخام بدون قناع. يعد إعطاء السجل الذي يحتوي على عنوان IP والرمز المميز والمستخدم لأداة مفتوحة انتهاكًا أمنيًا.
• إعلان الفرضية الأولى باعتبارها السبب الجذري. يعد قبول الاقتراح الأول للذكاء الاصطناعي دون التحقق منه بمثابة دعوة لتكرار الحدث.
• تصدير السجل بأكمله. يقوم السجل الضخم بدون سياق بتوصيل الذكاء الاصطناعي في سطر عشوائي؛ طي إلى نافذة الحدث.
• 5 أسباب بدون أدلة. إذا لم تقم بدعم كل خطوة من خطوات "لماذا" ببيانات حقيقية، فسوف ينتهي بك الأمر بسلسلة معقولة ولكنها مختلقة.

نصيحة: قبل إنهاء RCA، اسأل "إذا تم إصلاح هذا السبب الجذري بالفعل، ألن يحدث ذلك مرة أخرى؟" اطرح السؤال. إذا كانت الإجابة "ربما"، فأنت لم تصل إلى السبب الجذري بعد؛ اسأل "لماذا" آخر.

في ملخص

يدور تحليل السجل حول العثور على الإشارة في محيط من الضوضاء؛ يلخص الذكاء الاصطناعي هذا المحيط ويبنيه في ثوانٍ، ويضع جدولًا زمنيًا ويولد الفرضيات. لكن الارتباط ليس علاقة سببية: فالسبب الذي يقترحه الذكاء الاصطناعي هو شك أولي، وليس نتيجة حتى يتم تأكيدها. قم بطي السجل في نافذة الحدث، وقم بإخفائه، واطلب الهيكل، وابحث بعمق باستخدام "5 لماذا" واختبر كل فرضية على النظام باستخدام أوامر للقراءة فقط. أنت من يجد السبب الجذري ويؤكد الإصلاح؛ الذكاء الاصطناعي هو رفيقك.

مهمة التطبيق

خذ سجلات حدث سابق (أو حدث اختباري)، وقم بطيها في نافذة الحدث، وقم بإخفاء أي مناطق حساسة. اطلب ملخصًا وجدولًا زمنيًا من الذكاء الاصطناعي باستخدام قوالب "ملخص السجل" و"المخطط الزمني" أعلاه. ثم انتقل من العرض إلى السبب الجذري باستخدام قالب "5 أسباب لشريك RCA"؛ اكتب الأدلة الخاصة بك لكل خطوة. وأخيرًا، اختبر الفرضية الأولية للذكاء الاصطناعي باستخدام أمر التحقق وسجل ما إذا تم تأكيدها أو دحضها. لخص العملية في 6 بنود.

قائمة مرجعية

• [ ] هل قمت بطي السجل في نافذة الحدث وإخفاء المناطق الحساسة؟
• [ ] هل طلبت من الذكاء الاصطناعي ملخصًا منظمًا وجدولًا زمنيًا، وليس سجلًا أوليًا؟
• [ ] هل قمت بتمييز ادعاءات السببية للذكاء الاصطناعي باعتبارها فرضيات؟
• [ ] هل قمت باختبار كل فرضية على النظام باستخدام أمر التحقق للقراءة فقط؟
• [ ] هل قمت بدعم كل خطوة من خطوات "الأسباب الخمسة" بأدلة حقيقية؟
• [ ] هل قمت بالتساؤل واتخاذ القرار بشأن ما إذا كان السبب الجذري سيمنع الحدث بالفعل؟