Qazanclar:
- Hadisənin həyat dövrünü (aşkarlama, triaj, yumşaltma, həll etmə, ölümdən sonra), MTTD/MTTR ölçülərini və “əvvəlcə azaldın, sonra araşdırın” prinsipini başa düşmək bacarığı
- Hadisə zamanı fərziyyələri daraltmaq və günahsız postmortem eskiz yaratmaq üçün süni intellektdən istifadə etmək bacarığı, hər bir əsas səbəbi məlumatlarla təsdiqləmək
- Postmortemi günahlandırmayan bir dildə yazı intizamını tətbiq etmək və hadisə məlumatlarını maskalamaqla paylaşmaq bacarığı.
Hər bir sistem sonda dağılır. Fərq yaxşı komandaların bu qaçılmaz hadisəyə necə hazırlaşdıqları və necə öyrənmələridir. Hadisə xidməti pozan və ya onu pozmaq təhlükəsi yaradan gözlənilməz hadisədir: xidmət qəzası, cavab müddətinin sürətlə artması, məlumat itkisi. İnsidentin idarə edilməsi insidentin mümkün qədər tez aşkar edilməsi, yumşaldılması, aradan qaldırılması və sonra ondan öyrənilməsi deməkdir. Bu, DevOps və SRE (Site Etibarlılıq Mühəndisliyi) mütəxəssislərini gecə-gündüz hərəkətə gətirən intizamdır.
İki kritik ölçü hadisənin keyfiyyətini ölçür: MTTD (Aşkar üçün Orta Vaxt) və MTTR (Bərpa üçün Orta Vaxt). Məqsəd hər ikisini daraltmaqdır. Süni intellekt burada iki böyük dəyər əlavə edir: mümkün əsas səbəbi daraltmaq üçün hadisə zamanı qeydləri və ölçüləri tez bir zamanda ümumiləşdirmək və hadisədən sonra ölümdən sonra (hadisədən sonrakı araşdırma hesabatı) tez bir zamanda tərtib etmək. Ancaq hadisələrin gedişi ilə bağlı qərarlar - hansı xidməti söndürmək, geri qaytarmaq, müştəriyə nə demək - sizindir.
Bir hadisənin həyat dövrü
- Aşkarlama: Siqnal səslənir və ya müştəri şikayəti gəlir. Nə qədər tez bir o qədər yaxşıdır.
- Triaj: Nə qədər ciddidir? Domen nədir? Ağırlıq səviyyələri təyin edilir - adətən SEV1 (ən kritik, bütün sistem) SEV4 (kiçik).
- Cavab komandanızı toplayın. Kritik hadisələrdə koordinasiyanı hadisə komandiri öz üzərinə götürür.
- Yumşaldın: Əvvəlcə qanaxmanı dayandırın - tez-tez geri çəkilmə və ya bayrağı örtmək. Kök səbəbini sonra tapacaqsınız.
- Həll edin: daimi düzəliş tətbiq edin.
- Öyrən (ölümdən sonra): Nə baş verdi, niyə oldu, bir daha təkrarlanmasının qarşısını necə ala bilərik?
İpucu: Hadisə zamanı ən çox baha başa gələn səhvlərdən biri qanaxmanın dayandırılmasını gecikdirməkdir, çünki “əvvəlcə dəqiq əsas səbəbə keçək”. Qayda: əvvəlcə azaldın (xidməti bərpa edin/bərpa edin), sonra soruşun. Məlum olan yaxşı versiyaya qayıtmaq tez-tez ən sürətli azalmadır.
Günahsız postmortem mədəniyyəti
Sağlam komandaların onurğa sütunu günahsız postmortem mədəniyyətidir: məqsəd "bunu kim etdi" deyil, "hansı sistem və proses bu səhvə yol verdi?" sualdır. İnsanlar cəzalandırılacaqlarını bilsələr səhvini gizlədirlər; Gizli səhv təkrarlanır. Postmortem ittiham hesabatı deyil, öyrənmə sənədidir.
Yaxşı postmortem daxildir: xülasə, təsir (nə qədər istifadəçi, nə qədər, nə qədər pul), vaxt qrafiki, əsas səbəb(lər), nəyin yaxşı/pis getdiyi və fəaliyyət elementləri—hər birinin sahibi və tarixi olan konkret tədbirlər.
Diqqət: AI ilə postmortemlər yazarkən, ittiham dilini (yəni “X şəxs səhv etdi”) aradan qaldırdığınızdan əmin olun. Hadisə məlumatlarını süni intellektə ötürərkən müştəri identifikatorlarını, daxili IP-ləri və sirləri maskalayın - ölümdən sonrakı məlumatlar çox vaxt geniş şəkildə paylaşılır.
Kök səbəb təhlili: 5 Niyə və AI
Klassik texnika "5 Niyə"dir: "niyə?" bir problemə. Təkrar-təkrar soruşmaqla, səthi simptomdan əsl kökə keçirsiniz. "Xidmət qəzaya uğradı. Niyə? Yaddaş tükəndi. Niyə? Sızma oldu. Niyə? Kitabxana yeniləməsi..." Süni intellekt bu zənciri tez qurur və mümkün filialları təklif edir — lakin hər bir "niyə"ni məlumatlarınızla yoxlamalısınız; Süni intellekt də ağlabatan, lakin səhv bir zəncir qura bilər.
Ciddilik cədvəli
Səviyyə
Təsir
misal
müdaxilə
SEV1
Bütün sistem/kritik biznes itkisi
Ödəniş tamamilə azaldı
Dərhal bütün komanda, komandir
SEV2
Böyük disfunksiya
Giriş uğursuz oldu
Sürətli, zəng + dəstək
SEV3
Qismən/məhdud təsir
Hesabat gecikir
iş saatları ərzində
SEV4
kiçik/kosmetik
yazı səhvi
adi iş növbəsi
üç mini qutu
1-ci hal — MTTR 45 dəqiqədən 8 dəqiqəyə qədər. Ödəniş xidməti qəzaya uğradı. Növbətçi mühəndis maskalı jurnalları və sonuncu yerləşdirmə məlumatını AI-yə verdi və "Son 20 dəqiqədə ən çox ehtimal olunan tətik nədir?" – deyə soruşdu. Süni intellekt, çöküşün son yerləşdirmə ilə eyni dəqiqədə başladığını göstərdi. Mühəndis dərhal həmin versiyanı geri qaytardı; Xidmət 8 dəqiqəyə qayıtdı. Kök səbəb (yeni versiyada əlaqə hovuzu səhvi) daha sonra rahat şəkildə araşdırıldı.
2-ci hal - 20 dəqiqə ərzində ölümdən sonrakı eskiz. SEV2-dən sonra komanda yorğun idi və hesabat yazmağa gücü çatmadı; tez-tez hesabat həftələrlə gecikdirilirdi. Bu dəfə onlar süni intellektə vaxt cədvəli və hadisə qeydləri verdilər və cinayətdən azad postmortem eskiz hazırladılar. Süni intellekt təsir, qrafik və fəaliyyət elementləri üçün səliqəli çərçivə yaratdı; Komanda onu faktlarla doldurdu və 20 dəqiqə ərzində dərc etdi. Dərs itirilmədi.
3-cü hal - yanlış kök səbəb tutuldu. Bir halda, AI "kök səbəb verilənlər bazası həddindən artıq yüklənməsi" dedi və bu, ağlabatan görünürdü. Lakin mühəndis göstəriciləri təsdiqlədi: hadisə baş verən zaman verilənlər bazası yükü normal idi. Əsl səbəb xarici DNS problemi idi. AI-nin ilkin fərziyyəsi axıcı, lakin səhv idi; Məlumatlarla təsdiqləmə hesabatın yanlış nəticə ilə dərc olunmasının qarşısını aldı.
Dörd kopyalana bilən şablon
1) Hadisə zamanı sürətli triaj:
Biz istehsal hadisəsi yaşayırıq. Maskalı simptomlar: [SİMPTOM].Son dəyişikliklər: [SON DƏYİŞTİRİLMİŞ/DƏYİŞİKLİK]. Mənə verin:(1) ehtimal sırasına görə 3 kök səbəb fərziyyəsi,(2) hər birini 1 dəqiqə ərzində yoxlayacaq komanda/metrik,(3) ən sürətli TƏHLÜKƏSİZ yumşaldılma addımı (məs. Hər bir fərziyyəni yoxlamalı olduğumu bildirin.
2) Günahsız postmortem eskiz:
Aşağıdakı hadisə qeydlərindən günahsız postmortem eskiz yazın. Bölmələr: Xülasə, Təsir (istifadəçi/müddət/qiymət), Zaman qrafiki, Əsas səbəb(lər), Nə yaxşı getdi, Nə pis getdi, Fəaliyyət elementləri (hər biri sahib + tarix sahəsi ilə). Adlandırma, proses və sistemə diqqət yetirin. Qeydlər: [MASKED]
3) 5 Niyə təhlil:
Aşağıdakı simptomdan başlayaraq "5 Niyə" zəncirini qurun: [SİMPTOM]. Hər addımda birdən çox mümkün filialın olub olmadığını göstərin. Hər bir "niyə"nin yanında onu yoxlamaq üçün baxacağım sübutu (log/metrik) yazın. Sonda hansı addımların hələ təsdiqlənmədiyini qeyd edin.
4) Fəaliyyət göstərə bilən elementlərin yaradılması:
Bu əsas səbəbə görə, eyni hadisənin təkrarlanmasının qarşısını alacaq təsirli maddələr təklif edin. Hər bir elementi aşağıdakılara görə təsnif edin: (a) qarşısının alınması, aşkarlanması və ya azaldılması, (b) təxmin edilən səy, (c) təsir. Ən yüksək təsir/səy nisbətinə görə çeşidləyin. Kök səbəb: [X]
Zəif məlumat / Güclü göstəriş
Zəif: "Xidmət çökdü, nə etməliyəm?"
Nəticə: kontekst yoxdur; Süni intellekt sizin işinizə uyğun gəlməyən ümumi tövsiyələr verə bilər və hətta qəti əsas səbəbi də tapa bilər.
Güclü: "İstehsal ödəniş xidməti 5 dəqiqədir 5xx verir. Son yerləşdirmə 6 dəqiqə əvvəl olub. Ehtimal sırasına görə 3 əsas səbəb fərziyyəsini verin, onların hər birini yoxlayacaq komandaya deyin və ən sürətli təhlükəsiz yumşaldmağı təklif edin. Konkret olmayın, yoxlamalı olduğumu bildirin."
Fərq: ikinci göstəriş simptomu, vaxtı və son dəyişikliyi verir; o, fərziyyə + yoxlama + azalma tələb edir və AI-ni qeyri-dəqiq saxlayır.
Ümumi səhvlər
- Yüngülləşdirmədən əvvəl dəqiq kök səbəbini axtarın. Qanamanın dayandırılmasını gecikdirir və MTTR-ni artırır.
- Süni intellektin ilk fərziyyəsini təsdiq etmədən dərc etmək. Maye, lakin yanlış kök hesabata sızmağa səbəb olur.
- İttihamçı dil. Anonim olaraq yazılmış postmortem gizlənməyə və təkrar səhvə səbəb olur.
- Güllə nöqtələri olmayan fəaliyyət yönümlü hesabat. Sahibi və tarixi olmayan təklif heç vaxt həyata keçirilməyəcək.
- Tədbir məlumatlarını maskalamadan paylaşın. Postmortem geniş auditoriyaya gedir; məxfi/şəxsi məlumatlar sızdı.
- Geriyə dönüş yolunu əvvəlcədən hazırlamamaq. Əgər geri qaytarma praktiki deyilsə, azalma yavaşlayır.
Xülasə
Hadisələrin idarə edilməsi qaçılmaz hadisələrin tez aşkarlanması, azaldılması, həll edilməsi və onlardan öyrənilməsidir; MTTD və MTTR əsas ölçülərdir. Qızıl qayda "əvvəlcə yumşaldın, sonra araşdırın" və məlum olan yaxşı versiyaya qayıtmaq tez-tez ən sürətli azalmadır. Süni intellekt hadisə zamanı qeydləri ümumiləşdirmək, fərziyyələri daraltmaq və hadisədən sonra günahsız postmortem eskizlər hazırlamaqda əvəzsizdir – lakin hər bir kök səbəb fərziyyəsini məlumatlarla təsdiqləmək, günahın dilini təmizləmək və hadisə məlumatlarını maskalamaq sizin məsuliyyətinizdir.
Tətbiq tapşırığı
Keçmiş (və ya qondarma) hadisəni nəzərdən keçirin. (1) Süni intellektə "səhnə yerində sürətli sınaq" şablonu ilə fərziyyələr və yoxlama addımları yaratsın; Məlumatlarla hansı fərziyyənin təsdiq oluna biləcəyinə diqqət yetirin. (2) “Günahsız postmortem kontur” şablonundan istifadə edərək hesabatın eskizini hazırlayın və onu faktlarla doldurun. (3) Ən azı iki hərəkət edə bilən elementi müəyyənləşdirin və hər birinə sahib və tarix təyin edin.
yoxlama siyahısı
- [ ] Hadisə baş verən zaman mən ilk olaraq yumşaltmağı (geri qaytarma/bağlama) düşündüm və əsas səbəbi sonraya buraxdım.
- [ ] Mən AI-nin hər bir kök səbəb hipotezini log/metrik ilə təsdiqlədim.
- [ ] Mən onu postmortemdə günahlandırmayan, prosesə və sistemə diqqət yetirən bir dildə yazdım.
- [ ] Mən hər bir əməliyyat edilə bilən elementə sahib və tarix təyin etdim.
- [ ] Mən süni intellektə verdiyim hadisə məlumatlarından məxfi və şəxsi məlumatları gizlətdim.
- [ ] Mən təsirə görə şiddət səviyyəsini düzgün təyin etdim.