Daromadlar:
- Hodisaning hayot aylanishini (aniqlash, triaj, yumshatish, hal qilish, o'limdan keyingi), MTTD/MTTR ko'rsatkichlarini va "birinchi yumshatish, keyinroq tekshirish" tamoyilini tushunish qobiliyati
- Voqea sodir bo'lgan paytdagi farazlarni qisqartirish va har bir asosiy sababni ma'lumotlar bilan tasdiqlash uchun beg'ubor o'limdan keyingi eskizni yaratish uchun sun'iy intellektdan foydalanish qobiliyati
- Postmortemni ayblamaydigan tilda yozish intizomini qo'llash va uni niqoblash orqali voqea ma'lumotlarini almashish qobiliyati.
Har bir tizim oxir-oqibat buziladi. Farqi shundaki, yaxshi jamoalar ushbu muqarrar voqeaga qanday tayyorgarlik ko'rishadi va ular qanday o'rganishadi. Hodisa - bu xizmatni to'xtatib qo'yadigan yoki uni buzish bilan tahdid qiladigan kutilmagan hodisa: xizmatning ishdan chiqishi, javob vaqtlarining keskin o'sishi, ma'lumotlarning yo'qolishi. Hodisalarni boshqarish hodisani imkon qadar tezroq aniqlash, yumshatish, hal qilish va undan saboq olishni anglatadi. Bu DevOps va SRE (Sayt ishonchliligi muhandisligi) mutaxassislarini kechayu kunduz harakatga keltiradigan intizomdir.
Ikki muhim ko'rsatkich hodisaning sifatini o'lchaydi: MTTD (Aniqlash uchun o'rtacha vaqt) va MTTR (o'rtacha tiklanish vaqti). Maqsad ikkalasini ham qisqartirishdir. AI bu erda ikkita katta qiymatni qo'shadi: mumkin bo'lgan asosiy sababni qisqartirish uchun voqea vaqtida jurnallar va ko'rsatkichlarni tezda umumlashtirish va voqeadan keyin tezda o'limdan keyingi (voqeadan keyingi tergov hisoboti) loyihasini tuzish. Ammo voqealar rivoji haqidagi qarorlar - qaysi xizmatni o'chirish, orqaga qaytarish, mijozga nima deyish - sizniki.
Hodisaning hayot aylanishi
- Aniqlash: signal eshitiladi yoki mijozning shikoyati keladi. Qanchalik tezroq.
- Triaj: bu qanchalik jiddiy? Domen nima? Jiddiylik darajalari tayinlanadi - odatda SEV1 (eng muhim, butun tizim) SEV4 (kichik).
- Javob berish guruhini yig'ing. Muhim voqealarda hodisa qo'mondoni muvofiqlashtirishni o'z zimmasiga oladi.
- Yumshatish: birinchi navbatda qon ketishni to'xtating - ko'pincha orqaga qaytish yoki bayroqni qoplash. Asl sababini keyinroq topasiz.
- Yechish: doimiy tuzatishni qo'llang.
- O'rganing (o'limdan so'ng): Nima bo'ldi, nima uchun bu sodir bo'ldi, qanday qilib uni yana sodir bo'lishining oldini olamiz?
Maslahat: Voqea sodir bo'lgan paytdagi eng qimmat xatolardan biri qon ketishini to'xtatishni kechiktirishdir, chunki "birinchi navbatda aniq ildiz sababini bilib olaylik". Qoida: avval pasaytirish (xizmatni tiklash/tiklash), keyin so'rash. Ma'lum bo'lgan yaxshi versiyaga qaytish ko'pincha eng tez yumshatishdir.
O'limdan keyingi aybsiz madaniyat
Sog‘lom jamoalarning asosi o‘limdan keyingi begunoh madaniyatdir: maqsad “kim buni qildi” emas, “qanday tizim va jarayon bu xatoga yo‘l qo‘ygan?”. savol. Odamlar jazolanishini bilsalar, xatosini yashirishadi; Yashirin xato takrorlanadi. Postmortem ayblov hisoboti emas, balki o'rganish hujjatidir.
Yaxshi postmortem quyidagilarni o'z ichiga oladi: xulosa, ta'sir (qancha foydalanuvchilar, qancha vaqt, qancha pul), vaqt jadvali, asosiy sabab(lar), nima yaxshi/yomon bo'lganligi va harakatlar elementlari - har birining egasi va sanasi bo'lgan aniq choralar.
Diqqat: AI bilan postmortemlarni yozayotganda, ayblovchi tilni (masalan, "X shaxs xato qildi") chiqarib tashlang. Shuningdek, AI-ga voqea ma'lumotlarini yuborishda mijoz identifikatorlari, ichki IP-lar va sirlarni maskalash - o'limdan keyingi ma'lumotlar ko'pincha keng tarqalgan.
Ildiz sabablarini tahlil qilish: 5 Nima uchun va AI
Klassik texnika "5 Nima uchun": "nima uchun?" muammoga. Qayta-qayta so'rash orqali siz yuzaki simptomdan haqiqiy ildizga erishasiz. "Xizmat ishdan chiqdi. Nima uchun? Xotirada. Nima uchun? Oqish bor edi. Nima uchun? Kutubxona yangilanishi..." AI bu zanjirni tezda quradi va mumkin bo'lgan filiallarni taklif qiladi - lekin har bir "nima uchun" ni ma'lumotlaringiz bilan tekshirishingiz kerak; AI ham oqilona, ammo noto'g'ri zanjirni qurishi mumkin.
Jiddiylik jadvali
Daraja
Ta'sir
misol
aralashuv
SEV1
Butun tizim / muhim biznes yo'qolishi
To'lov butunlay tushib ketdi
Bir zumda butun jamoa, qo'mondon
SEV2
Katta disfunktsiya
Kirish amalga oshmadi
Tez, qo'ng'iroq + qo'llab-quvvatlash
SEV3
Qisman/cheklangan ta'sir
Hisobot kechiktirildi
ish vaqti davomida
SEV4
kichik/kosmetik
matbaa xatosi
oddiy ish navbati
uchta mini holat
1-holat — MTTR 45 daqiqadan 8 daqiqagacha. Toʻlov xizmati ishlamay qoldi. Navbatchi muhandis AIga niqoblangan jurnallar va oxirgi joylashtirish ma'lumotlarini berdi va "So'nggi 20 daqiqada eng ko'p tetik nima?" — deb soʻradi u. AI qulash oxirgi joylashtirish bilan bir daqiqada boshlanganini ko'rsatdi. Muhandis darhol bu versiyani orqaga qaytardi; Xizmat 8 daqiqada qaytib keldi. Keyinchalik asosiy sabab (yangi versiyadagi ulanish havzasi xatosi) qulay tarzda tekshirildi.
2-holat - 20 daqiqada o'limdan keyingi eskiz. SEV2 dan so'ng jamoa charchagan va hisobot yozishga kuchi yo'q edi; ko'pincha hisobot haftalar davomida kechiktirildi. Bu safar ular AIga vaqt jadvali va voqea qaydlarini berishdi va jinoyatdan xoli o'limdan keyingi eskizni yaratishdi. AI ta'sir, vaqt jadvali va harakatlar elementlari uchun aniq asos yaratdi; Jamoa uni faktlar bilan to'ldirib, 20 daqiqada e'lon qildi. Dars yo'qolmadi.
3-holat - noto'g'ri ildiz sababi tutildi. Bir holatda, AI "ma'lumotlar bazasining haddan tashqari yuklanishining ildiz sababi" deb aytdi va bu mantiqiy tuyuldi. Ammo muhandis ko'rsatkichlarni tasdiqladi: voqea sodir bo'lgan paytda ma'lumotlar bazasi yuklanishi normal edi. Haqiqiy sabab tashqi DNS muammosi edi. AIning dastlabki gipotezasi suyuq, ammo noto'g'ri edi; Ma'lumotlar bilan tekshirish hisobotning noto'g'ri xulosa bilan nashr etilishiga to'sqinlik qildi.
To'rt nusxa ko'chirish shablonlari
1) Voqea sodir bo'lgan vaqtda tezkor triaj:
Biz ishlab chiqarish hodisasini boshdan kechirmoqdamiz. Niqoblangan alomatlar: [SIMPTOM].Oxirgi o'zgarishlar: [SO'NGGI DEPLOY/O'ZGARISH]. Menga bering:(1) ehtimollik tartibida 3 ta asosiy sabab gipotezasini,(2) har birini 1 daqiqada tekshiradigan buyruq/metrikani,(3) eng tezkor SAFE yumshatish bosqichini (masalan, orqaga qaytarish).Toʻgʻrisi; Har bir gipotezani tekshirishim kerakligini ayting.
2) O'limdan keyingi begunoh eskiz:
Quyidagi voqea qaydlaridan o'limdan keyingi aybsiz eskizni yozing. Bo'limlar: Xulosa, Ta'sir (foydalanuvchi/davomiylik/narx), Xronologiya, Asosiy sabab(lar), Nima yaxshi bo'ldi, Nima yomon ketdi, Harakatlar (har birida egasi + sana maydoni mavjud). Nomlash, jarayon va tizimga e'tibor qarating. Eslatmalar: [MASKED]
3) 5 Nima uchun tahlil:
Quyidagi alomatdan boshlab “5 Whys” zanjirini tuzing: [SIMPTOM].Har bir qadamda bir nechta mumkin bo‘lgan novdalar mavjudligini ko‘rsating. Har bir "nima uchun" yoniga men buni tekshirish uchun ko'rib chiqadigan dalillarni (log/metrik) yozing. Oxirida qaysi qadamlar hali tasdiqlanmaganligini belgilang.
4) Amalga oshiriladigan narsalarni yaratish:
Ushbu asosiy sababga ko'ra, xuddi shu hodisaning takrorlanishiga yo'l qo'ymaydigan harakat qilish mumkin bo'lgan narsalarni taklif qiling. Har bir elementni quyidagilar bo'yicha tasniflang: (a) oldini olish, aniqlash yoki kamaytirish, (b) taxminiy harakatlar, (c) ta'sir. Eng yuqori ta'sir/harakat nisbati bo'yicha saralash. Asosiy sabab: [X]
Zaif taklif / Kuchli taklif
Zaif: "Xizmat buzildi, nima qilishim kerak?"
Natija: kontekst yo'q; AI sizning holatingizga mos kelmaydigan umumiy tavsiyalar berishi va hatto aniq ildiz sababini topishi mumkin.
Kuchli: "Ishlab chiqarish toʻlovi xizmati 5 daqiqadan beri 5xx beryapti. Oxirgi oʻrnatish 6 daqiqa oldin boʻlgan. 3 ta asosiy sabab gipotezasini ehtimollik tartibida keltiring, ularning har birini tekshiradigan buyruqni ayting va eng tezkor xavfsiz yumshatishni taklif qiling. Aniq boʻlmang, tekshirishim kerakligini ayting."
Farqi: ikkinchi so'rov simptomni, vaqtni va oxirgi o'zgarishni beradi; u gipoteza + tekshirish + qisqartirishni talab qiladi va AIni noaniq saqlaydi.
Umumiy xatolar
- Yumshatishdan oldin aniq ildiz sababini izlang. Qon ketishini to'xtatishni kechiktiradi va MTTRni oshiradi.
- AIning birinchi gipotezasini tasdiqlamasdan nashr qilish. Suyuq, ammo noto'g'ri ildiz hisobotga oqishiga olib keladi.
- Ayblovchi til. Anonim tarzda yozilgan o'limdan keyin yashirish va takroriy xatolikka yordam beradi.
- Belgilarsiz harakatga yo'naltirilgan hisobot. Egasi va sanasi bo'lmagan taklif hech qachon amalga oshirilmaydi.
- Voqealar ma'lumotlarini yashirmasdan almashish. Postmortem keng auditoriyaga boradi; maxfiy/shaxsiy ma'lumotlar oshkor qilingan.
- Orqaga qaytish yo'lini oldindan tayyorlamaslik. Agar orqaga qaytarish amaliy bo'lmasa, pasayish sekinlashadi.
qisqa bayoni; yakunida
Hodisalarni boshqarish - bu muqarrar hodisalarni tezda aniqlash, yumshatish, hal qilish va o'rganish; MTTD va MTTR asosiy ko'rsatkichlardir. Oltin qoida - "avval yumshatish, keyinroq tekshirish" va ma'lum bo'lgan yaxshi versiyaga qaytish ko'pincha eng tez yumshatishdir. AI voqea sodir bo'lgan paytdagi jurnallarni umumlashtirish, gipotezalarni qisqartirish va voqeadan keyin aybsiz o'limdan keyingi eskizlarni yaratishda bebahodir - ammo har bir ildiz sababi gipotezasini ma'lumotlar bilan tasdiqlash, ayblov tilini tozalash va voqea ma'lumotlarini maskalash sizning mas'uliyatingizdir.
Ilova vazifasi
O'tmishdagi (yoki xayoliy) voqeani ko'rib chiqing. (1) AI gipotezalarni va "voqea joyida tezkor triaj" shablonini tekshirish bosqichlarini yaratsin; Qaysi gipotezani ma'lumotlar bilan tasdiqlash mumkinligiga e'tibor bering. (2) "Aybdor emas, o'limdan keyingi reja" shablonidan foydalangan holda hisobotning eskizini tuzing va uni faktlar bilan to'ldiring. (3) Kamida ikkita harakat qilinadigan narsani aniqlang va har biriga egasi va sanasini belgilang.
nazorat ro'yxati
- [ ] Voqea sodir bo'lgan paytda, men birinchi navbatda yumshatish (orqaga qaytarish/o'chirish) haqida o'yladim va asosiy sababni keyinroq qoldirdim.
- [ ] Men AIning har bir ildiz sababi gipotezasini log/metrika bilan tasdiqladim.
- [ ] Men uni postmortemni ayblamaydigan tilda yozdim, jarayon va tizimga e'tibor qaratdim.
- [ ] Har bir harakat qilinadigan elementga egasi va sanasini tayinladim.
- [ ] Men AIga bergan voqea maʼlumotlaridan sir va shaxsiy maʼlumotlarni yashirdim.
- [ ] Men ta'sirga qarab jiddiylik darajasini to'g'ri belgiladim.