Girdeji:
- Bir hadysanyň ýaşaýyş sikline (kesgitlemek, üçburçluk, mitigasiýa, çözgüt, postmortem), MTTD / MTTR ölçeglerine we 'ilki bilen gowşat, soň derňe' ýörelgesine düşünmek ukyby.
- Waka bolan wagty gipotezalary daraltmak we her kök sebäbini maglumatlar bilen tassyklaýan, kemsiz postmortem eskizini öndürmek üçin AI-ni ulanmak ukyby;
- Postmortemi günäkärlemeýän we waka maglumatlary maskalanmak bilen paýlaşýan dilde ýazmak düzgünini ulanmak ukyby.
Her ulgam ahyrsoňy bozulýar. Tapawut, bu gutulgysyz çärä gowy toparlaryň nädip taýýarlanýandyklary we nädip öwrenýändikleri. Waka, hyzmaty bozýan ýa-da bozmak howpy bilen garaşylmadyk hadysadyr: hyzmatyň çökmegi, jogap wagtynyň köpelmegi, maglumatlaryň ýitmegi. Wakalary dolandyrmak, wakany mümkin boldugyça çalt tapmak, ýeňilleşdirmek, çözmek we ondan öwrenmek diýmekdir. Bu, DevOps we SRE (Saýt ygtybarlylygy in Engineeringenerligi) hünärmenlerini gije-gündiz herekete getirýän tertip.
Iki sany möhüm ölçeg hadysanyň hilini ölçýär: MTTD (kesgitlemegiň ortaça wagty) we MTTR (Dikeldiş wagty). Maksat ikisini kiçeltmek. AI bu ýerde iki sany uly gymmatlyk goşýar: bolup biläýjek düýp sebäbini gysgaltmak üçin waka wagtynda ýazgylary we ölçegleri gysgaça jemlemek we wakadan soň postmortemi (wakadan soňky derňew hasabatyny) taýýarlamak. Eventsöne wakalaryň gidişi - haýsy hyzmaty öçürmek, yzyna gaýtarmak, müşderä näme diýmeli - kararlar siziňki.
Bir wakanyň durmuş aýlawy
- Ectionüze çykarmak: Duýduryş ýa-da müşderiniň arzasy gelýär. Näçe ir bolsa gowy.
- Gatnaşyk: Bu nähili çynlakaý? Domen näme? Agyrlyk derejeleri, adatça SEV1 (iň möhüm, tutuş ulgam) SEV4 (kiçi) bellenýär.
- Jogap toparyňyzy ýygnaň. Möhüm hadysalarda bir hadysanyň komandiri utgaşdyrmagy öz üstüne alýar.
- Igateňilleşdirmek: Ilki bilen gan akmagy bes ediň - köplenç yza gaýdyp ýa-da baýdagy ýapyň. Munuň düýp sebäbini soň taparsyňyz.
- Çözüň: Hemişelik düzediş ulanyň.
- Öwreniň (postmortem): Näme boldy, näme üçin boldy, gaýtalanmazlygynyň öňüni nädip almaly?
Maslahat: Waka bolan wagty iň gymmat ýalňyşlyklaryň biri, gan dökülmegi gijikdirmekdir, sebäbi "ilki bilen düýp sebäbine geçeliň". Düzgün: ilki peselmek (hyzmaty dikeltmek / dikeltmek), soň soraň. Belli-gowy wersiýa gaýdyp gelmek köplenç iň çalt gowşatmakdyr.
Günäsiz postmortem medeniýeti
Sagdyn toparlaryň diregi günäkär postmortemiň medeniýeti: maksat "muny kim etdi" däl-de, "haýsy ýalňyşlyga haýsy ulgam we proses rugsat berdi?" sorag. Adamlar jezalandyryljakdygyny bilseler ýalňyşlygy gizleýärler; Gizlenen säwlik gaýtalanýar. Postmortem aýyplama hasabaty däl, okuw resminamasy.
Gowy postmortem öz içine alýar: jemleme, täsir (näçe ulanyjy, näçe wagt, näçe pul), wagt çyzgysy, düýp sebäpler, gowy / erbet giden zatlar we hereket elementleri - anyk çäreler, hersiniň eýesi we senesi bar.
Üns beriň: AI bilen postmortemler ýazylanda, aýyplaýjy dili ýok etmegi unutmaň (ýagny “X adam ýalňyşdy”). Şeýle hem AI-e hadysa maglumatlary iýmitlenende müşderi şahsyýetnamalaryny, içerki IP-lerini we syrlaryny maskalaň - postmortemler köplenç giňden paýlaşylýar.
Kök sebäbiniň derňewi: 5 Whys we AI
Klassiki usul "5 Whys": "näme üçin?" Diýip soraň. meselä. Gaýta-gaýta sorasaň, ýüzleý alamatdan hakyky köküne geçersiň. . AI hem ýerlikli, ýöne nädogry zynjyr gurup biler.
Agyrlyk tablisasy
Dereje
Täsir
mysal
gatyşmak
SEV1
Bütin ulgam / möhüm iş ýitgisi
Töleg doly azaldy
Derrew tutuş topar, serkerde
SEV2
Esasy disfunksiýa
Girişler şowsuz
Çalt, jaňda + goldaw
SEV3
Bölekleýin / çäkli täsir
Hasabat yza süýşürildi
iş wagty
SEV4
kiçi / kosmetika
ýalňyşlyk
adaty iş nobaty
üç sany kiçi halat
1-nji waka - MTTR 45 minutdan 8 minuta çenli. Töleg hyzmaty ýykyldy. Gullukdaky inerener maskaly surnallary we soňky ýerleşdiriş maglumatlary AI-e berdi we "Soňky 20 minutda iň ähtimal sebäp näme?" Diýip sorady. diýip sorady. AI çökgünligiň soňky ýerleşdiriş bilen bir minutda başlandygyny görkezdi. Inerener derrew şol wersiýasyny yzyna gaýtardy; Hyzmat 8 minutdan gaýdyp geldi. Munuň düýp sebäbi (täze wersiýadaky baglanyşyk howuzynyň näsazlygy) soňra amatly derňeldi.
2-nji waka - 20 minutda postmortem eskiz. SEV2-den soň topar ýadady we hasabat ýazmaga güýji ýetmedi; hasabat köplenç hepdelere gijikdirilýärdi. Bu gezek AI-e wagt çyzgysy we waka bellikleri berdiler we jenaýatsyz postmortem eskizini taýýarladylar. AI täsir, wagt tertibi we hereket elementleri üçin arassa çarçuwany döretdi; Topar ony faktlar bilen doldurdy we 20 minutda neşir etdi. Sapak ýitirilmedi.
3-nji waka - nädogry kök tutuldy. Bir ýagdaýda AI "düýp sebäpler bazasynyň aşa köpelmegine" sebäp boldy we bu ýerlikli ýalydy. Emma inerener ölçegleri tassyklady: waka ýüze çykan mahaly maglumatlar bazasynyň ýüklemesi adatydy. Asyl sebäbi daşarky DNS meselesi. AI-iň başlangyç çaklamasy suwukdy, ýöne nädogrydy; Maglumatlar bilen barlamak hasabatyň nädogry netije bilen çap edilmeginiň öňüni aldy.
Göçürip boljak dört şablon
1) Waka bolan wagtynda çalt triage:
Önümçilik wakasyny başdan geçirýäris. Maskaly alamatlar: [SYMPTOM]. Soňky üýtgeşmeler: [Iň soňky iş / üýtgetmek]. Maňa beriň: (1) ähtimallyk derejesi boýunça iň ähtimal 3 sebäp gipotezalary, (2) hersini 1 minutda barlajak buýruk / ölçeg, (3) HOWPSUZ gowşatmagyň iň çalt ädimi (meselem, yzyna gaýtmak) .Gaty gürlemek; Her gipotezany barlamalydygymy aýdyň.
2) bigünä postmortem eskiz:
Aşakdaky waka belliklerinden aýypsyz postmortem eskizini ýazyň. Bölümler: Gysgaça mazmun, täsir (ulanyjy / dowamlylygy / bahasy), Wagt görkezijisi, düýp sebäpler, gowy giden, erbet giden zatlar, hereket elementleri (hersiniň eýesi + senesi meýdançasy). Adyna, işine we ulgamyna üns beriň. Bellikler: [MASKED]
3) 5 Näme üçin derňew:
Aşakdaky alamatdan başlap, "5 Whys" zynjyryny guruň: [SYMPTOM]. Her ädimde birden köp şahanyň bardygyny ýa-da ýokdugyny görkeziň. Her "näme üçin" gapdalynda, barlamak üçin seredjek subutnamalarymy (log / metrik) ýazyň. Ahyrynda haýsy ädimleriň entek tassyklanmandygyny belläň.
4) Hereketli zatlary döretmek:
Bu düýp sebäbe görä, şol bir hadysanyň gaýtalanmazlygynyň öňüni alyp boljak zatlary teklip ediň. Her elementi aşakdakylara bölüň: (a) öňüni almak, ýüze çykarmak ýa-da azaltmak, (b) çak edilýän tagallalar, (c) täsir. Iň ýokary täsir / tagalla gatnaşygy boýunça tertipläň. Munuň düýp sebäbi: [X]
Gowşak haýyş / Güýçli haýyş
Gowşak: "Hyzmat ýykyldy, men näme etmeli?"
Netije: mazmun ýok; AI siziň ýagdaýyňyza laýyk gelmeýän umumy teklipleri berip biler we hatda kesgitli düýp sebäbini hem berip biler.
Güýçli: "Önümçilik töleg hyzmaty 5 minut bäri 5xx berýär. Iň soňky ýerleşdiriş 6 minut mundan ozal bolupdy. Probhtimallyk üçin iň ähtimal 3 sebäp gipotezasyny beriň, olaryň hersini barlajak buýrugy aýdyň we iň çalt howpsuzlygy azaltmagy teklip ediň. Belli bolmaň, tassyklamalydygyny aýdyň."
Tapawut: ikinji haýyş, simptomy, wagty we soňky üýtgemäni berýär; gipotezany + barlamagy + azaltmagy talap edýär we AI-ni nädogry saklaýar.
Adaty ýalňyşlyklar
- Igeňilleşdirmezden ozal düýp sebäbini gözlemek. Ganyň durmagyny gijikdirýär we MTTR-ny ýokarlandyrýar.
- AI-iň ilkinji gipotezasyny barlamazdan neşir etmek. Suwuk, ýöne ýalan kök hasabatyň syzmagyna sebäp bolýar.
- Aýyplaýjy dil. Anonim ýazylan Postmortem gizlinligi we ýalňyşlygy gaýtalaýar.
- Ok nokatlary bolmazdan herekete gönükdirilen hasabat. Eýesi we senesi bolmadyk teklip hiç haçan durmuşa geçirilmez.
- Waka maglumatlaryny maskalamazdan paýlaşmak. Postmortem giň tomaşaçylara gidýär; gizlin / şahsy maglumatlar syzýar.
- Yza gaýdyp barýan ýoly öňünden taýýarlamazlyk. Tersine amaly bolmasa, azaltmak haýallaşdyrylýar.
Gysgaça
Wakalary dolandyrmak gutulgysyz wakalary çalt tapmak, azaltmak, çözmek we öwrenmek hakda; MTTD we MTTR esasy ölçeglerdir. Altyn düzgün "ilki bilen ýumşadyň, soňrak derňäň" we belli-gowy wersiýa gaýdyp gelmek köplenç iň çalt ýumşatmakdyr. AI wakanyň bolan wagty surnallary jemlemekde, gipotezalary daraltmakda we wakadan soň aýypsyz postmortem eskizlerini öndürmekde bahasyna ýetip bolmaýar - ýöne her bir kök sebäbiniň gipotezasyny maglumatlar bilen tassyklamak, günäkär dilini arassalamak we hadysanyň maglumatlary.
Programma meselesi
Geçen (ýa-da toslama) wakany gözden geçiriň. (1) AI-de “sahnada çalt üçburçlyk” şablony bilen gipotezalary we tassyklama ädimlerini döretmeli; Haýsy gipotezanyň maglumatlar bilen tassyklanyp biljekdigine üns beriň. (2) "Günäkär däl postmortem meýilnamasy" şablonyny ulanyp hasabaty çyzyň we faktlar bilen dolduryň. (3) Iň azyndan iki hereket edip boljak zady kesgitläň we hersine eýesini we senesini belläň.
gözegçilik sanawy
- [] Waka ýüze çykanda, ilki bilen gowşatmak (yza gaýtmak / ýapmak) hakda pikir etdim we düýp sebäbini soňa goýdum.
- [] AI-iň her bir sebäbiniň gipotezasyny log / metrik bilen barladym.
- [] Prosese we ulgama ünsi jemläp, postmortemi günäkärlemeýän dilde ýazdym.
- [] Her hereket edip boljak elementiň eýesini we senesini belledim.
- [] AI-e beren waka maglumatlarymdan gizlin we şahsy maglumatlary maskaladym.
- [] Täsirine görä agyrlyk derejesini dogry belledim.