Faida:
- Uwezo wa kuelewa mzunguko wa maisha wa tukio (ugunduzi, utatuzi, upunguzaji, azimio, postmortem), vipimo vya MTTD/MTTR na kanuni ya 'punguza kwanza, chunguza baadaye'
- Uwezo wa kutumia AI kupunguza dhahania wakati wa tukio na kutoa mchoro usio na hatia wa baada ya kifo, kuhalalisha kila sababu ya msingi na data.
- Uwezo wa kutumia taaluma ya uandishi katika lugha ambayo hailaumu postmortem na kushiriki data ya tukio kwa kuificha.
Kila mfumo huvunjika hatimaye. Tofauti ni jinsi timu nzuri hujiandaa kwa tukio hili lisiloepukika na jinsi wanavyojifunza. Tukio ni tukio lisilotarajiwa ambalo hutatiza au kutishia kutatiza huduma: ajali ya huduma, nyakati za majibu kuongezeka, kupoteza data. Udhibiti wa matukio unamaanisha kugundua, kupunguza, kusuluhisha tukio haraka iwezekanavyo, na kisha kujifunza kutoka kwake. Hii ndiyo taaluma inayoendesha wataalamu wa DevOps na SRE (Site Reliability Engineering) mchana na usiku.
Vipimo viwili muhimu hupima ubora wa tukio: MTTD (Wastani wa Muda wa Kugundua) na MTTR (Wastani wa Muda wa Kuokoa). Lengo ni kupunguza zote mbili. AI inaongeza maadili mawili makubwa hapa: muhtasari wa kumbukumbu na vipimo kwa haraka wakati wa tukio ili kupunguza sababu inayowezekana, na kuandaa haraka uchunguzi wa kifo (ripoti ya uchunguzi wa baada ya tukio) baada ya tukio. Lakini maamuzi kuhusu mwendo wa matukio - ni huduma gani ya kuzima, kurudi nyuma, nini cha kumwambia mteja - ni yako.
Mzunguko wa maisha wa tukio
- Ugunduzi: Kengele inalia au malalamiko ya mteja yanakuja. mapema bora.
- Triage: Je, ni mbaya kiasi gani? Kikoa ni nini? Viwango vya ukali huwekwa-kawaida SEV1 (muhimu zaidi, mfumo mzima) hadi SEV4 (ndogo).
- Kusanya timu yako ya majibu. Katika matukio muhimu, kamanda wa tukio huchukua uratibu.
- Punguza: Acha kuvuja damu kwanza - mara nyingi kurudisha nyuma au kufunika bendera. Utapata sababu ya msingi baadaye.
- Suluhisha: Tekeleza urekebishaji wa kudumu.
- Jifunze (postmortem): Ni nini kilitokea, kwa nini kilitokea, tunazuiaje kutokea tena?
Kidokezo: Moja ya makosa ya gharama kubwa zaidi wakati wa tukio ni kuchelewesha kusimamisha damu kwa sababu "hebu tupate sababu halisi kwanza." Sheria: punguzo la kwanza (rejesha/rejesha huduma), kisha uulize. Kurudisha nyuma kwa toleo linalojulikana-nzuri mara nyingi ndio upunguzaji wa haraka zaidi.
Utamaduni wa postmortem usio na hatia
Uti wa mgongo wa timu zenye afya ni utamaduni wa postmortem isiyo na hatia: lengo sio "nani alifanya hivyo," lakini "ni mfumo gani na mchakato uliruhusu kosa hili?" ni swali. Watu huficha kosa wakijua wataadhibiwa; Hitilafu iliyofichwa inarudiwa. Postmortem sio ripoti ya mashtaka, lakini hati ya kujifunza.
Uchunguzi mzuri wa maiti ni pamoja na: muhtasari, athari (watumiaji wangapi, muda gani, kiasi gani cha pesa), kalenda ya matukio, sababu kuu, ni nini kilikwenda vizuri/mbaya, na vipengee vya kushughulikia—hatua za zege, kila moja ikiwa na mmiliki na tarehe.
Tahadhari: Unapoandika postmortems na AI, hakikisha kuwa umeondoa lugha ya kushtaki (yaani "mtu X alifanya makosa"). Pia vitambulisho vya mteja vya kufunika, IP za ndani, na siri wakati wa kulisha data ya tukio kwa AI - uchunguzi wa maiti mara nyingi hushirikiwa kwa upana.
Uchambuzi wa sababu za mizizi: 5 Kwa nini na AI
Mbinu ya kawaida ni "5 Whys": uliza "kwanini?" kwa tatizo. Kwa kuuliza tena na tena, unapata kutoka kwa dalili ya juu juu hadi kwenye mzizi halisi. "Huduma ilianguka. Kwa nini? Nje ya kumbukumbu. Kwa nini? Kulikuwa na uvujaji. Kwa nini? Sasisho la maktaba ..." AI ni haraka kujenga mnyororo huu na kupendekeza matawi iwezekanavyo - lakini lazima uthibitishe kila "kwa nini" na data yako; AI inaweza pia kujenga mnyororo unaofaa lakini usio sahihi.
Jedwali la ukali
Kiwango
Athari
mfano
kuingilia kati
SEV1
Mfumo mzima/hasara muhimu ya biashara
Malipo yameshuka kabisa
Mara moja, timu nzima, kamanda
SEV2
Uharibifu mkubwa
Kuingia kumeshindwa
Usaidizi wa haraka, kwenye simu +
SEV3
Athari ya sehemu/kidogo
Ripoti imechelewa
wakati wa saa za kazi
SEV4
ndogo/vipodozi
chapa
foleni ya kazi ya kawaida
kesi tatu ndogo
Kesi ya 1 - MTTR kutoka dakika 45 hadi dakika 8. Huduma ya malipo imeacha kufanya kazi. Mhandisi wa zamu alitoa kumbukumbu zilizofunikwa na habari ya mwisho ya kupelekwa kwa AI na akauliza "Ni kichochezi gani kinachowezekana zaidi katika dakika 20 zilizopita?" Aliuliza. AI ilionyesha kuwa kuanguka kulianza kwa dakika sawa na kupelekwa kwa mwisho. Mhandisi mara moja akavingirisha toleo hilo; Huduma ilirudi baada ya dakika 8. Chanzo kikuu (kidudu cha bwawa la unganisho katika toleo jipya) kilichunguzwa kwa urahisi.
Kesi ya 2 - mchoro wa postmortem katika dakika 20. Baada ya SEV2, timu ilikuwa imechoka na haikuwa na nguvu ya kuandika ripoti; mara nyingi ripoti ilichelewa kwa wiki. Wakati huu, walitoa kalenda ya matukio na maelezo ya tukio kwa AI na kutoa mchoro wa postmortem bila uhalifu. AI iliunda mfumo nadhifu wa athari, kalenda ya matukio na vipengee vya hatua; Timu iliijaza na ukweli na kuichapisha katika dakika 20. Somo halikupotea.
Kesi ya 3 - chanzo kibaya kimekamatwa. Katika kisa kimoja, AI ilisema "sababu ya upakiaji wa hifadhidata" na ilionekana kuwa sawa. Lakini mhandisi alithibitisha vipimo: upakiaji wa hifadhidata ulikuwa wa kawaida wakati wa tukio. Sababu halisi ilikuwa shida ya DNS ya nje. Dhana ya awali ya AI ilikuwa maji lakini si sahihi; Uthibitishaji na data ulizuia ripoti kuchapishwa na hitimisho lisilo sahihi.
Violezo vinne vinavyoweza kunakiliwa
1) Jaribio la haraka wakati wa tukio:
Tunakumbana na tukio la uzalishaji. Dalili zilizofichwa: [DALILI].Mabadiliko ya mwisho: [WEKA MWISHO/BADILIKA]. Nipe:(1) nadharia 3 zinazowezekana zaidi za kusababisha kwa mpangilio wa uwezekano,(2) amri/ kipimo ambacho kitathibitisha kila moja kwa dakika 1,(3) hatua ya haraka zaidi ya kupunguza SALAMA (k.m. kurudisha nyuma). Kwa kusema kweli; Sema kwamba lazima nithibitishe kila nadharia.
2) Mchoro wa postmortem isiyo na hatia:
Andika mchoro wa postmortem usio na lawama kutoka kwa maelezo ya tukio hapa chini. Sehemu: Muhtasari, Athari (mtumiaji/muda/gharama), Rekodi ya Maeneo Uliyotembelea, Chanzo/vyanzo), Nini kilikwenda vizuri, Kilichoenda vibaya, Vitendo (kila likiwa na mmiliki + uwanja wa tarehe). Zingatia kutaja, mchakato na mfumo. Vidokezo: [MASKED]
3) 5 Uchambuzi wa Sababu:
Unda msururu wa "Kwanini 5", ukianza na dalili ifuatayo: [DALILI].Onyesha ikiwa kuna zaidi ya tawi moja linalowezekana kwa kila hatua. Karibu na kila "kwanini" andika ushahidi (logi/metric) ambao nitauangalia ili kuuthibitisha. Mwishoni, weka alama ni hatua zipi bado hazijathibitishwa.
4) kuunda vitu vinavyoweza kutekelezwa:
Kulingana na sababu hii kuu, pendekeza vitu vinavyoweza kuchukuliwa hatua ambavyo vitazuia tukio kama hilo kujirudia. Panga kila kipengele kwa: (a) kuzuia, kugundua au kupunguza, (b) makadirio ya juhudi, (c) athari. Panga kwa uwiano wa juu wa athari/juhudi. Chanzo kikuu: [X]
Mwongozo dhaifu / Mwongozo thabiti
Dhaifu: "Huduma imeanguka, nifanye nini?"
Matokeo: hakuna muktadha; AI inaweza kutoa mapendekezo ya jumla ambayo hayaendani na kesi yako, na inaweza hata kuja na sababu ya msingi.
Imara: "Huduma ya malipo ya uzalishaji imekuwa ikitoa 5xx kwa dakika 5. Utumaji wa mwisho ulikuwa dakika 6 zilizopita. Toa nadharia 3 zinazowezekana zaidi za chanzo kwa mpangilio wa uwezekano, sema amri ambayo itathibitisha kila mojawapo, na upendekeze upunguzaji wa haraka zaidi wa usalama. Usiwe mahususi, sema kwamba ninahitaji kuthibitisha."
Tofauti: haraka ya pili inatoa dalili, muda, na mabadiliko ya mwisho; inadai dhana + uthibitishaji + kupunguzwa na kuweka AI isiyo sahihi.
Makosa ya kawaida
- Kutafuta sababu halisi kabla ya kupunguza. Inachelewesha kuacha damu na huongeza MTTR.
- Kuchapisha dhana ya kwanza ya AI bila kuithibitisha. Majimaji lakini mzizi wa uwongo huvuja kwenye ripoti.
- Lugha ya mashtaka. Postmortem iliyoandikwa bila kujulikana inakuza ufichaji na kurudia makosa.
- Ripoti inayolenga vitendo bila vidokezo. Pendekezo bila mmiliki na tarehe haitatekelezwa kamwe.
- Kushiriki data ya tukio bila kuficha. Postmortem huenda kwa hadhira pana; data ya siri/ya kibinafsi imevuja.
- Sio kuandaa njia ya kurejesha mapema. Ikiwa ubadilishaji haufanyiki, upunguzaji hupunguzwa.
Kwa muhtasari
Udhibiti wa matukio unahusu kugundua haraka, kupunguza, kusuluhisha na kujifunza kutokana na matukio yanayoweza kuepukika; MTTD na MTTR ni vipimo muhimu. Kanuni ya dhahabu ni "punguza kwanza, chunguza baadaye" na kurudi kwenye toleo linalojulikana-boma mara nyingi ndio upunguzaji wa haraka zaidi. AI ni muhimu sana katika muhtasari wa kumbukumbu wakati wa tukio, kupunguza dhahania, na kutoa michoro isiyo na lawama baada ya tukio - lakini ni jukumu lako kuhalalisha nadharia ya kila chanzo kwa data, kuondoa lugha ya lawama, na data ya tukio la kuficha.
Jukumu la maombi
Fikiria tukio la zamani (au la kubuni). (1) Fanya AI itengeneze dhana na hatua za uthibitishaji kwa kiolezo cha "majaribio ya haraka-haraka"; Kumbuka ni hypothesis gani inaweza kuthibitishwa na data. (2) Chora ripoti kwa kutumia kiolezo cha "not guilty postmortem" na ujaze ukweli. (3) Tambua angalau vitu viwili vinavyoweza kutekelezwa na umkabidhi mmiliki na tarehe kwa kila moja.
orodha ya ukaguzi
- [ ] Wakati wa tukio, kwanza nilifikiria kupunguza (kurudisha nyuma/kuzima) na nikaacha kisababishi kikuu hadi baadaye.
- [ ] Nilithibitisha kila msingi wa nadharia ya AI kwa logi/metric.
- [ ] Niliiandika kwa lugha ambayo hailaumu postmortem, nikizingatia mchakato na mfumo.
- [ ] Nilikabidhi kila kitu kinachoweza kuchukuliwa hatua mmiliki na tarehe.
- [ ] Nilificha maelezo ya siri na ya kibinafsi kutoka kwa data ya tukio niliyotoa kwa AI.
- [ ] Niliweka kiwango cha ukali kwa usahihi kulingana na athari.