Awọn anfani:
- Agbara lati loye igbesi-aye igbesi aye ti iṣẹlẹ kan (iwari, iyatọ, idinku, ipinnu, postmortem), awọn metiriki MTTD/MTTR ati ilana ti 'mitigate akọkọ, ṣawari nigbamii'
- Agbara lati lo AI lati dín awọn idawọle ni akoko iṣẹlẹ naa ati ṣe agbejade aworan afọwọya postmortem ti ko ni abawọn, ti o jẹrisi idi root kọọkan pẹlu data
- Agbara lati lo ibawi ti kikọ ni ede ti ko da ẹbi lẹhin iku ati pinpin data iṣẹlẹ nipa boju-boju rẹ.
Gbogbo eto fi opin si isalẹ bajẹ. Iyatọ naa ni bii awọn ẹgbẹ ti o dara ṣe murasilẹ fun iṣẹlẹ ti ko ṣeeṣe yii ati bii wọn ṣe kọ ẹkọ. Iṣẹlẹ jẹ iṣẹlẹ airotẹlẹ ti o fa idalọwọduro tabi halẹ lati da iṣẹ naa duro: jamba iṣẹ kan, awọn akoko idahun ti n ga soke, pipadanu data. Isakoso isẹlẹ tumọ si wiwa, idinku, yanju iṣẹlẹ naa ni yarayara bi o ti ṣee, ati lẹhinna kọ ẹkọ lati ọdọ rẹ. Eyi ni ibawi ti o ṣe awakọ DevOps ati SRE (Iṣẹ Igbẹkẹle Aye) awọn alamọja ni ọsan ati alẹ.
Awọn metiriki pataki meji ṣe iwọn didara iṣẹlẹ naa: MTTD (Aago Itumọ Lati Wa) ati MTTR (Aago Itumọ Lati Bọsipọ). Ibi-afẹde ni lati dinku awọn mejeeji. AI ṣafikun awọn iye nla nla meji nibi: ni iyara akopọ awọn akọọlẹ ati awọn metiriki ni akoko iṣẹlẹ lati dín idi root ti o ṣee ṣe, ati ni iyara kikọ iwe-ipamọ lẹhin iku (Ijabọ iwadii iṣẹlẹ lẹhin iṣẹlẹ) lẹhin iṣẹlẹ naa. Ṣugbọn awọn ipinnu nipa ipa ti awọn iṣẹlẹ - iṣẹ wo ni lati pa, yiyi pada, kini lati sọ fun alabara - jẹ tirẹ.
Aye igbesi aye ti iṣẹlẹ kan
- Iwari: Itaniji n dun tabi ẹdun alabara kan wa. Awọn Gere ti awọn dara.
- Iyatọ: Bawo ni o ṣe lewu? Kini ibugbe naa? Awọn ipele ti o lewu ni a yàn-nigbagbogbo SEV1 (pataki julọ, gbogbo eto) si SEV4 (kekere).
- Ṣe apejọ ẹgbẹ idahun rẹ. Ni awọn iṣẹlẹ to ṣe pataki, alaṣẹ iṣẹlẹ dawọle isọdọkan.
- Dinku: Da ẹjẹ duro ni akọkọ - nigbagbogbo yiyi pada tabi bo asia kan. Iwọ yoo wa idi root nigbamii.
- Yanju: Waye atunṣe titilai.
- Kọ ẹkọ (postmortem): Kini o ṣẹlẹ, kilode ti o ṣẹlẹ, bawo ni a ṣe ṣe idiwọ fun u lati ṣẹlẹ lẹẹkansi?
Imọran: Ọkan ninu awọn aṣiṣe ti o niyelori ni akoko isẹlẹ naa ni idaduro idaduro ẹjẹ nitori "jẹ ki a lọ si idi root gangan ni akọkọ." Ilana: idinku akọkọ (iṣẹ atunṣe / mu pada), lẹhinna beere. Yiyi pada si ẹya ti o dara ti a mọ nigbagbogbo jẹ idinku iyara julọ.
Aṣa lẹhin iku ti ko ni ẹbi
Ẹyin ti awọn ẹgbẹ ti o ni ilera jẹ aṣa ti postmortem ti ko ni abawọn: ibi-afẹde kii ṣe “ẹni ti o ṣe,” ṣugbọn “kini eto ati ilana ti o gba aṣiṣe yii laaye?” ni ibeere. Awọn eniyan tọju aṣiṣe ti wọn ba mọ pe wọn yoo jiya; Aṣiṣe ti o farapamọ naa tun tun ṣe. Postmortem kii ṣe ijabọ ẹsun, ṣugbọn iwe ikẹkọ kan.
Ifiranṣẹ ti o dara pẹlu: akopọ, ipa (awọn olumulo melo, bawo ni, iye owo melo), aago, awọn idi root (s), ohun ti o lọ daradara/buburu, ati awọn nkan iṣe — awọn igbese idii, ọkọọkan pẹlu oniwun ati ọjọ.
Išọra: Nigbati o ba nkọ awọn iku lẹhin pẹlu AI, rii daju pe o pa ede ẹsun kuro (eyun “eniyan X ṣe aṣiṣe kan”). Paapaa boju-boju awọn ID alabara, awọn IP inu, ati awọn aṣiri nigba ifunni data iṣẹlẹ si AI — awọn iku lẹhin iku jẹ nigbagbogbo pinpin kaakiri.
Root fa onínọmbà: 5 Whys ati AI
A Ayebaye ilana ni "5 Kí nìdí": beere "Kí?" si isoro. Nipa bibeere leralera, o gba lati aami aisan aiṣan si gbongbo gidi. "Iṣẹ naa ti kọlu. Kilode? Ti iranti. Kilode? O kan jo. Kilode? Imudojuiwọn ile-ikawe ... "AI ni kiakia lati kọ pq yii ati daba awọn ẹka ti o ṣeeṣe - ṣugbọn o gbọdọ ṣayẹwo kọọkan "idi" pẹlu data rẹ; AI tun le kọ kan reasonable sugbon ti ko tọ pq.
Tabili iwuwo
Ipele
Ipa
apẹẹrẹ
ilowosi
SEV1
Gbogbo eto / ipadanu iṣowo pataki
Owo sisan silẹ patapata
Lẹsẹkẹsẹ, gbogbo ẹgbẹ, Alakoso
SEV2
Aiṣiṣe pataki
Awọn wiwọle kuna
Yara, atilẹyin lori ipe +
SEV3
Apa kan / ipa to lopin
Iroyin ti wa ni idaduro
nigba ṣiṣẹ wakati
SEV4
kekere / ohun ikunra
typo
arinrin iṣẹ isinyi
mẹta mini igba
Ọran 1 - MTTR lati iṣẹju 45 si iṣẹju 8. Isanwo iṣẹ kọlu. Onimọ-ẹrọ ti o wa ni iṣẹ fun awọn akọọlẹ ti o boju-boju ati alaye imuṣiṣẹ ti o kẹhin si AI ati beere “Kini o ṣee ṣe okunfa julọ ni awọn iṣẹju 20 to kẹhin?” o beere. AI fihan pe iṣubu bẹrẹ ni iṣẹju kanna bi imuṣiṣẹ ti o kẹhin. Awọn ẹlẹrọ lẹsẹkẹsẹ yiyi pada ti ikede; Iṣẹ naa pada ni iṣẹju 8. Idi ti gbongbo (bug adagun asopọ kan ninu ẹya tuntun) lẹhinna ṣe iwadii ni irọrun.
Ọran 2-aworan aworan lẹhin iku ni iṣẹju 20. Lẹhin SEV2, o rẹ ẹgbẹ ko si ni agbara lati kọ ijabọ kan; Nigbagbogbo ijabọ naa ni idaduro fun awọn ọsẹ. Ni akoko yii, wọn fun Ago ati awọn akọsilẹ iṣẹlẹ si AI ati ṣe agbejade aworan afọwọya lẹhin iku ti ko ni ẹṣẹ. AI ṣẹda ilana afinju fun ipa, aago ati awọn ohun iṣe; Ẹgbẹ naa kun pẹlu awọn otitọ ati gbejade ni iṣẹju 20. Ẹkọ naa ko padanu.
Irú 3 - aṣiṣe root fa mu. Ni ọran kan, AI sọ pe “root fa apọju data” ati pe o dabi ẹni pe o jẹ oye. Ṣugbọn ẹlẹrọ naa jẹrisi awọn metiriki naa: fifuye data data jẹ deede ni akoko iṣẹlẹ naa. Idi gidi jẹ iṣoro DNS ita. Ipilẹṣẹ akọkọ ti AI jẹ ito ṣugbọn aṣiṣe; Ifọwọsi pẹlu data ṣe idiwọ ijabọ naa lati ṣe atẹjade pẹlu ipari ti ko tọ.
Mẹrin daakọ awọn awoṣe
1) Iyara iyara ni akoko iṣẹlẹ naa:
A n ni iriri iṣẹlẹ iṣelọpọ kan. Awọn aami aibojumu: [SYMPTOM] Fun mi: (1) 3 ti o ṣeese root fa awọn idawọle ni aṣẹ ti iṣeeṣe, (2) aṣẹ / metric ti yoo rii daju kọọkan ni iṣẹju 1, (3) igbesẹ SAFE ti o yara ju (fun apẹẹrẹ rollback) . Sọ pe MO gbọdọ jẹrisi idawọle kọọkan.
2) Aworan aworan lẹhin iku alaiṣẹ:
Kọ aworan afọwọya postmortem ti ko ni abawọn lati awọn akọsilẹ iṣẹlẹ ni isalẹ. Awọn apakan: Lakotan, Ipa (olumulo / iye akoko / iye owo), Ago, Fa (s) Gbongbo, Ohun ti o lọ daradara, Kini o buruju, Awọn nkan iṣe (kọọkan pẹlu oniwun + aaye ọjọ). Fojusi lori lorukọ, ilana ati eto. Awọn akọsilẹ: [MASKED]
3) 5 Kini idi ti itupalẹ:
Kọ ẹwọn "5 Whys", ti o bẹrẹ pẹlu aami aisan wọnyi: [AAMI]. Fihan ti o ba wa ju ẹka kan ti o ṣee ṣe ni igbesẹ kọọkan. Lẹgbẹẹ “idi” kọọkan kọ ẹri (log/metric) ti Emi yoo wo lati jẹrisi rẹ. Ni ipari, samisi iru awọn igbesẹ ti ko tii fidi rẹ mulẹ.
4) Ṣiṣẹda awọn nkan ṣiṣe:
Ni ibamu si idi gbongbo yii, daba awọn nkan ti o ṣiṣẹ ti yoo ṣe idiwọ iṣẹlẹ kanna lati loorekoore. Ṣe iyasọtọ nkan kọọkan nipasẹ: (a) idena, wiwa tabi idinku, (b) akitiyan ifoju, (c) ipa. Too nipasẹ ipa to ga julọ/ipin akitiyan. Idi ti gbongbo: [X]
Ailagbara kiakia / Alagbara kiakia
Alailagbara: "Iṣẹ naa ti ṣubu, kini o yẹ ki n ṣe?"
Esi: ko si àrà; AI le ṣe awọn iṣeduro gbogbogbo ti ko baamu ọran rẹ, ati pe o le paapaa wa pẹlu idi pataki kan.
Alagbara: "Iṣẹ isanwo ti iṣelọpọ ti n funni ni 5xx fun awọn iṣẹju 5. Ifilọlẹ ti o kẹhin jẹ awọn iṣẹju 6 sẹhin. Fun 3 ti o ṣeeṣe root fa awọn idawọle ni aṣẹ iṣeeṣe, sọ fun aṣẹ ti yoo rii daju ọkọọkan wọn, ki o dabaa idinku ailewu ti o yara ju. Maṣe jẹ pato, sọ pe Mo nilo lati rii daju. ”
Iyatọ: itọka keji n funni ni aami aisan, akoko, ati iyipada to kẹhin; o nbeere ilewq + ijerisi + idinku ati ki o ntọju AI imprecise.
Awọn aṣiṣe ti o wọpọ
- Wiwa idi ti gbongbo gangan ṣaaju idinku. O ṣe idaduro idaduro ẹjẹ ati mu MTTR pọ si.
- Titẹjade idawọle akọkọ ti AI laisi ijẹrisi rẹ. Omi ṣugbọn gbongbo eke fa jijo sinu ijabọ naa.
- Èdè ẹ̀sùn. Postmortem ti a kọ lainidii ṣe atilẹyin ibi ipamọ ati tun aṣiṣe.
- Ijabọ ti o da lori iṣe laisi awọn aaye ọta ibọn. Imọran laisi oniwun ati ọjọ kii yoo ṣe imuse.
- Pinpin data iṣẹlẹ laisi boju-boju rẹ. Postmortem lọ si ọpọlọpọ awọn olugbo; asiri / ti ara ẹni data ti jo.
- Ko ngbaradi ọna ipadabọ ni ilosiwaju. Ti iyipada ko ba wulo, idinku ti dinku.
Ni soki
Isakoso iṣẹlẹ jẹ nipa wiwa yarayara, idinku, ipinnu ati kikọ ẹkọ lati awọn iṣẹlẹ ti ko ṣeeṣe; MTTD ati MTTR jẹ awọn metiriki bọtini. Ofin goolu naa jẹ “kuro ni akọkọ, ṣewadii nigbamii” ati iyipada si ẹya ti o dara ti o mọ nigbagbogbo jẹ idinku ti o yara ju. AI ṣe pataki ni ṣoki awọn akọọlẹ ni akoko iṣẹlẹ naa, idinku awọn idawọle, ati iṣelọpọ awọn aworan afọwọya lẹhin iṣẹlẹ naa - ṣugbọn o jẹ ojuṣe rẹ lati fọwọsi idawọle idi root kọọkan pẹlu data, sọ ede ti ibawi, ati data iṣẹlẹ boju-boju.
Ohun elo iṣẹ-ṣiṣe
Wo iṣẹlẹ ti o kọja (tabi itan-akọọlẹ). (1) Ni AI ti ipilẹṣẹ awọn idawọle ati awọn igbesẹ ijẹrisi pẹlu awoṣe “iwọn iyara ti oju-oju”; Ṣe akiyesi idawọle wo ni o le jẹrisi nipasẹ data naa. (2) Ṣe apejuwe ijabọ kan nipa lilo awoṣe “kii ṣe ẹbi postmortem” ki o kun pẹlu awọn ododo. (3) Ṣe idanimọ o kere ju awọn nkan iṣe meji ati yan oniwun ati ọjọ si ọkọọkan.
akojọ ayẹwo
- [] Ni akoko iṣẹlẹ naa, Mo kọkọ ronu ti idinku (yipo / tiipa) ati fi idi root silẹ titi di igba miiran.
- [] Mo jẹrisi gbogbo arosọ fa idi ti AI pẹlu log/metric.
- [] Mo kọ ọ ni ede ti ko da lẹbi lẹhin iku, ni idojukọ lori ilana ati eto.
- [] Mo ti yàn kọọkan actionable ohun kan eni ati ọjọ kan.
- [] Mo ti bo asiri ati alaye ti ara ẹni lati data iṣẹlẹ ti mo fi fun AI.
- [] Mo ti sọtọ ipele bibo ni deede ni ibamu si ipa naa.