Qligħ:
- Kapaċità li tifhem iċ-ċiklu tal-ħajja ta' inċident (sejbien, triage, mitigazzjoni, riżoluzzjoni, postmortem), metriċi MTTD/MTTR u l-prinċipju ta' 'ittaffi l-ewwel, investiga aktar tard'
- Kapaċità li tuża l-AI biex tnaqqas l-ipoteżi fil-ħin tal-inċident u tipproduċi skeċċ wara l-mewt bla ħtija, tivvalida kull kawża ewlenija b'dejta
- Kapaċità li tapplika d-dixxiplina tal-kitba f'lingwa li ma tagħtix tort lill-postmortem u li taqsam id-dejta tal-avveniment billi timmaturaha.
Kull sistema tkisser eventwalment. Id-differenza hija kif timijiet tajbin jippreparaw għal dan l-avveniment inevitabbli u kif jitgħallmu. L-inċident huwa avveniment mhux mistenni li jfixkel jew jhedded li jfixkel is-servizz: ħabta tas-servizz, ħinijiet ta’ rispons li qed jogħlew, telf ta’ data. Il-ġestjoni tal-inċidenti tfisser l-iskoperta, il-mitigazzjoni, is-soluzzjoni tal-inċident kemm jista’ jkun malajr, u mbagħad titgħallem minnu. Din hija d-dixxiplina li tmexxi professjonisti DevOps u SRE (Site Reliability Engineering) lejl u nhar.
Żewġ metriċi kritiċi jkejlu l-kwalità tal-avveniment: MTTD (Mean Time To Detect) u MTTR (Mean Time To Recover). L-għan huwa li tiċkien it-tnejn. L-AI żżid żewġ valuri kbar hawn: tqassar malajr zkuk u metriċi fil-ħin tal-avveniment biex tnaqqas il-kawża ewlenija possibbli, u malajr tabbozza postmortem (rapport ta 'investigazzjoni ta' wara l-avveniment) wara l-avveniment. Iżda d-deċiżjonijiet dwar il-kors tal-avvenimenti - liema servizz itfi, rollback, x'għandek tgħid lill-klijent - huma tiegħek.
Ċiklu tal-ħajja ta' avveniment
- Sejbien: Ħsejjes ta 'allarm jew ilment tal-klijent jiġi. L-aktar kmieni l-aħjar.
- Triage: Kemm hu serju? X'inhu d-dominju? Il-livelli tas-severità huma assenjati—normalment SEV1 (l-aktar kritika, is-sistema sħiħa) għal SEV4 (minuri).
- Arma t-tim tar-rispons tiegħek. F'inċidenti kritiċi, kmandant tal-inċident jassumi l-koordinazzjoni.
- Ittaffi: Waqqaf il-fsada l-ewwel - ħafna drabi qlib jew tkopri bandiera. Issib il-kawża ewlenija aktar tard.
- Riżolvi: Applika tiffissa permanenti.
- Tgħallem (postmortem): X'ġara, għaliex ġara, kif nistgħu nevitaw li jerġa' jiġri?
Tip: Wieħed mill-iżbalji li jiswew ħafna flus fil-ħin tal-inċident huwa li jittardja l-waqfien tal-fsada għax "l-ewwel ejja naslu għall-kawża ewlenija." Regola: l-ewwel tnaqqis (restawr/restawr tas-servizz), imbagħad staqsa. Ir-ritorn għal verżjoni magħrufa tajba ħafna drabi huwa l-aktar mitigazzjoni mgħaġġla.
Kultura post mortem ħielsa mill-ħtija
Is-sinsla ta 'timijiet b'saħħithom hija kultura ta' postmortem bla ħtija: l-għan mhuwiex "min għamel dan," iżda "liema sistema u proċess ippermettew dan l-iżball?" hija l-mistoqsija. In-nies jaħbu l-iżball jekk jafu li se jiġu kkastigati; L-iżball moħbi jiġi ripetut. Postmortem mhuwiex rapport ta’ akkuża, iżda dokument ta’ tagħlim.
Postmortem tajjeb jinkludi: sommarju, impatt (kemm utenti, kemm żmien, kemm flus), skeda tal-ħin, kawża(jiet) fundamentali, x'mar tajjeb/ħażin, u oġġetti ta 'azzjoni—miżuri konkreti, kull wieħed b'sid u data.
Attenzjoni: Meta tikteb postmortems bl-AI, kun żgur li telimina l-lingwaġġ akkużatorju (jiġifieri "persuna X għamlet żball"). Ħasbi wkoll l-IDs tal-klijenti, l-IPs interni, u s-sigrieti meta tgħaddi d-dejta tal-avvenimenti lill-AI — il-postmortems spiss huma kondiviżi b’mod wiesa’.
Analiżi tal-kawża ewlenija: 5 Whys u AI
Teknika klassika hija "5 Whys": staqsi "għaliex?" għal problema. Billi tistaqsi għal darb'oħra, ikollok mis-sintomu superfiċjali għall-għerq reali. "Is-servizz ġġarraf. Għaliex? Mingħajr memorja. Għaliex? Kien hemm tnixxija. Għaliex? Aġġornament tal-librerija..." L-AI hija malajr biex tibni din il-katina u tissuġġerixxi fergħat possibbli - iżda trid tivverifika kull "għaliex" bid-dejta tiegħek; L-AI tista' wkoll tibni katina raġonevoli iżda ħażina.
Tabella tas-severità
Livell
Impatt
eżempju
intervent
SEV1
Sistema sħiħa/telf kritiku tan-negozju
Il-ħlas niżel kompletament
Istantanjament, it-tim kollu, il-kmandant
SEV2
Disfunzjoni maġġuri
Il-logins fallew
Mgħaġġel, on-call + appoġġ
SEV3
Effett parzjali/limitat
Rapport jittardja
matul il-ħinijiet tax-xogħol
SEV4
żgħar/kosmetiċi
typo
kju tax-xogħol ordinarju
tliet każijiet żgħar
Każ 1 — MTTR minn 45 minuta sa 8 minuti. Is-servizz tal-ħlas waqa’. L-inġinier tax-xogħol ta r-zkuk mgħottija u l-aħħar informazzjoni dwar l-iskjerament lill-AI u staqsa "X'inhu l-iktar kawtela probabbli fl-aħħar 20 minuta?" staqsa. L-AI wriet li l-kollass beda fl-istess minuta tal-aħħar skjerament. L-inġinier immedjatament irrombla lura dik il-verżjoni; Is-servizz irritorna fi 8 minuti. Il-kawża ewlenija (bug tal-konnessjoni fil-verżjoni l-ġdida) imbagħad ġiet investigata b'mod konvenjenti.
Każ 2 — skeċċ post mortem f'20 minuta. Wara SEV2, it-tim kien għajjien u ma kellux is-saħħa li jikteb rapport; ħafna drabi r-rapport kien ittardjat għal ġimgħat. Din id-darba, taw il-kronoloġija u n-noti tal-inċidenti lill-AI u pproduċew skeċċ ta’ wara l-mewt mingħajr kriminalità. L-AI ħolqot qafas pulit għall-oġġetti tal-impatt, il-kalendarju u l-azzjoni; It-tim imlieha bil-fatti u ppubblikaha f’20 minuta. Il-lezzjoni ma ntilfitx.
Każ 3 — kawża ewlenija ħażina maqbuda. F'każ wieħed, l-AI qalet "tagħbija żejda tad-database tal-kawża ta 'l-għeruq" u deher raġonevoli. Iżda l-inġinier ikkonferma l-metriċi: it-tagħbija tad-database kienet normali fil-ħin tal-inċident. Il-kawża vera kienet problema DNS esterna. L-ipoteżi inizjali tal-AI kienet fluwida iżda żbaljata; Il-validazzjoni bid-dejta żammet ir-rapport milli jiġi ppubblikat b'konklużjoni żbaljata.
Erba' mudelli li jistgħu jiġu kkupjati
1) Triaġġ rapidu fil-ħin tal-inċident:
Qed nesperjenzaw avveniment ta' produzzjoni. Sintomi moħbija: [SINTOMU].L-aħħar bidliet: [L-AĦĦAR DEPLOY/CHANGE]. Agħtini:(1) l-aktar 3 ipoteżi ta’ kawża ewlenija probabbli f’ordni ta’ probabbiltà,(2) il-kmand/metrika li se tivverifika kull wieħed f’minuta 1,(3) l-iktar pass ta’ mitigazzjoni SAFE mgħaġġla (eż. rollback).Strictament; Iddikjara li rrid nivverifika kull ipoteżi.
2) Skeċċ innoċenti ta' wara l-mewt:
Ikteb skeċċ bla ħtija wara l-mewt min-noti tal-inċident hawn taħt. Taqsimiet: Sommarju, Impatt (utent/durata/spejjeż), Skeda tal-ħin, Kawża(i) għeruq, X'mar tajjeb, X'mar ħażin, Oġġetti ta' azzjoni (kull wieħed bil-qasam tas-sid + id-data). Iffoka fuq ismijiet, proċess u sistema. Noti: [MASKRAT]
3) Analiżi ta' 5 Whys:
Ibni katina "5 Whys", billi tibda bis-sintomu li ġej: [SINTOMU]. Uri jekk hemmx aktar minn fergħa waħda possibbli f'kull pass. Ħdejn kull "għaliex" ikteb l-evidenza (log/metrika) li se nħares lejha biex nivverifikaha. Fl-aħħar, immarka liema passi għadhom ma ġewx verifikati.
4) Il-ħolqien ta' oġġetti azzjonabbli:
Skont din il-kawża ewlenija, tissuġġerixxi oġġetti azzjonabbli li jipprevjenu li l-istess avveniment jerġa' jseħħ. Ikklassifika kull oġġett bi: (a) prevenzjoni, skoperta jew tnaqqis, (b) sforz stmat, (c) impatt. Issortja skond l-ogħla proporzjon ta 'impatt/sforz. Kawża ewlenija: [X]
Pront dgħajjef / Pront qawwi
Dgħajjef: "Is-servizz ġġarraf, x'għandi nagħmel?"
Riżultat: l-ebda kuntest; L-AI tista 'tagħmel rakkomandazzjonijiet ġenerali li ma jaqblux mal-każ tiegħek, u tista' saħansitra toħroġ b'kawża ewlenija definittiva.
Qawwija: "Is-servizz ta 'ħlas tal-produzzjoni ilu jagħti 5xx għal 5 minuti. L-aħħar skjerament kien 6 minuti ilu. Agħti t-3 ipoteżi ta' kawża ewlenija l-aktar probabbli f'ordni ta 'probabbiltà, għid lill-kmand li se jivverifika kull wieħed minnhom, u tissuġġerixxi l-aktar mitigazzjoni sigura mgħaġġla. M'għandekx tkun speċifika, iddikjara li għandi bżonn nivverifika."
Differenza: it-tieni pront jagħti s-sintomu, iż-żmien, u l-aħħar bidla; titlob ipoteżi + verifika + tnaqqis u żżomm l-AI impreċiża.
Żbalji komuni
- Tfittex il-kawża ewlenija eżatta qabel ma ttaffi. Jdewwem it-twaqqif tal-fsada u jżid l-MTTR.
- Tippubblika l-ewwel ipoteżi tal-AI mingħajr ma tivverifikaha. Kawżi għeruq fluwidi iżda foloz inixxu fir-rapport.
- Lingwa akkuzatorju. Postmortem miktub b'mod anonimu jrawwem il-ħabi u l-iżball ripetut.
- Rapport orjentat lejn l-azzjoni mingħajr punti. Proposta mingħajr sid u data qatt mhu se tiġi implimentata.
- Taqsam id-dejta tal-avveniment mingħajr ma jaħbuha. Postmortem imur għal udjenza wiesgħa; data sigrieta/personali hija leaked.
- Mhux tħejji l-passaġġ ta 'rollback bil-quddiem. Jekk it-treġġigħ lura ma jkunx prattiku, it-tnaqqis jitnaqqas.
Fil-qosor
Il-ġestjoni tal-inċidenti hija dwar is-sejbien, il-mitigazzjoni, is-soluzzjoni u t-tagħlim malajr minn avvenimenti inevitabbli; MTTD u MTTR huma metriċi ewlenin. Ir-regola tad-deheb hija "ittaffi l-ewwel, tinvestiga aktar tard" u li terġa 'lura għall-verżjoni magħrufa tajba ħafna drabi hija l-aktar mitigazzjoni mgħaġġla. L-AI hija imprezzabbli biex tiġbor fil-qosor ir-reġistri fil-ħin tal-avveniment, tnaqqas l-ipoteżi, u tipproduċi abbozzi wara l-mewt bla ħtija wara l-avveniment - iżda hija r-responsabbiltà tiegħek li tivvalida kull ipoteżi tal-kawża ewlenija b'dejta, tnaddaf il-lingwa tal-ħtija, u taħbi d-dejta tal-avveniment.
Kompitu ta' applikazzjoni
Ikkunsidra avveniment tal-passat (jew fittizju). (1) Ħalli l-AI tiġġenera ipoteżijiet u passi ta’ verifika bil-mudell ta’ “triaġġ rapidu fuq ix-xena”; Innota liema ipoteżi tista' tiġi kkonfermata mid-dejta. (2) Skeċċja rapport billi tuża l-mudell “outline postmortem mhux ħatja” u imla bil-fatti. (3) Identifika mill-inqas żewġ oġġetti azzjonabbli u tassenja sid u data lil kull wieħed.
lista ta' kontroll
- [ ] Fiż-żmien tal-inċident, l-ewwel ħsibt li nittaffa (rollback/shutdown) u ħallejt il-kawża ewlenija għal aktar tard.
- [ ] Ivverifikajt kull ipoteżi tal-kawża ewlenija tal-AI bil-log/metrika.
- [ ] Ktibtha b'lingwa li ma tagħtix tort postmortem, b'attenzjoni fuq il-proċess u s-sistema.
- [ ] Assenjajt lil kull oġġett azzjonabbli sid u data.
- [ ] Ħafrat l-informazzjoni sigrieta u personali mid-dejta tal-avveniment li tajt lill-AI.
- [ ] Assenjajt il-livell ta' severità b'mod korrett skont l-impatt.