Dobici:
- Sposobnost razumijevanja životnog ciklusa incidenta (detekcija, trijaža, ublažavanje, rješavanje, postmortem), MTTD/MTTR metrika i princip 'prvo ublažiti, istražiti kasnije'
- Sposobnost korištenja AI za sužavanje hipoteza u vrijeme incidenta i izradu besprijekorne postmortem skice, potvrđujući svaki temeljni uzrok podacima
- Sposobnost primjene discipline pisanja na jeziku koji ne krivi obdukciju i dijeljenje podataka o događajima tako što ih maskira.
Svaki sistem se na kraju pokvari. Razlika je u tome koliko se dobri timovi pripremaju za ovaj neizbježni događaj i kako uče. Incident je neočekivani događaj koji ometa ili prijeti da poremeti uslugu: pad usluge, vrijeme odziva naglo raste, gubitak podataka. Upravljanje incidentom znači otkrivanje, ublažavanje, rješavanje incidenta što je brže moguće, a zatim učenje iz njega. Ovo je disciplina koja pokreće DevOps i SRE (Site Reliability Engineering) profesionalce dan i noć.
Dvije kritične metrike mjere kvalitet događaja: MTTD (srednje vrijeme za otkrivanje) i MTTR (srednje vrijeme za oporavak). Cilj je smanjiti oboje. AI ovdje dodaje dvije velike vrijednosti: brzo sažimanje evidencije i metrike u vrijeme događaja kako bi se suzio mogući osnovni uzrok i brzo sastavljanje postmortem (izvještaja o istrazi nakon događaja) nakon događaja. Ali odluke o toku događaja – koju uslugu da isključite, vratite nazad, šta da kažete korisniku – su vaše.
Životni ciklus događaja
- Detekcija: Oglašava se alarm ili dolazi pritužba korisnika. Što prije to bolje.
- Trijaža: Koliko je ozbiljno? Šta je domen? Nivoi ozbiljnosti su dodijeljeni—obično SEV1 (najkritičniji, cijeli sistem) do SEV4 (manji).
- Okupite svoj tim za odgovor. U kritičnim incidentima, komandir incidenta preuzima koordinaciju.
- Ublažavanje: Prvo zaustavite krvarenje - često vraćanje unazad ili pokrivanje zastave. Kasnije ćete pronaći osnovni uzrok.
- Rješenje: Primijenite trajni popravak.
- Naučite (postmortem): Šta se dogodilo, zašto se dogodilo, kako spriječiti da se to ponovi?
Savjet: Jedna od najskupljih grešaka u vrijeme incidenta je odgađanje zaustavljanja krvarenja, jer "najprije dođimo do tačnog uzroka". Pravilo: prvo dekrementiraj (usluga vraćanja/vraćanja), a zatim pitaj. Vraćanje na poznatu dobru verziju često je najbrže ublažavanje.
Postmortem kultura bez krivice
Okosnica zdravih timova je kultura besprekornog postmortema: cilj nije "ko je to uradio", već "koji sistem i proces su dozvolili ovu grešku?" je pitanje. Ljudi kriju grešku ako znaju da će biti kažnjeni; Skrivena greška se ponavlja. Obdukcija nije izvještaj optužbe, već dokument učenja.
Dobar obdukcija uključuje: sažetak, uticaj (koliko korisnika, koliko dugo, koliko novca), vremenski okvir, osnovni uzrok(e), šta je prošlo dobro/loše i stavke akcije – konkretne mjere, svaka sa vlasnikom i datumom.
Oprez: Kada pišete obdukcije sa AI, obavezno eliminišite optužujući jezik (naime „osoba X je napravila grešku“). Također maskirajte ID-ove klijenata, interne IP adrese i tajne kada se podaci o događajima dostavljaju AI – obdukcije se često široko dijele.
Analiza uzroka: 5 Zašto i AI
Klasična tehnika je "5 zašto": pitajte "zašto?" na problem. Pitajući iznova i iznova, dolazite od površnog simptoma do pravog korijena. „Usluga se srušila. Zašto? Bez memorije. Zašto? Došlo je do curenja. Zašto? Ažuriranje biblioteke...“ AI brzo gradi ovaj lanac i predlaže moguće grane — ali morate provjeriti svako „zašto“ sa svojim podacima; AI također može izgraditi razuman, ali pogrešan lanac.
Tabela ozbiljnosti
Nivo
Uticaj
primjer
intervencija
SEV1
Cijeli sistem/kritičan poslovni gubitak
Plaćanje je u potpunosti palo
Odmah, ceo tim, komandant
SEV2
Velika disfunkcija
Prijava nije uspjela
Brzo, na poziv + podrška
SEV3
Djelomični/ograničeni učinak
Izvještaj je odgođen
tokom radnog vremena
SEV4
mali/kozmetički
typo
običan radni red
tri mini kofera
Slučaj 1 — MTTR od 45 minuta do 8 minuta. Usluga plaćanja je pala. Dežurni inžinjer je dao maskirane zapise i posljednju informaciju o korištenju AI-u i pitao "Šta je najvjerovatniji okidač u posljednjih 20 minuta?" upitao je. AI je pokazao da je kolaps počeo u istom trenutku kada i posljednje raspoređivanje. Inženjer je odmah vratio tu verziju; Usluga se vratila za 8 minuta. Osnovni uzrok (greška u spremištu veza u novoj verziji) je zatim prikladno istražen.
Slučaj 2—obdukcijski skica za 20 minuta. Nakon SEV2, tim je bio umoran i nije imao snage da napiše izvještaj; često je izvještaj kasnio sedmicama. Ovog puta, dali su vremensku liniju i bilješke o incidentima AI-u i napravili obdukcijsku skicu bez zločina. AI je stvorio uredan okvir za uticaj, vremenski okvir i akcije; Tim ga je napunio činjenicama i objavio za 20 minuta. Lekcija nije izgubljena.
Slučaj 3 — otkriven je pogrešan osnovni uzrok. U jednom slučaju, AI je rekao „preopterećenje baze podataka o osnovnom uzroku“ i to se činilo razumnim. Ali inženjer je potvrdio metriku: opterećenje baze podataka je bilo normalno u vrijeme incidenta. Pravi uzrok je bio vanjski DNS problem. Početna hipoteza AI bila je fluidna, ali pogrešna; Provjera valjanosti podataka spriječila je objavljivanje izvještaja s netačnim zaključkom.
Četiri šablona za kopiranje
1) Brza trijaža u vrijeme incidenta:
Doživljavamo proizvodni događaj. Maskirani simptomi: [SIMPTOM]. Posljednje promjene: [LAST RAPLOY/CHANGE]. Dajte mi: (1) 3 najvjerovatnije hipoteze osnovnog uzroka po redoslijedu vjerovatnoće, (2) naredbu/metriku koja će provjeriti svaku za 1 minut, (3) najbrži korak SIGURNO ublažavanja (npr. vraćanje unatrag). Strogo govoreći; Navedite da moram provjeriti svaku hipotezu.
2) Nevina obdukciona skica:
Napišite besprijekornu obdukciju iz bilješki o incidentu u nastavku. Odjeljci: Sažetak, Utjecaj (korisnik/trajanje/cijena), Vremenska linija, Osnovni uzrok(i), Šta je prošlo dobro, Šta je prošlo loše, Stavke akcije (svaka sa vlasnikom + poljem za datum). Fokusirajte se na imenovanje, proces i sistem. Napomene: [MASKIRANI]
3) 5 Zašto analiza:
Izgradite lanac "5 Zašto" počevši sa sljedećim simptomom: [SIMPTOM]. Prikaži da li postoji više od jedne moguće grane u svakom koraku. Pored svakog "zašto" napišite dokaz (log/metrički) koji ću pogledati da ga provjerim. Na kraju označite koji koraci još nisu verifikovani.
4) Kreiranje aktivnih stvari:
U skladu s ovim osnovnim uzrokom, predložite djelotvorne stavke koje će spriječiti da se isti događaj ponovi. Klasificirajte svaku stavku prema: (a) prevenciji, otkrivanju ili smanjenju, (b) procijenjenom naporu, (c) uticaju. Sortiraj prema najvećem omjeru utjecaj/napor. Osnovni uzrok: [X]
Slaba prompt / Jaka prompt
Slabo: "Usluga je pala, šta da radim?"
Rezultat: nema konteksta; AI može dati općenite preporuke koje se ne uklapaju u vaš slučaj, a može čak i pronaći definitivan osnovni uzrok.
Snažno: "Usluga plaćanja u proizvodnji daje 5xx 5 minuta. Posljednja implementacija je bila prije 6 minuta. Navedite 3 najvjerovatnije hipoteze osnovnog uzroka po redosljedu vjerovatnoće, recite komandi koja će provjeriti svaku od njih i predložiti najbrže sigurno ublažavanje. Nemojte biti konkretni, navedite da moram provjeriti."
Razlika: drugi upit daje simptom, vrijeme i posljednju promjenu; zahtijeva hipotezu + verifikaciju + redukciju i održava AI nepreciznom.
Uobičajene greške
- Tražite tačan uzrok prije ublažavanja. Odgađa zaustavljanje krvarenja i povećava MTTR.
- Objavljivanje prve hipoteze AI bez njene verifikacije. Tečni, ali lažni uzroci propuštaju u izvještaj.
- Optužni jezik. Obdukcija napisana anonimno podstiče prikrivanje i ponavljanje greške.
- Izvještaj orijentiran na akciju bez tačaka. Prijedlog bez vlasnika i datuma nikada neće biti implementiran.
- Dijeljenje podataka o događajima bez maskiranja. Postmortem ide širokoj publici; procureli su tajni/lični podaci.
- Ne priprema putanju za vraćanje unaprijed. Ako preokret nije praktičan, smanjenje se usporava.
Ukratko
Upravljanje incidentima je brzo otkrivanje, ublažavanje, rješavanje i učenje iz neizbježnih događaja; MTTD i MTTR su ključne metrike. Zlatno pravilo je "prvo ublažiti, istražiti kasnije", a vraćanje na poznatu dobru verziju često je najbrže ublažavanje. AI je od neprocjenjive važnosti u sažimanju dnevnika u vrijeme događaja, sužavanju hipoteza i stvaranju besprijekornih postmortem skica nakon događaja – ali vaša je odgovornost da potvrdite svaku hipotezu o osnovnom uzroku podacima, očistite jezik krivnje i maskirate podatke o događajima.
Zadatak aplikacije
Razmotrite prošli (ili izmišljeni) događaj. (1) Neka AI generiše hipoteze i korake verifikacije pomoću šablona „brza trijaža na licu mesta“; Zapazite koju hipotezu mogu potvrditi podaci. (2) Skicirajte izvještaj koristeći šablon „obduktivne preglede nije kriv“ i popunite ga činjenicama. (3) Identifikujte najmanje dvije stavke koje se mogu pokrenuti i svakom dodijelite vlasnika i datum.
kontrolna lista
- [ ] U vrijeme incidenta, prvo sam pomislio na ublažavanje (vraćanje/isključivanje) i ostavio sam osnovni uzrok za kasnije.
- [ ] Provjerio sam svaku hipotezu osnovnog uzroka AI pomoću log/metrike.
- [ ] Napisao sam je jezikom koji ne krivi postmortem, fokusirajući se na proces i sistem.
- [ ] Svakom predmetu koji se može izvršiti dodijelio sam vlasnika i datum.
- [ ] Sakrio sam tajne i lične podatke iz podataka događaja koje sam dao AI.
- [ ] Ispravno sam dodijelio nivo ozbiljnosti prema udaru.