Nyereség:
- Képes megérteni egy incidens életciklusát (észlelés, osztályozás, enyhítés, megoldás, postmortem), az MTTD/MTTR mérőszámokat és az „először enyhítsd, később vizsgáld meg” elvét.
- Képes mesterséges intelligencia segítségével leszűkíteni a hipotéziseket az incidens idején, és hibátlan postmortem vázlatot készíteni, minden kiváltó okot adatokkal igazolva
- Képesség az írás fegyelmének alkalmazására olyan nyelven, amely nem hibáztatja a halál utáni állapotot, és megosztja az eseményadatokat azok elfedésével.
Végül minden rendszer összeomlik. A különbség az, hogy a jó csapatok hogyan készülnek erre az elkerülhetetlen eseményre, és hogyan tanulnak. Az incidens olyan váratlan esemény, amely megzavarja vagy azzal fenyeget, hogy megszakítja a szolgáltatást: a szolgáltatás összeomlása, az egekbe szökő válaszidők, adatvesztés. Az incidenskezelés az incidens mielőbbi észlelését, mérséklését, megoldását, majd az abból való tanulást jelenti. Ez az a tudományág, amely éjjel-nappal hajtja a DevOps és az SRE (Site Reliability Engineering) szakembereit.
Két kritikus mérőszám méri az esemény minőségét: MTTD (átlagos észlelési idő) és MTTR (átlagos helyreállítási idő). A cél mindkettő zsugorítása. A mesterséges intelligencia két nagy értéket ad ehhez: a naplók és mérőszámok gyors összegzése az esemény idején, hogy szűkítse a lehetséges kiváltó okot, és gyorsan elkészíthető egy postmortem (esemény utáni vizsgálati jelentés) az esemény után. De az események menetével kapcsolatos döntések - melyik szolgáltatást kapcsolja ki, visszaállítja, mit mondjon az ügyfélnek - az Öné.
Egy esemény életciklusa
- Észlelés: Megszólal a riasztó, vagy ügyfélpanasz érkezik. Minél előbb, annál jobb.
- Triage: Mennyire súlyos? Mi a domain? Súlyossági szintek vannak hozzárendelve – általában SEV1 (legkritikusabb, teljes rendszer) és SEV4 (kisebb).
- Állítsa össze a válaszadó csapatot. Kritikus események esetén az incidens parancsnoka koordinációt vállal.
- Enyhítés: Először állítsa le a vérzést – gyakran visszahúzás vagy zászló lefedése. A kiváltó okot később találja meg.
- Megoldás: Végleges javítás alkalmazása.
- Tanulás (postmortem): Mi történt, miért történt, hogyan akadályozzuk meg, hogy megismétlődjön?
Tipp: Az egyik legköltségesebb hiba az incidens idején a vérzés leállításának késleltetése, mert „először térjünk ki a pontos kiváltó okra”. Szabály: először csökkents (restore/restore service), majd érdeklődj. Gyakran a leggyorsabb mérséklés a visszaállítás egy ismert jó verzióra.
Bűntudatmentes posztmortem kultúra
Az egészséges csapatok gerincét a feddhetetlen postmortem kultúrája adja: nem az a cél, hogy „ki csinálta”, hanem „milyen rendszer és folyamat tette lehetővé ezt a hibát?” az a kérdés. Az emberek eltitkolják a hibát, ha tudják, hogy meg fogják büntetni; A rejtett hiba megismétlődik. A postmortem nem vádjelentés, hanem tanulási dokumentum.
A jó postmortem a következőket tartalmazza: összefoglaló, hatás (hány felhasználó, meddig, mennyi pénz), idővonal, kiváltó ok(ok), mi ment jól/rosszul, és cselekvési elemek – konkrét intézkedések, mindegyiknek tulajdonosa és dátuma.
Vigyázat: Ha posztmortemeket ír MI-vel, ügyeljen arra, hogy kiküszöbölje a vádló nyelvezetet (nevezetesen: „X személy hibázott”). Ezenkívül maszkolja az ügyfélazonosítókat, a belső IP-címeket és a titkokat, amikor eseményadatokat továbbít az MI-nek – a halál utáni adatokat gyakran széles körben megosztják.
A kiváltó ok elemzése: 5 miért és mesterséges intelligencia
Egy klasszikus technika az "5 Miért": kérdezd meg: "miért?" egy problémához. Újra és újra kérdezősködve eljut a felszínes tünettől a valódi gyökérig. "A szolgáltatás összeomlott. Miért? Elfogyott a memória. Miért? Szivárgás történt. Miért? Könyvtárfrissítés..." Az AI gyorsan felépíti ezt a láncot, és javasolja a lehetséges elágazásokat – de minden „miért”-et ellenőriznie kell adataival; A mesterséges intelligencia ésszerű, de rossz láncot is fel tud építeni.
Súlyossági táblázat
Szint
Hatás
példa
beavatkozás
SEV1
Az egész rendszer/kritikus üzleti veszteség
A fizetés teljesen leesett
Azonnal az egész csapat, a parancsnok
SEV2
Súlyos működési zavar
Sikertelen bejelentkezés
Gyors, ügyelet + támogatás
SEV3
Részleges/korlátozott hatás
A jelentés késik
munkaidőben
SEV4
kicsi/kozmetikai
gépelési hiba
rendes munkasor
három mini tok
1. eset – MTTR 45 perctől 8 percig. A fizetési szolgáltatás összeomlott. Az ügyeletes mérnök átadta a maszkolt naplókat és az utolsó telepítési információkat az AI-nak, és megkérdezte: "Mi a legvalószínűbb kiváltó ok az elmúlt 20 percben?" – kérdezte. Az AI kimutatta, hogy az összeomlás ugyanabban a percben kezdődött, mint az utolsó bevetés. A mérnök azonnal visszavetette ezt a verziót; A szolgáltatás 8 percen belül visszatért. A kiváltó okot (az új verzióban egy kapcsolati készlet hibája) ezután kényelmesen kivizsgáltuk.
2. eset – postmortem vázlat 20 perc alatt. Egy SEV2 után a csapat elfáradt, és nem volt ereje jelentést írni; gyakran hetekig késett a jelentés. Ezúttal átadták az idővonalat és az eseményekről szóló feljegyzéseket az MI-nek, és bűnözésmentes postmortem vázlatot készítettek. A mesterséges intelligencia tiszta keretet hozott létre a hatások, az idővonalak és a műveletek számára; A csapat megtöltötte tényekkel, és 20 perc alatt közzétette. A lecke nem veszett el.
3. eset – rossz kiváltó ok észlelve. Egy esetben a mesterséges intelligencia azt mondta, hogy "az adatbázis túlterhelésének oka", és ez ésszerűnek tűnt. A mérnök azonban megerősítette a mérőszámokat: az adatbázis terhelése normális volt az incidens idején. A valódi ok egy külső DNS probléma volt. Az AI kezdeti hipotézise változékony volt, de téves; Az adatokkal történő hitelesítés megakadályozta, hogy a jelentést téves következtetéssel tegyék közzé.
Négy másolható sablon
1) Gyors osztályozás az incidens idején:
Gyártási eseményt élünk át. Maszkolt tünetek: [TÜNET].Utolsó változtatások: [LAST DEPLOY/CHANGE]. Adja meg:(1) a 3 legvalószínűbb kiváltó ok-hipotézist valószínűségi sorrendben,(2) a parancsot/metrikát, amely mindegyiket 1 percen belül ellenőrzi,(3) a leggyorsabb BIZTONSÁGOS csökkentési lépést (pl. visszaállítás). Szigorúan véve; Mondja ki, hogy minden hipotézist igazolnom kell.
2) Ártatlan halál utáni vázlat:
Írj egy feddhetetlen halál utáni vázlatot az alábbi incidens jegyzetekből. Szakaszok: Összegzés, Hatás (felhasználó/időtartam/költség), Idővonal, Kiváltó ok(ok), Mi ment jól, Mi ment rosszul, Műveletelemek (mindegyik tulajdonos + dátum mezővel). Fókuszban az elnevezésre, a folyamatra és a rendszerre. Megjegyzések: [MASZKED]
3) 5 Miért elemzés:
Építsen fel egy „5 Miért” láncot, kezdve a következő tünettel: [TÜNET]. Mutassa meg, hogy minden lépésnél több lehetséges ág van-e. Minden „miért” mellé írja be azt a bizonyítékot (log/metrika), amelyet megnézek az ellenőrzés érdekében. A végén jelölje meg, hogy mely lépéseket még nem ellenőrizték.
4) Intézhető elemek létrehozása:
Ennek a kiváltó oknak megfelelően javasoljon olyan intézkedéseket, amelyek megakadályozzák ugyanazon esemény megismétlődését. Osztályozza az egyes tételeket: (a) megelőzés, felderítés vagy csökkentés, (b) becsült erőfeszítés, (c) hatás. Rendezés a legnagyobb hatás/erőkifejtés arány szerint. Kiváltó ok: [X]
Gyenge felszólítás / Erős felszólítás
Gyenge: "A szolgáltatás összeomlott, mit tegyek?"
Eredmény: nincs kontextus; A mesterséges intelligencia olyan általános ajánlásokat tud tenni, amelyek nem felelnek meg az Ön esetének, és akár egy végleges kiváltó okot is kitalálhat.
Erős: "Az éles fizetési szolgáltatás 5 perce 5xx-et ad. Az utolsó telepítés 6 perce volt. Adja meg a 3 legvalószínűbb kiváltó ok-hipotézist valószínűségi sorrendben, mondja ki a parancsot, amely mindegyiket ellenőrizni fogja, és javasolja a leggyorsabb biztonságos csökkentést. Ne legyen konkrét, mondja ki, hogy ellenőriznem kell."
Különbség: a második prompt a tünetet, az időzítést és az utolsó változást adja meg; hipotézist + ellenőrzést + csökkentést igényel, és pontatlanná teszi az AI-t.
Gyakori hibák
- Az enyhítés előtt keresse meg a pontos okot. Késlelteti a vérzés leállítását és növeli az MTTR-t.
- Az AI első hipotézisének közzététele annak ellenőrzése nélkül. Folyékony, de hamis kiváltó okok szivárognak be a jelentésbe.
- Vádló nyelvezet. A névtelenül írt postmortem elősegíti az elrejtést és az ismétlődő hibákat.
- Akcióorientált jelentés, pontok nélkül. A tulajdonos és dátum nélküli javaslat soha nem valósul meg.
- Eseményadatok megosztása maszkolás nélkül. A Postmortem széles közönséghez megy; titkos/személyes adatok szivárognak ki.
- Nem készíti elő előre a visszaállítási útvonalat. Ha a visszafordítás nem praktikus, a csökkentés lelassul.
Összefoglalva
Az incidenskezelés az elkerülhetetlen események gyors észleléséről, enyhítéséről, megoldásáról és az azokból való tanulásról szól; Az MTTD és az MTTR kulcsfontosságú mérőszámok. Az aranyszabály az, hogy "először mérsékeld, később nyomozd", és gyakran a leggyorsabb enyhítés az ismert-jó verzióhoz való visszatérés. A mesterséges intelligencia felbecsülhetetlen értékű a naplók összefoglalásában az esemény idején, a hipotézisek leszűkítésében és az esemény utáni feddhetetlen halál utáni vázlatok készítésében – de az Ön felelőssége, hogy minden egyes kiváltó ok-hipotézist hitelesítsen adatokkal, a hibáztatás nyelvezetével és az eseményadatok elfedésével.
Pályázati feladat
Vegyünk egy múltbeli (vagy kitalált) eseményt. (1) A mesterséges intelligencia hipotéziseket és ellenőrzési lépéseket generáljon a „színhelyen gyors osztályozás” sablon segítségével; Jegyezze meg, melyik hipotézist erősítheti meg az adatok. (2) Vázolja fel a jelentést a „nem bûnös postmortem vázlat” sablon segítségével, és töltse ki tényekkel. (3) Határozzon meg legalább két kereshető elemet, és mindegyikhez rendeljen tulajdonost és dátumot.
ellenőrző lista
- [ ] Az incidens idején először az enyhítésre (visszaállításra/leállításra) gondoltam, és későbbre hagytam a kiváltó okot.
- [ ] Az AI minden kiváltó ok-hipotézisét log/metrikával igazoltam.
- [ ] Olyan nyelven írtam, amely nem hibáztatja a postmortem-et, a folyamatra és a rendszerre összpontosítva.
- [ ] Minden kereshető elemhez tulajdonost és dátumot rendeltem.
- [ ] A titkos és személyes információkat elfedtem az AI-nak átadott eseményadatokból.
- [ ] Az ütközésnek megfelelően helyesen rendeltem hozzá a súlyossági fokozatot.