Hagnaður:
- Hæfni til að skilja lífsferil atviks (uppgötvun, könnun, mildun, úrlausn, eftir mortem), MTTD/MTTR mælikvarða og meginregluna um „að draga úr fyrst, rannsaka síðar“
- Geta til að nota gervigreind til að þrengja niður tilgátur á þeim tíma sem atvikið átti sér stað og framleiða gallalausa skissu eftir slátrun, sem staðfestir hverja undirstöðuorsök með gögnum
- Hæfni til að beita fræðigreininni að skrifa á tungumáli sem kennir ekki um skurðaðgerðina og deila atburðagögnum með því að hylja þau.
Hvert kerfi bilar að lokum. Munurinn er hvernig góð lið búa sig undir þennan óumflýjanlega atburð og hvernig þau læra. Atvik er óvænt atvik sem truflar eða hótar að trufla þjónustuna: Þjónustuhrun, viðbragðstími hækkar upp úr öllu valdi, gagnatap. Atviksstjórnun þýðir að greina, draga úr, leysa atvik eins fljótt og auðið er og læra síðan af því. Þetta er fræðigreinin sem rekur DevOps og SRE (Site Reliability Engineering) fagfólk dag og nótt.
Tvær mikilvægar mælikvarðar mæla gæði atburðarins: MTTD (Mean Time To Detect) og MTTR (Mean Time To Recover). Markmiðið er að draga úr báðum. AI bætir við tveimur stórum gildum hér: að draga saman annála og mælikvarða fljótt á þeim tíma sem atburðurinn átti sér stað til að þrengja mögulega undirstöðuorsök, og fljótt að semja eftir mortem (rannsóknarskýrslu eftir atburð) eftir atburðinn. En ákvarðanirnar um gang mála - hvaða þjónustu á að slökkva á, afturköllun, hvað á að segja við viðskiptavininn - eru þínar.
Lífsferill atburðar
- Uppgötvun: Viðvörun hljómar eða kvörtun viðskiptavinar kemur. Því fyrr því betra.
- Triage: Hversu alvarlegt er það? Hvað er lénið? Alvarleikastigum er úthlutað - venjulega SEV1 (mikilvægasta, allt kerfið) til SEV4 (minniháttar).
- Settu saman viðbragðsteymi þitt. Í mikilvægum atvikum tekur atviksstjóri að sér samhæfingu.
- Dragðu úr: Stöðvaðu blæðinguna fyrst - oft afturköllun eða hylja fána. Þú munt finna undirrót síðar.
- Leysa: Notaðu varanlega lagfæringu.
- Lærðu (eftirlíking): Hvað gerðist, hvers vegna gerðist það, hvernig komum við í veg fyrir að það gerist aftur?
Ábending: Ein dýrustu mistökin á þeim tíma sem atvikið átti sér stað er að fresta því að stöðva blæðinguna vegna þess að "við skulum komast að nákvæmlega undirrótinni fyrst." Regla: fyrst lækka (endurheimta/endurheimta þjónusta), síðan spyrjast fyrir. Að snúa aftur í þekkta góða útgáfu er oft fljótlegasta mótvægið.
Sektarkennd laus eftir mortem menning
Hryggjarstykkið í heilbrigðum teymum er menning lýtalausrar eftirlíkingar: Markmiðið er ekki „hver gerði það,“ heldur „hvaða kerfi og ferli leyfði þessum mistökum?“ er spurningin. Fólk felur mistökin ef það veit að þeim verður refsað; Falda villan er endurtekin. Postmortem er ekki ákæruskýrsla, heldur lærdómsskjal.
Góð skurðaðgerð inniheldur: samantekt, áhrif (hversu margir notendur, hversu lengi, hversu mikið fé), tímalína, rót(ir), hvað gekk vel/illa og aðgerðaratriði – áþreifanlegar ráðstafanir, hver með eiganda og dagsetningu.
Varúð: Þegar þú skrifar skurðaðgerðir með gervigreind, vertu viss um að útrýma ákæruorði (þ.e. „persóna X gerði mistök“). Duldu einnig auðkenni viðskiptavina, innri IP-tölu og leyndarmál þegar þú færð viðburðagögn til gervigreindar - skurðaðgerðum er oft deilt víða.
Orsakagreining: 5 hvers vegna og gervigreind
Klassísk tækni er "5 hvers vegna": spurðu "af hverju?" að vandamáli. Með því að spyrja aftur og aftur, kemstu frá yfirborðskenndu einkenninu að raunverulegu rótinni. "Þjónustan hrundi. Hvers vegna? Minnislaust. Af hverju? Það kom upp leki. Af hverju? Uppfærsla á bókasafni..." Gervigreindin er fljót að byggja þessa keðju og stinga upp á mögulegum útibúum - en þú verður að staðfesta hvert "af hverju" með gögnunum þínum; AI getur líka byggt upp sanngjarna en ranga keðju.
Alvarleikatafla
Stig
Áhrif
dæmi
inngrip
SEV1
Allt kerfið/mikilvægt viðskiptatap
Greiðsla féll alveg niður
Strax, allt liðið, yfirmaðurinn
SEV2
Mikil vanstarfsemi
Innskráning mistókst
Hratt, á vakt + stuðningur
SEV3
Hluta/takmörkuð áhrif
Tilkynningu er frestað
á vinnutíma
SEV4
lítill/snyrtivörur
innsláttarvilla
venjuleg vinnuröð
þrjú smámál
Tilfelli 1 — MTTR frá 45 mínútum í 8 mínútur. Greiðsluþjónusta hrundi. Verkfræðingurinn á vakt gaf gervigreindinni grímuklæddu annálana og síðustu dreifingarupplýsingarnar og spurði „Hver er líklegasta kveikjan á síðustu 20 mínútunum? spurði hann. Gervigreind sýndi að hrunið hófst á sömu mínútu og síðasta dreifing. Verkfræðingurinn spólaði þeirri útgáfu strax til baka; Þjónustan kom aftur eftir 8 mínútur. Undirorsökin (villa í tengingarlaug í nýju útgáfunni) var síðan rannsökuð á þægilegan hátt.
Tilfelli 2 — skurðaðgerð eftir 20 mínútur. Eftir SEV2 var liðið þreytt og hafði ekki styrk til að skrifa skýrslu; oft seinkaði skýrslunni um margar vikur. Að þessu sinni gáfu þeir gervigreindinni tímalínuna og atviksskýrslur og framleiddu glæpalausa skurðaðgerð. AI bjó til snyrtilegan ramma fyrir áhrif, tímalínu og aðgerðaratriði; Liðið fyllti það með staðreyndum og birti það á 20 mínútum. Lærdómurinn tapaðist ekki.
Tilfelli 3 — rangt undirrót gripið. Í einu tilviki sagði gervigreindin „ofhleðsla á rótum gagnagrunns“ og það virtist sanngjarnt. En verkfræðingurinn staðfesti mælikvarðana: gagnagrunnsálag var eðlilegt þegar atvikið átti sér stað. Raunverulega orsökin var utanaðkomandi DNS vandamál. Upphafleg tilgáta um gervigreind var fljótandi en röng; Staðfesting með gögnum kom í veg fyrir að skýrslan væri birt með rangri niðurstöðu.
Fjögur afritanleg sniðmát
1) Hraðrannsókn á þeim tíma sem atvikið átti sér stað:
Við erum að upplifa framleiðsluviðburð. Grímueinkenni: [EINKNI].Síðustu breytingar: [SÍÐASTA DEPLOY/CHANGE]. Gefðu mér:(1) 3 líklegasta tilgáturnar um frumorsök í líkindaröð,(2) skipunina/mælinguna sem mun sannreyna hverja á 1 mínútu,(3) hraðasta SAFE mótvægisskrefið (t.d. afturköllun).Strangt til tekið; Segðu að ég verði að sannreyna hverja tilgátu.
2) Saklaus skurðaðgerð:
Skrifaðu lýtalausa skissu eftir morðmat úr atviksskýrslum hér að neðan. Hlutar: Samantekt, Áhrif (notandi/tímalengd/kostnaður), tímalína, rót(ir), Hvað gekk vel, Hvað gekk illa, Aðgerðaratriði (hver með eiganda + dagsetningarreit). Leggðu áherslu á nafngift, ferli og kerfi. Athugasemdir: [MASKED]
3) 5 hvers vegna greining:
Búðu til "5 hvers vegna" keðju, byrjaðu á eftirfarandi einkennum: [EINKNI]. Sýndu hvort það eru fleiri en ein möguleg grein í hverju skrefi. Við hvert "af hverju" skrifaðu sönnunargögnin (log/mæling) sem ég mun skoða til að sannreyna það. Merktu í lokin hvaða skref hafa ekki verið staðfest ennþá.
4) Búa til aðgerðahæf atriði:
Samkvæmt þessari undirstöðu, stingdu upp á aðgerðum sem koma í veg fyrir að sami atburður endurtaki sig. Flokkaðu hvert atriði eftir: (a) forvörnum, greiningu eða minnkun, (b) áætlaðri áreynslu, (c) áhrifum. Raða eftir hæsta hlutfalli álags/átaks. Orsök: [X]
Veik kvaðning / Sterk kvaðning
Veik: "Þjónustan hefur hrunið, hvað á ég að gera?"
Niðurstaða: ekkert samhengi; AI getur komið með almennar ráðleggingar sem henta ekki þínu tilviki og geta jafnvel komið með endanlegan rót.
Strong: "Greiðsluþjónustan fyrir framleiðslu hefur gefið 5xx í 5 mínútur. Síðasta dreifing var fyrir 6 mínútum síðan. Gefðu upp 3 líklegasta tilgáturnar um frumorsök í líkindaröð, segðu skipunina sem mun sannreyna hverja þeirra og leggðu til hraðasta örugga mildunina. Ekki vera nákvæmur, segðu að ég þurfi að staðfesta."
Mismunur: önnur hvetja gefur einkenni, tímasetningu og síðustu breytingu; það krefst tilgátu + sannprófunar + lækkunar og heldur gervigreindum ónákvæmum.
Algeng mistök
- Leita að nákvæmlega undirrót áður en mildað er. Það seinkar stöðvun blæðinga og eykur MTTR.
- Birtir fyrstu tilgátuna um gervigreind án þess að sannreyna hana. Vökvi en rangar rótarsakir leka inn í skýrsluna.
- Ásakandi tungumál. Postmortem skrifað nafnlaust stuðlar að leyndu og endurteknum villum.
- Aðgerðarmiðuð skýrsla án punkta. Tillaga án eiganda og dagsetningar kemur aldrei til framkvæmda.
- Að deila atburðargögnum án þess að fela þau. Postmortem fer til breiðs hóps; leynilegum/persónulegum gögnum er lekið.
- Ekki undirbúa afturköllunarleiðina fyrirfram. Ef viðsnúningur er ekki raunhæfur er hægt á lækkuninni.
Í stuttu máli
Atviksstjórnun snýst um að greina fljótt, draga úr, leysa og læra af óumflýjanlegum atburðum; MTTD og MTTR eru lykilmælikvarðar. Gullna reglan er „minnkaðu fyrst, rannsakaðu síðar“ og að snúa aftur í þekkta góða útgáfuna er oft fljótlegasta mildunin. Gervigreind er ómetanleg til að draga saman annála á þeim tíma sem atburðurinn gerist, þrengja tilgátur og búa til gallalausar skissur eftir atburðinn - en það er á þína ábyrgð að sannreyna hverja rótartilgátu með gögnum, hreinsa tungumálið af sök og gögn um grímuatburð.
Umsóknarverkefni
Íhugaðu fortíð (eða skáldaðan) atburð. (1) Láttu gervigreindina búa til tilgátur og sannprófunarskref með sniðmátinu „raun triage á vettvangi“; Athugaðu hvaða tilgátu er hægt að staðfesta með gögnunum. (2) Teiknaðu skýrslu með því að nota „non guilty postmortem outline“ sniðmátið og fylltu hana með staðreyndum. (3) Tilgreindu að minnsta kosti tvö atriði sem hægt er að framkvæma og úthlutaðu eiganda og dagsetningu fyrir hvern.
gátlisti
- [ ] Þegar atvikið átti sér stað hugsaði ég fyrst um að milda (afturkalla/loka) og lét undirrótin liggja þar til síðar.
- [ ] Ég sannreyndi allar rótartilgátur gervigreindar með log/mælingu.
- [ ] Ég skrifaði það á tungumáli sem kennir ekki eftir mortem, með áherslu á ferlið og kerfið.
- [ ] Ég úthlutaði hverjum hlut sem hægt er að gera við eiganda og dagsetningu.
- [ ] Ég dulaði leyndarmál og persónulegar upplýsingar úr viðburðagögnum sem ég gaf gervigreindinni.
- [ ] Ég úthlutaði alvarleikastiginu rétt í samræmi við áhrifin.