Пайдалар:
- Окуянын жашоо циклин (аныктоо, триаж, жумшартуу, чечүү, өлүмдөн кийин), MTTD/MTTR метрикасын жана "биринчи жумшартуу, кийинчерээк иликтөө" принцибинин түшүнүү жөндөмү
- Окуя болгон учурда гипотезаларды кыскартуу жана ар бир негизги себепти маалыматтар менен ырастоо үчүн кынтыксыз эскизди түзүү үчүн AI колдонуу мүмкүнчүлүгү
- Өлгөндөн кийин күнөөлөгөн тилде жазуу дисциплинасын колдонуу жана окуянын маалыматтарын жашыруу менен бөлүшүү.
Ар бир система акыры бузулат. Айырмасы, жакшы командалар бул сөзсүз окуяга кантип даярданууда жана алар кантип үйрөнүшөт. Окуя - бул кызматты үзгүлтүккө учураткан же үзгүлтүккө учуратып коюу коркунучу бар күтүлбөгөн окуя: кызматтын бузулушу, жооп берүү убактысынын кескин өсүшү, маалыматтардын жоголушу. Инциденттерди башкаруу бул окуяны мүмкүн болушунча тезирээк аныктоо, азайтуу, чечүү жана андан сабак алуу дегенди билдирет. Бул DevOps жана SRE (Сайттын ишенимдүүлүгү инженерлиги) адистерин күнү-түнү айдап турган дисциплина.
Эки критикалык көрсөткүч окуянын сапатын өлчөйт: MTTD (аныктоо үчүн орточо убакыт) жана MTTR (калыбына келтирүү үчүн орточо убакыт). Максат экөөнү тең кыскартуу. AI бул жерде эки чоң маанини кошот: мүмкүн болгон негизги себепти кыскартуу үчүн окуя болгон учурда журналдарды жана метрикаларды тез жыйынтыктоо жана окуядан кийин өлүмдөн кийинки (окуядан кийинки иликтөө отчетун) тез түзүү. Бирок окуялардын жүрүшү жөнүндө чечимдер - кайсы кызматты өчүрүү, кайра артка кайтаруу, кардарга эмне айтуу керек - сиздики.
Окуянын жашоо цикли
- Аныктоо: Ойготкуч угулат же кардар даттануусу келет. Канчалык эрте болсо, ошончолук жакшы.
- Triage: Бул канчалык олуттуу? Домен деген эмне? Катуулугунун деңгээли дайындалат — адатта SEV1 (эң маанилүү, бүтүндөй система) SEV4 (кичинекей).
- Жооп берүү тобуңузду чогултуңуз. Критикалык инциденттерде координацияны инцидент командири өзүнө алат.
- Жеңилдетиңиз: Адегенде кан агууну токтотуңуз — көбүнчө артка кайтуу же желекти жабуу. Негизги себебин кийин табасыз.
- Чечүү: Туруктуу оңдоону колдонуңуз.
- Үйрөнүңүз (өлгөндөн кийин): Эмне болду, эмне үчүн мындай болду, мунун кайра кайталанбашын кантип алдын алабыз?
Кеңеш: Окуя учурундагы эң кымбат каталардын бири бул канды токтотууну кечеңдетүү, анткени "келгиле, адегенде негизги себебине кайрылалы". Эреже: адегенде төмөндөтүү (калыбына келтирүү/калыбына келтирүү кызматы), андан кийин сураңыз. Белгилүү жакшы версияга кайтуу көбүнчө эң тез жумшартуу болуп саналат.
Өлгөндөн кийин күнөөсүз маданият
Дени сак командалардын негизи болуп кынтыксыз өлүмдөн кийинки маданият саналат: максат "ким жасады" эмес, "кандай система жана процесс бул катага жол берди?" деген суроо. Адамдар жазаланарын билсе катасын жашырышат; Жашыруун ката кайталанат. Постмортем айыптоо отчету эмес, окуу документи.
Жакшы постмортем төмөнкүлөрдү камтыйт: кыскача жыйынтык, таасир (канча колдонуучу, канча убакыт, канча акча), хронология, негизги себептер(лер), эмне жакшы/жаман болгон жана иш-аракеттердин элементтери - конкреттүү чаралар, ар биринин ээси жана датасы.
Эскертүү: AI менен өлүмдөн кийинки жазууларды жазып жатканда, айыптоочу сөздөрдү жок кылууну унутпаңыз (атап айтканда, "адам X ката кетирди"). Ошондой эле окуянын маалыматтарын AIге берүү учурунда кардар идентификаторлорун, ички IP даректерин жана сырларын жаап салыңыз - өлүмдөн кийинки маалыматтар көбүнчө кеңири бөлүшүлөт.
Түпкү себептерди талдоо: 5 Эмне үчүн жана AI
Классикалык ыкма "5 Whys" болуп саналат: "эмне үчүн?" көйгөйгө. Кайра-кайра сурап, үстүртөн симптомдон чыныгы тамырга жетесиз. "Кызмат кыйрады. Эмне үчүн? Эстутумда жок. Эмне үчүн? Ашып кетти. Эмне үчүн? Китепкана жаңыртылды..." AI бул чынжырды тез куруп, мүмкүн болгон бутактарды сунуштайт — бирок ар бир "эмне үчүн" маалыматты өзүңүздүн маалыматтарыңыз менен текшеришиңиз керек; AI да акылга сыярлык, бирок туура эмес чынжыр кура алат.
Катуулугу таблицасы
Деңгээл
Таасири
мисал
кийлигишүү
SEV1
Бүтүндөй система/критикалык бизнес жоготуу
Төлөм толугу менен төмөндөдү
Ошол замат бүт команда, командир
SEV2
Негизги дисфункция
Кирүү ишке ашкан жок
Тез, чалуу + колдоо
SEV3
Жарым-жартылай/чектелген таасир
Отчет кечигип жатат
жумуш убактысында
SEV4
кичинекей/косметикалык
ката
катардагы жумуш кезеги
үч мини учурлар
1-жагдай — MTTR 45 мүнөттөн 8 мүнөткө чейин. Төлөм кызматы иштебей калды. Нөөмөтчү инженер AIга маскаланган журналдарды жана акыркы жайгаштыруу маалыматын берип, "Акыркы 20 мүнөттө эң мүмкүн болгон триггер кайсы?" — деп сурады ал. AI кыйроо акыркы жайгаштыруу менен бир эле мүнөттө башталганын көрсөттү. Инженер ошол версияны дароо артка кайтарды; Кызмат 8 мүнөттө кайтып келди. Негизги себеп (жаңы версиядагы туташуу пулунун мүчүлүштүгү) андан кийин ыңгайлуу изилденген.
2-жагдай — 20 мүнөттө өлгөндөн кийинки эскиз. SEV2ден кийин команда чарчап, отчет жазууга күчү жетпей калды; көп учурда отчет жумалап кечиктирилген. Бул жолу, алар AI үчүн хронологияны жана окуянын эскертүүлөрүн беришти жана кылмышсыз постмортемдик эскизди чыгарышты. AI таасир, убакыт графиги жана аракет элементтери үчүн тыкан негиз түздү; Команда аны фактылар менен толтуруп, 20 мүнөттө жарыялады. Сабак жоголгон жок.
3-жагдай - туура эмес негизги себеп кармалды. Бир учурда, AI "базалар базасын ашыкча жүктөө" деп айткан жана ал акылга сыярлык көрүнгөн. Бирок инженер көрсөткүчтөрдү тастыктады: маалымат базасын жүктөө окуя болгон учурда нормалдуу болгон. Чыныгы себеп тышкы DNS көйгөйү болгон. AI баштапкы гипотезасы суюк, бирок туура эмес болгон; Маалыматтар менен валидация отчёттун туура эмес корутунду менен жарыяланышына тоскоол болгон.
Көчүрүү үчүн төрт шаблон
1) Окуя болгон учурда ыкчам триаж:
Биз өндүрүштүк окуяны баштан кечирип жатабыз. Маскаланган симптомдор: [СИМПТОМ].Акыркы өзгөртүүлөр: [АКЫРКЫ ОРНОЙТУУ/ӨЗГӨРТҮҮ]. Мага бериңиз:(1) 3 эң ыктымалдуу негизги себеп гипотезасын ыктымалдуулук тартибинде,(2) ар бирин 1 мүнөттө текшере турган команда/метрика,(3) эң тез SAFE жумшартуу кадамы (мисалы, артка кайтаруу). Тактап айтканда; Мен ар бир гипотезаны текшерүү керек деп айт.
2) Бейкүнөө өлүмдөн кийинки эскиз:
Төмөндө окуянын эскертүүлөрүнөн өлгөндөн кийинки кемчиликсиз эскизди жазыңыз. Бөлүмдөр: Кыскача маалымат, Таасир (колдонуучу/узактыгы/баасы), Убакыт графиги, Негизги себептер(лер), Эмне жакшы болду, Эмне жаман болду, Аракеттин элементтери (ар биринин ээси + дата талаасы бар). Аталышы, процесс жана системага көңүл буруңуз. Эскертүүлөр: [MASKED]
3) 5 Эмне үчүн талдоо:
Төмөнкү симптомдон баштап, "5 Эмне үчүн" чынжырын түзүңүз: [СИПТОМ]. Ар бир кадамда бирден ашык мүмкүн болгон бутак бар болсо, көрсөтүңүз. Ар бир "эмне үчүн" дегендин жанына мен аны текшерүү үчүн карай турган далилдерди (лог/метрика) жаз. Аягында кайсы кадамдар азырынча текшериле электигин белгилеңиз.
4) аракетке жарамдуу объекттерди түзүү:
Ушул негизги себепке ылайык, ошол эле окуянын кайталанышына жол бербөөчү иш-аракеттерди сунуштаңыз. Ар бир пунктту төмөнкүдөй классификациялаңыз: (а) алдын алуу, аныктоо же азайтуу, (б) болжолдуу күч-аракет, (в) таасир. Эң жогорку таасир/аракет катышы боюнча иреттөө. Негизги себеп: [X]
Алсыз тездик / Күчтүү тездик
Алсыз: "Кызмат иштебей калды, эмне кылышым керек?"
Натыйжа: контекст жок; AI сиздин ишиңизге туура келбеген жалпы сунуштарды бере алат, ал тургай, түпкү себебин таба алат.
Күчтүү: "Өндүрүштүк төлөм кызматы 5 мүнөттөн бери 5xx берип жатат. Акыркы жайылтуу 6 мүнөт мурун болгон. Ыктымалдуулук иретинде негизги себептин 3 гипотезасын бериңиз, алардын ар бирин текшере турган буйрукту айтыңыз жана эң тез коопсуз жумшартууну сунуштаңыз. Конкреттүү болбоңуз, мен текшерүү керек деп айтыңыз."
Айырмасы: экинчи эскертүү симптомду, убакытты жана акыркы өзгөртүүнү берет; ал гипотезаны + текшерүүнү + кыскартууну талап кылат жана AI так эмес сактайт.
Жалпы каталар
- жумшартуу алдында так негизги себебин издөө. Ал канды токтотууну кечеңдетет жана MTTRди жогорулатат.
- AIнын биринчи гипотезасын аны текшербестен жарыялоо. Суюк, бирок жалган тамыр баяндамага агып кетишине алып келет.
- Айыптоочу тил. Өлгөндөн кийин анонимдүү жазылган кат жашырууга жана кайталанууга түрткү берет.
- Окутуучу пункттары жок аракетке багытталган отчет. Ээси жана датасы жок сунуш эч качан аткарылбайт.
- Окуя дайындарын жашырбастан бөлүшүү. Постмортем кеңири аудиторияга барат; жашыруун/жеке маалыматтар чыгып кеткен.
- Артка жолду алдын ала даярдабаңыз. Эгерде артка кайтаруу иш жүзүндө болбосо, кыскартуу жайлатат.
Кыскача айтканда
Инциденттерди башкаруу - бул кутулбогон окуяларды тез аныктоо, азайтуу, чечүү жана үйрөнүү; MTTD жана MTTR негизги көрсөткүчтөр болуп саналат. Алтын эреже "биринчи жумшартуу, кийинчерээк иликтөө" жана белгилүү жакшы версияга кайтуу көбүнчө эң тез жумшартуу болуп саналат. AI окуя болгон учурда журналдарды жыйынтыктоодо, гипотезаларды кыскартууда жана окуядан кийин кынтыксыз өлүмдөн кийинки эскиздерди түзүүдө баа жеткис мааниге ээ - бирок ар бир түпкү себептердин гипотезасын маалыматтар менен ырастоо, күнөөлөгөн тилди тазалоо жана окуянын маалыматтарын жабуу сиздин милдетиңиз.
Колдонмо тапшырмасы
Өткөн (же ойдон чыгарылган) окуяны карап көрөлү. (1) AI "окуя болгон жерде тез триаж" шаблоны менен гипотезаларды жана текшерүү кадамдарын түзсүн; Кайсы гипотезаны маалыматтар менен ырастоого болорун белгилеңиз. (2) "Күнөөлүү эмес өлүмдөн кийинки схема" үлгүсүн колдонуп, отчеттун эскизин түзүңүз жана аны фактылар менен толтуруңуз. (3) Жок дегенде эки аракетке жарамдуу нерсени аныктап, ар бирине ээсин жана датасын дайында.
текшерүү тизмеси
- [ ] Окуя болгон учурда, мен адегенде жумшартуу (артка кайтаруу/өчүрүү) жөнүндө ойлонуп, негизги себебин кийинчерээк калтырдым.
- [ ] Мен AIнин ар бир негизги гипотезасын лог/метрика менен текшердим.
- [ ] Мен аны процесске жана системага басым жасап, өлүмдөн кийин күнөөлөбөс тилде жаздым.
- [ ] Мен ар бир аракетке жарамдуу нерсеге ээсин жана датасын дайындадым.
- [ ] Мен AIга берген окуя маалыматтарынан сырды жана жеке маалыматты жашырдым.
- [ ] Мен таасирге жараша катаалдык деңгээлин туура дайындадым.