Табыстар:
- Оқиғаның өмірлік циклін (анықтау, триаждау, жұмсарту, шешу, өлімнен кейінгі), MTTD/MTTR метрикасын және «бірінші жұмсарту, кейінірек зерттеу» принципін түсіну мүмкіндігі
- Оқиға кезіндегі гипотезаларды қысқарту және әрбір түпкі себебін деректермен растай отырып, кінәсіз постмортем эскизін жасау үшін AI пайдалану мүмкіндігі
- Өлімнен кейінгі адамды кінәламайтын тілде жазу тәртібін қолдану және оқиға деректерін оны бүркемелеу арқылы бөлісу.
Кез келген жүйе ақырында бұзылады. Айырмашылық - жақсы командалар бұл сөзсіз оқиғаға қалай дайындалуда және олар қалай үйренеді. Оқиға - қызметке кедергі келтіретін немесе оны бұзу қаупін тудыратын күтпеген оқиға: қызметтің бұзылуы, жауап беру уақытының күрт артуы, деректердің жоғалуы. Оқиғаларды басқару - бұл оқиғаны мүмкіндігінше тез анықтау, азайту, шешу, содан кейін одан сабақ алу. Бұл күндіз-түні DevOps және SRE (сайт сенімділігі инженериясы) мамандарын басқаратын пән.
Екі маңызды көрсеткіш оқиғаның сапасын өлшейді: MTTD (орташа анықтау уақыты) және MTTR (қалпына келтірудің орташа уақыты). Мақсат - екеуін де қысқарту. Бұл жерде AI екі үлкен мәнді қосады: ықтимал негізгі себепті қысқарту үшін оқиға кезінде журналдар мен көрсеткіштерді жылдам қорытындылау және оқиғадан кейін өлімнен кейінгі (оқиғадан кейінгі тергеу есебі) тез құрастыру. Бірақ оқиғалардың барысы туралы шешімдер - қандай қызметті өшіру, кері қайтару, тұтынушыға не айту керек - сіздікі.
Оқиғаның өмірлік циклі
- Анықтау: дабыл естіледі немесе тұтынушы шағымы келеді. Неғұрлым тезірек.
- Триаж: бұл қаншалықты маңызды? Домен дегеніміз не? Қауіптілік деңгейлері тағайындалады — әдетте SEV1 (ең маңызды, бүкіл жүйе) SEV4 (кіші).
- Жауап беру тобыңызды жинаңыз. Сыни оқиғаларда оқиға командирі үйлестіруді өз мойнына алады.
- Жеңілдетіңіз: алдымен қан кетуді тоқтатыңыз - көбінесе кері қайтару немесе жалаушаны жабу. Түбір себебін кейін табасыз.
- Шешім: тұрақты түзетуді қолданыңыз.
- Біліңіз (өлгеннен кейін): Не болды, неліктен болды, оның қайталануын қалай болдырмауға болады?
Кеңес: Оқиға кезіндегі ең қымбат қателіктердің бірі қан кетуді тоқтатуды кешіктіру болып табылады, өйткені «алдымен түпкі себебін анықтайық». Ереже: алдымен төмендетіңіз (қызметті қалпына келтіру/қалпына келтіру), содан кейін сұраңыз. Белгілі жақсы нұсқаға оралу көбінесе ең жылдам жұмсарту болып табылады.
Өлімнен кейінгі кінәсіз мәдениет
Салауатты командалардың тірегі - кінәсіз кейінгі өлім мәдениеті: мақсат «мұны кім жасады» емес, «бұл қателікке қандай жүйе мен процесс жол берді?» деген сұрақ. Адамдар жазаланатынын білсе, қатесін жасырады; Жасырын қате қайталанады. Постмортем - бұл айыптау туралы есеп емес, оқу құжаты.
Жақсы өлімнен кейінгі зерттеу мыналарды қамтиды: қорытынды, әсер (қанша пайдаланушы, қанша уақыт, қанша ақша), уақыт кестесі, негізгі себептер(лер), не жақсы/жаман болды және әрекет элементтері — әрқайсысының иесі мен күні бар нақты шаралар.
Абайлаңыз: AI көмегімен өлімнен кейінгі жазбаларды жазғанда, айыптау тілін (яғни, «X адам қателесті») жойыңыз. Оқиға деректерін AI-ге беру кезінде клиент идентификаторларын, ішкі IP мекенжайларын және құпияларды бүркемелейді - өлімнен кейінгі мәліметтер жиі кең таралған.
Түбірлік себептерді талдау: 5 Неліктен және AI
Классикалық әдіс – «5 Неліктен»: «Неге?» деп сұраңыз. мәселеге. Қайта-қайта сұрау арқылы сіз үстірт симптомнан нақты тамырға жетесіз. "Қызмет істен шықты. Неліктен? Жадта жоқ. Неліктен? Ағып кету болды. Неліктен? Кітапхананы жаңарту..." AI бұл тізбекті тез құрастырады және ықтимал тармақтарды ұсынады — бірақ сіз деректеріңізбен әрбір «неге» екенін тексеруіңіз керек; AI ақылға қонымды, бірақ қате тізбекті құра алады.
Ауырлық кестесі
Деңгей
Әсер
мысал
араласу
SEV1
Бүкіл жүйе/критикалық бизнес жоғалуы
Төлем толығымен төмендеді
Бірден, бүкіл команда, командир
SEV2
Негізгі дисфункция
Жүйеге кіру сәтсіз аяқталды
Жылдам, қоңырау бойынша + қолдау
SEV3
Жартылай/шектелген әсер
Есеп кешіктірілді
жұмыс уақытында
SEV4
шағын/косметикалық
қате
қарапайым жұмыс кезегі
үш шағын іс
1-жағдай — MTTR 45 минуттан 8 минутқа дейін. Төлем қызметі бұзылды. Кезекші инженер AI-ға маскаланған журналдар мен соңғы орналастыру туралы ақпаратты берді және «Соңғы 20 минуттағы ең ықтимал триггер қандай?» Деп сұрады. — деп сұрады ол. AI құлдыраудың соңғы орналастырумен бір минутта басталғанын көрсетті. Инженер сол нұсқаны бірден кері қайтарды; Қызмет 8 минутта қайтарылды. Түпкі себеп (жаңа нұсқадағы қосылым пулының қатесі) содан кейін ыңғайлы түрде зерттелді.
2-жағдай – 20 минуттан кейін өлгеннен кейінгі эскиз. SEV2-ден кейін команда шаршады және есеп жазуға күші жетпеді; жиі есеп апталарға кешіктірілді. Бұл жолы олар АИ-ге оқиғаның уақыт кестесін және ескертулерін берді және қылмыссыз өлімнен кейінгі эскизді жасады. AI әсер ету, уақыт кестесі және әрекет элементтері үшін ұқыпты құрылымды жасады; Команда оны фактілермен толтырып, 20 минут ішінде жариялады. Сабақ жоғалған жоқ.
3-жағдай – қате негізгі себеп ұсталды. Бір жағдайда AI «дерекқордың шамадан тыс жүктелуінің түбірлік себебі» деді және бұл ақылға қонымды болып көрінді. Бірақ инженер көрсеткіштерді растады: дерекқор жүктемесі оқиға кезінде қалыпты болды. Нақты себеп сыртқы DNS мәселесі болды. AI бастапқы гипотезасы сұйық, бірақ қате болды; Деректермен валидация есептің дұрыс емес қорытындымен жариялануына жол бермеді.
Көшірілетін төрт үлгі
1) Оқиға кезіндегі жедел триаж:
Біз өндірістік оқиғаны бастан кешіріп жатырмыз. Жасырын белгілер: [БЕЛГІ].Соңғы өзгерістер: [СОҢҒЫ ҚОЮ/ӨЗГЕРТУ]. Маған келтіріңіз:(1) ықтималдық ретімен 3 түбірлік себеп гипотезасын,(2) әрқайсысын 1 минутта тексеретін пәрмен/метрика,(3) ең жылдам ҚАУІПСІЗ азайту қадамы (мысалы, кері қайтару). Қатаң айтқанда; Әрбір гипотезаны тексеруім керек екенін айтыңыз.
2) Жазықсыз өлгеннен кейінгі эскиз:
Төмендегі оқиға ескертулерінен мінсіз өлгеннен кейінгі эскизді жазыңыз. Бөлімдер: Жиынтық, Әсер (пайдаланушы/ұзақтық/құны), Хронология, Түпкі себеп(дер), Не жақсы болды, Не нашар болды, Әрекет элементтері (әрқайсысында иесі + күн өрісі бар). Атауға, процеске және жүйеге назар аударыңыз. Ескертпелер: [MASKED]
3) 5 Неліктен талдау:
Келесі симптомнан бастап "5 Неліктен" тізбегін құрастырыңыз: [БЕЛГІ].Әр қадамда бірден көп мүмкін тармақ бар-жоғын көрсетіңіз. Әрбір «неліктен» жанына мен оны тексеру үшін қарайтын дәлелдерді (журнал/метрика) жазыңыз. Соңында қандай қадамдар әлі тексерілмегенін белгілеңіз.
4) Әрекет етуші элементтерді жасау:
Осы негізгі себепке сәйкес, бірдей оқиғаның қайталануын болдырмайтын әрекетке болатын элементтерді ұсыныңыз. Әрбір тармақты келесілер бойынша жіктеңіз: (а) алдын алу, анықтау немесе азайту, (b) есептелген күш, (c) әсер ету. Ең жоғары әсер/күш қатынасы бойынша сұрыптаңыз. Түбірлік себеп: [X]
Әлсіз шақыру / Күшті шақыру
Әлсіз: "Қызмет істен шықты, не істеуім керек?"
Нәтиже: контекст жоқ; Жасанды интеллект сіздің жағдайыңызға сәйкес келмейтін жалпы ұсыныстар жасай алады және тіпті түпкілікті түпкі себебін таба алады.
Күшті: "Өндірістік төлем қызметі 5 минут бойы 5xx беріп жатыр. Соңғы орналастыру 6 минут бұрын болды. Ықтималдық ретімен 3 түбірлік себеп гипотезасын көрсетіңіз, олардың әрқайсысын тексеретін пәрменді айтыңыз және ең жылдам қауіпсіз жұмсартуды ұсыныңыз. Нақты болмаңыз, тексеруім керек екенін көрсетіңіз."
Айырмашылығы: екінші шақыру симптомды, уақытты және соңғы өзгерісті береді; ол гипотезаны + тексеруді + азайтуды талап етеді және AI-ны дәл емес сақтайды.
Жалпы қателер
- Жеңілдетпес бұрын оның нақты себебін іздеңіз. Ол қан кетуді тоқтатуды кешіктіреді және MTTR арттырады.
- AI бірінші гипотезасын оны тексермей жариялау. Сұйық, бірақ жалған түбір есептің ағып кетуіне әкеледі.
- Айыптау тілі. Өлімнен кейінгі анонимді түрде жазылған қате жасыруға және қайталануға ықпал етеді.
- Белгісіз әрекетке бағытталған есеп. Иесі мен күні жоқ ұсыныс ешқашан орындалмайды.
- Оқиға деректерін жасырмай ортақ пайдалану. Постмортем кең аудиторияға барады; құпия/жеке деректер ағып кетті.
- Қайтару жолын алдын ала дайындамау. Егер кері қайтару практикалық болмаса, азайту баяулайды.
Қысқаша
Оқиғаларды басқару - бұл еріксіз оқиғаларды тез анықтау, азайту, шешу және үйрену; MTTD және MTTR негізгі көрсеткіштер болып табылады. Алтын ереже «алдымен жұмсарту, кейінірек зерттеу» және белгілі-жақсы нұсқаға оралу көбінесе ең жылдам жұмсарту болып табылады. Оқиға кезінде журналдарды қорытындылауда, гипотезаларды қысқартуда және оқиғадан кейін кінәсінен кейінгі мінсіз эскиздерді жасауда AI баға жетпес құндылық болып табылады, бірақ деректермен әрбір түпкі себеп гипотезасын растау, кінәлау тілін тазарту және оқиға деректерін жасыру сіздің жауапкершілігіңіз.
Қолданбалы тапсырма
Өткен (немесе ойдан шығарылған) оқиғаны қарастырыңыз. (1) AI гипотезалар мен тексеру қадамдарын «оқиға орнында жылдам триаж» үлгісімен жасайды; Қандай гипотезаны деректермен растауға болатынын ескеріңіз. (2) «Кінәлі емес өлімнен кейінгі контур» үлгісін пайдаланып есеп сызбасын жасаңыз және оны фактілермен толтырыңыз. (3) Кемінде екі әрекет ететін элементті анықтаңыз және әрқайсысына иесі мен күнін тағайындаңыз.
бақылау парағы
- [ ] Оқиға кезінде мен алдымен жеңілдету (қайтару/өшіру) туралы ойладым және негізгі себебін кейінірек қалдырдым.
- [ ] Мен лог/метрика арқылы AI-ның әрбір түбірлік гипотезасын тексердім.
- [ ] Мен оны процесс пен жүйеге назар аудара отырып, өлімнен кейінгі жағдайды айыптамайтын тілде жаздым.
- [ ] Мен әрбір әрекет ететін элементке иесі мен күнін тағайындадым.
- [ ] Мен AI-ға берген оқиға деректерінен құпия және жеке ақпаратты жасырдым.
- [ ] Мен әсерге сәйкес ауырлық деңгейін дұрыс тағайындадым.