Добивки:
- Способност да се разбере животниот циклус на инцидентот (откривање, тријажа, ублажување, резолуција, постмортам), метрика MTTD/MTTR и принципот „прво ублажи, истражи подоцна“
- Способност да се користи вештачката интелигенција за да се намалат хипотезите во моментот на инцидентот и да се произведе беспрекорна постмортална скица, потврдувајќи ја секоја основна причина со податоци
- Способност да се примени дисциплината на пишување на јазик кој не ја обвинува постмортамот и споделувањето на податоците за настанот со маскирање.
Секој систем на крајот се распаѓа. Разликата е во тоа колку добри тимови се подготвуваат за овој неизбежен настан и како учат. Инцидентот е неочекуван настан кој ја нарушува или се заканува да ја прекине услугата: пад на услугата, времето на одговор вртоглаво расте, губење податоци. Управувањето со инцидентот значи откривање, ублажување, решавање на инцидентот што е можно побрзо, а потоа учење од него. Ова е дисциплина што ги придвижува професионалците од DevOps и SRE (Инженерство за доверливост на локацијата) дење и ноќе.
Две критични метрики го мерат квалитетот на настанот: MTTD (средно време за откривање) и MTTR (средно време за закрепнување). Целта е да се намалат и двете. Вештачката интелигенција додава две големи вредности овде: брзо сумирање на дневници и метрика во моментот на настанот за да се намали можната основна причина и брзо изготвување постмортам (извештај од истрагата по настанот) по настанот. Но, одлуките за текот на настаните - која услуга да се исклучи, да се врати назад, што да му се каже на клиентот - се ваши.
Животен циклус на настан
- Откривање: се огласува аларм или доаѓа поплака од клиент. Колку побрзо толку подобро.
- Тријажа: Колку е сериозно? Што е доменот? Нивоата на сериозност се доделуваат - обично SEV1 (најкритичниот, целиот систем) на SEV4 (мал).
- Соберете го вашиот тим за одговор. Во критичните инциденти, командантот на инцидентот ја презема координацијата.
- Ублажете: Прво запрете го крварењето - честопати враќање или покривање знаме. Подоцна ќе ја откриете основната причина.
- Решение: Примени трајно решение.
- Научете (постмортем): Што се случи, зошто се случи, како да спречиме да се повтори?
Совет: Една од најскапите грешки во моментот на инцидентот е одложувањето на запирање на крварењето бидејќи „прво да дојдеме до точната основна причина“. Правило: прво намалувајте (услуга за обновување/обновување), потоа прашајте. Враќањето назад кон позната-добра верзија често е најбрзото ублажување.
Постмортална култура без вина
Основата на здравите тимови е културата на беспрекорна постмортам: целта не е „кој го направи тоа“, туку „кој систем и процес ја дозволија оваа грешка? е прашањето. Луѓето ја кријат грешката ако знаат дека ќе бидат казнети; Скриената грешка се повторува. Постморта не е извештај за обвинение, туку документ за учење.
Еден добар постмортам вклучува: резиме, влијание (колку корисници, колку долго, колку пари), временска рамка, основна причина(и), што поминало добро/лошо и акциони ставки - конкретни мерки, секоја со сопственик и датум.
Внимание: Кога пишувате посмртници со вештачка интелигенција, не заборавајте да го елиминирате акузаторниот јазик (имено „лицето X направи грешка“). Исто така, маскирај ги идентификаторите на клиентите, внатрешните IP-адреси и тајните кога се доставуваат податоци за настани со вештачката интелигенција - постмортемите често се споделуваат нашироко.
Анализа на корените причини: 5 Зошто и вештачка интелигенција
Класична техника е „5 зошто“: прашајте „зошто? до проблем. Прашувајќи одново и одново, од површниот симптом доаѓате до вистинскиот корен. „Услугата падна. Зошто? нема меморија. Зошто? Имаше протекување. Зошто? Ажурирање на библиотеката...“ Вештачката интелигенција брзо го гради овој синџир и предлага можни гранки - но мора да го потврдите секое „зошто“ со вашите податоци; Вештачката интелигенција, исто така, може да изгради разумен, но погрешен синџир.
Табела за сериозност
Ниво
Влијание
пример
интервенција
SEV1
Цел систем/критична деловна загуба
Плаќањето целосно падна
Веднаш, целиот тим, командантот
SEV2
Голема дисфункција
Најавувањата не успеаја
Брзо, на повик + поддршка
SEV3
Делумен/ограничен ефект
Извештајот е одложен
во текот на работното време
SEV4
мали/козметички
печатна грешка
обичен работен ред
три мини футроли
Случај 1 — MTTR од 45 минути до 8 минути. Услугата за плаќање падна. Дежурниот инженер ги дал маскираните дневници и последните информации за распоредување на вештачката интелигенција и прашал „Кој е најверојатниот активирач во последните 20 минути? праша тој. Вештачката интелигенција покажа дека колапсот започнал во истата минута со последното распоредување. Инженерот веднаш ја врати таа верзија; Услугата се врати за 8 минути. Тогаш беше погодно истражена основната причина (грешка во базенот за поврзување во новата верзија).
Случај 2 - постмортална скица за 20 минути. По SEV2, тимот беше уморен и немаше сила да напише извештај; честопати извештајот се одложуваше со недели. Овој пат, тие ѝ дадоа белешки за временската рамка и инцидентот на вештачката интелигенција и направија постмортална скица без криминал. Вештачката интелигенција создаде уредна рамка за ставки за влијание, временска рамка и акција; Тимот го наполни со факти и го објави за 20 минути. Лекцијата не беше изгубена.
Случај 3 - фатена погрешна основна причина. Во еден случај, вештачката интелигенција рече „преоптоварување на базата на податоци од коренот“ и се чинеше разумно. Но, инженерот ја потврди метриката: оптоварувањето на базата на податоци беше нормално во моментот на инцидентот. Вистинската причина беше надворешен проблем со DNS. Првичната хипотеза за вештачката интелигенција беше течна, но погрешна; Валидацијата со податоци спречи извештајот да биде објавен со неточен заклучок.
Четири шаблони за копирање
1) Брза тријажа во моментот на инцидентот:
Доживуваме продукциски настан. Маскирани симптоми: [СИМПТОМ].Последни промени: [ПОСЛЕДНО РАСПОДЕЛУВАЊЕ/ПРОМЕНА]. Дајте ми: (1) 3 најверојатни хипотези за основната причина по редослед на веројатност, (2) команда/метрика што ќе ја потврди секоја за 1 минута, (3) најбрзиот БЕЗБЕДЕН чекор за ублажување (на пр. враќање назад). Строго кажано; Наведете дека морам да ја потврдам секоја хипотеза.
2) Невина постмортална скица:
Напишете беспрекорна постмортална скица од белешките за инцидентот подолу. Секции: Резиме, Влијание (корисник/времетраење/трошок), Времеплов, Основна(и) причина(и), Што помина добро, Што помина лошо, Ставки за акција (секоја со полето за сопственик + датум). Фокусирајте се на именување, процес и систем. Белешки: [МАСКИ]
3) 5 анализа зошто:
Направете синџир „5 зошто“, почнувајќи со следниот симптом: [СИМПТОМ]. Покажете дали има повеќе од една можна гранка на секој чекор. До секое „зошто“ напишете ги доказите (лог/метрика) што ќе ги погледнам за да го потврдам. На крајот, означете кои чекори сè уште не се потврдени.
4) Создавање акциони ставки:
Според оваа основна причина, предложете акциони ставки што ќе спречат повторување на истиот настан. Класифицирајте ја секоја ставка по: (а) превенција, откривање или намалување, (б) проценет напор, (в) влијание. Подреди по највисок сооднос влијание/напор. Основна причина: [X]
Слаб промпт / Силен промпт
Слаб: „Услугата падна, што да правам?“
Резултат: нема контекст; Вештачката интелигенција може да даде општи препораки кои не одговараат на вашиот случај, па дури и може да дојде до дефинитивна основна причина.
Силно: „Службата за плаќање на производството дава 5xx за 5 минути. Последното распоредување беше пред 6 минути. Наведете ги 3-те најверојатни хипотези за основната причина по редослед на веројатност, кажете ја командата што ќе ја потврди секоја од нив и предложи најбрзо безбедно ублажување. Не бидете конкретни, наведете дека треба да проверам“.
Разлика: вториот промпт го дава симптомот, времето и последната промена; бара хипотеза + верификација + намалување и ја одржува вештачката интелигенција непрецизна.
Вообичаени грешки
- Барајте ја точната основна причина пред да ја ублажите. Го одложува запирањето на крварењето и го зголемува MTTR.
- Објавување на првата хипотеза за ВИ без да се потврди. Течни, но лажни корени предизвикуваат протекување во извештајот.
- Обвинителски јазик. Постморта напишана анонимно поттикнува прикривање и повторување на грешка.
- Извештај ориентиран кон акција без точки. Предлог без сопственик и датум никогаш нема да се спроведе.
- Споделување податоци за настанот без нивно маскирање. Postmortem оди до широка публика; протекуваат тајни/лични податоци.
- Не подготвување на патеката за враќање назад однапред. Ако превртувањето не е практично, намалувањето се забавува.
Сумирано
Управувањето со инциденти е за брзо откривање, ублажување, решавање и учење од неизбежни настани; MTTD и MTTR се клучни показатели. Златното правило е „прво ублажи, истражи подоцна“ и враќањето на познатата-добра верзија често е најбрзото ублажување. Вештачката интелигенција е од непроценлива вредност во сумирањето на дневниците во моментот на настанот, стеснувањето на хипотезите и создавањето на беспрекорни постмортални скици по настанот - но ваша одговорност е да ја потврдите секоја хипотеза за основната причина со податоци, да го исчистите јазикот на вината и да ги маскирате податоците за настанот.
Задача за апликација
Размислете за минат (или измислен) настан. (1) Нека вештачката интелигенција генерира хипотези и чекори за верификација со шаблонот „брза тријажа на местото на настанот“; Забележете која хипотеза може да се потврди со податоците. (2) Нацртајте извештај користејќи го образецот „не виновен постмортален преглед“ и пополнете го со факти. (3) Идентификувајте најмалку две акциони ставки и доделете сопственик и датум на секоја.
листа за проверка
- [ ] Во моментот на инцидентот, прво помислив на ублажување (враќање/исклучување) и ја оставив основната причина за подоцна.
- [ ] Ја потврдив секоја хипотеза за основната причина за вештачката интелигенција со лог/метрика.
- [ ] Го напишав на јазик кој не ја обвинува постмортамот, фокусирајќи се на процесот и системот.
- [ ] На секоја ставка што може да се дејствува, му доделив сопственик и датум.
- [ ] Ги маскирав тајните и личните информации од податоците за настанот што и ги дадов на вештачката интелигенција.
- [ ] Правилно го доделив нивото на сериозност според ударот.