Добици:
- Способност сумирања великих депонија дневника маскирањем и филтрирањем у АИ и креирањем временске линије
- Бити у стању да процени временске односе које је успоставила АИ као хипотезе, а не узрочност
- Способност да се потврди хипотеза о основном узроку помоћу метрике и кода и припреми постмортем скицу
Када је софтвер покренут у продукцији (живо окружење), само трагови, метрика и евиденција (временски жигосани редови дневника које производи апликација док ради) вам говоре шта ради. Повлачење значајног сигнала из хиљада, понекад и милиона линија дневника током прекида је најстреснији и временски најкритичнији тренутак одговора на инцидент. Овде вештачка интелигенција може бити помоћник, сажимајући огроман текст, издвајање образаца и генерисање хипотеза - све док поштујете ограничења приватности и верификације.
У овој јединици учимо да користимо вештачку интелигенцију у контексту опсервабилности — способности да разумемо унутрашње стање система посматрајући његове спољашње излазе: издвајање значења из буке дневника, успостављање временске линије грешке, проналажење образаца који се понављају и прављење обдукције. Критично упозорење унапред: необрађени дневници производње често садрже личне податке и тајне; насумично убацивање у АИ алат је озбиљно кршење.
Зашто су дневники тешки, зашто је АИ корисна?
Дневници су тешки из три разлога: јачина (превише их је), бука (многи редови су небитни) и неред (догађај је разбацан по евиденцијама различитих сервиса). Људско око се умори у овој гомили и промаши важну линију.
АИ је добар у сажимању великих блокова текста, бројању образаца који се понављају и постављању питања „шта се променило непосредно пре тог налета грешака?“ Снажан је у успостављању временских односа као што су Међутим, постоје две границе. Први је контекстни прозор: количина евиденција које можете да ставите у модел је ограничена, тако да морате прво да филтрирате и узоркујете. Друго, валидација: АИ која каже „ово је основни узрок“ је хипотеза; Немојте доносити одлуку а да је не потврдите метриком и кодом.
Опрез: Необрађене евиденције производње могу да садрже ИП адресу, е-пошту, токен, ИД сесије и понекад отворену тајну. Маскирајте их пре него што их предате вештачкој интелигенцији или користите само алатке које су одобрене од предузећа и заштићене подацима. Ову тему продубљујемо у јединици 10.
Корак по корак: од дневника до основног узрока
- Сузите временски прозор. Одредите минуте када је догађај почео; Прегледајте тај прозор, не цео дан.
- Филтрирајте буку. Уклоните познате понављајуће, безопасне линије; Фокусирајте се на грешку (ЕРРОР), упозорење (ВАРН) и први тренутак одступања.
- Маскирајте осетљиве податке. Очистите личне податке и тајне пре него што их дате вештачкој интелигенцији.
- Направите резиме и временску линију. Замолите АИ да сумира догађај у хронологији („прво ово, па оно“).
- Потврдите хипотезу помоћу метрике и кода. Разлог на који је указао АИ; Потврдите помоћу контролне табле, релевантног кода и временског оквира примене, ако је применљиво.
- Запишите научено. Направите постморталну скицу и наведите превентивне радње.
Три мини кућишта
Случај 1 — 40.000 редова сажето у 5 минута. Услуга плаћања је пријавила испрекидану грешку током 12 минута. Тим је дао одговарајући 20-минутни прозор маскираних дневника (отприлике 40.000 линија, узоркованих) у АИ и генерисао временску линију. Модел је показао да се рафал грешке поклопио са тренутком када се време одзива услуге зависности повећало са 200 мс на 8 секунди. Тим је то потврдио на контролној табли и сузио узрок у року од 10 минута.
Случај 2 — Обмањујућа корелација. У другом инциденту, АИ је то окривила рекавши да се грешке дешавају „у исто време“ када се покреће црон (планирани задатак). Када је тим проверио метрику, видео је да је црон заправо завршио пре догађаја; Корелација је била случајност. Прави узрок је било цурење меморије. Поука: Временска корелација коју је успоставила АИ је траг, а не доказ.
Случај 3 — Постмортем убрзан. Након прекида, тим је пренео (маскирани) транскрипт поруке и временску линију са канала догађаја у АИ и дао му да направи постмортем скицу: резиме, утицај, временску линију, основни узрок, акције. Људски уредник је исправио чињенице и именовао власнике акција. Документ, који обично траје 2 сата, завршен је за отприлике 40 минута са конзистентнијом структуром.
Четири шаблона за копирање
Резиме дневника и временска линија (са маскираним дневником):
Испод је прозор догађаја маскираног дневника производње.1) Прелијте догађај у хронолошки временски оквир (обележите тренутак првог одступања).2) Избројите и групишите типове грешке/упозорења који се најчешће понављају.3) „Шта се променило непосредно пре?“ Наведите догађаје кандидата за питање. Ово су хипотезе; Означите га као "мора бити верификован". {{логови}}
Екстракција обрасца грешке:
Пронађите обрасце грешака које се понављају у овим редовима дневника. За сваки образац: линија узорка (маскирана), процењени извор и могуће значење. Сакупите ретке, али критичне појединачне грешке на засебној листи „пажња“.{{логс}}
Структурирани упит/генерисање филтера:
За {{лог алат: греп/јк/Кибана ККЛ/ЦлоудВатцх Инсигхтс}}, напишите упит који испуњава следећи услов: {{нпр. 5кк грешака у последњих 15 мин, искључујући корисника Кс}}. Објасните упит; Уверите се да не измишљате имена домена, питајте ако нисте сигурни.
Постмортем скица:
Напишите обдукциону скицу са следеће (маскиране) временске линије догађаја: Резиме / Утицај (трајање, корисник погођен) / Временска линија / Основни узрок / Шта је добро прошло / Радње (оставите поље власника празно за сваки). НЕМОЈТЕ користити оптужујући језик; Будите чињенични и проактивни.{{тимелине}}
Слаби промпт / Јаки промпт
Слаб: "Погледајте ове дневнике, шта није у реду?" (Необрађени дневник целог дана, са личним подацима, нециљано.)
Снажно: „Доле је маскирани дневник производње од 14:02–14:20 (филтриран на 5ккс). У овом прозору пронађите тренутак када је пуцање грешке почело, пребројите најчешћи тип грешке и наведите одступања која су се појавила у 60 секунди непосредно пре експлозије; означите их све као 'хипотезу за проверу'.“
Моћна верзија; Он сужава временски прозор, филтрира и маскира дневник, поставља јасно питање и од самог почетка утврђује да је излаз хипотеза.
Куест
АИ је јак
Ограничење / верификација
Велики резиме дневника
Да, брзо
Може доћи до губитка узорковања
Успостављање временског односа
генерише наговештаје
Корелација = узрочност
Генерисање упита/филтера
добар нацрт
Да ли су имена домена стварна?
Постмортем скица
Структура и језик
Случајеви су потврђени код људи
Корелација није узрочна веза
Најчешћа замка у анализи дневника је заблуда „догодило се у исто време, па зато“. АИ упада у ову замку једнако лако, ако не и лакше, него људи; јер мисли да је истовременост у тексту јак сигнал. Да се може рећи да један догађај заправо води другом; потребно је време, механизам и, ако је могуће, поновљивост. За сваку тврдњу о узрочности коју АИ утврди, питамо „који други докази то потврђују?“ Тестирајте то питањем.
Савет: Када се пријављујете на АИ, уместо дампа текста, ако је могуће, прво одштампајте упит/филтер и покрените га у свом возилу; На овај начин и смањујете осетљиве податке и одвајате контекстни прозор модела у заиста важне редове.
Уобичајене грешке
- Лепљење необрађеног, немаскираног дневника. Откривање личних података и тајни; тешка повреда приватности.
- Давање цео дан одједном. Прекорачује оквир контекста, сигнал је утопљен у буку.
- Погрешна корелација за узрочност. Временски однос који је успоставила АИ је траг, а не доказ.
- Ослањајући се на упит са измишљеним именом домена. Модел може предложити име поља дневника које не постоји; проверите помоћу шеме.
- Објављивање обдукције без верификације. Чињенице и бројке о утицају морају бити потврђене од стране људи.
Укратко
АИ је моћан алат за превазилажење јачине звука и шума у анализи дневника: сумирање великих транскрипата, успостављање временских линија, издвајање образаца и припрема постмортем скица. Али запамтите три ограничења: немојте извозити осетљиве податке без маскирања, филтрирајте их и узорковајте да би се уклопили у прозор контекста и верификујте сваку тврдњу о узрочности помоћу метрике и кода. Корелација није узрочна веза; АИ даје трагове, ви доносите одлуку са доказима.
Задатак апликације
Изаберите прозор од 15–20 минута из дневника догађаја или тестног окружења који имате. Прво маскирајте личне податке и тајне (или направите синтетички дневник). Затим извуците хронологију и најчешће типове грешака из АИ помоћу шаблона „резиме дневника и временска линија“. Покушајте да потврдите хипотезу о основном узроку коју је АИ изнео помоћу метрике или дела кода који имате: да ли се хипотеза држала или је то била погрешна корелација? Запишите свој налаз у једној реченици.
контролна листа
- [ ] Маскирам личне податке и тајне пре него што дам дневник АИ.
- [ ] Сводим анализу на узак временски прозор и филтрирам.
- [ ] Временске односе које је успоставила АИ видим као хипотезе, а не узрочност.
- [ ] Потврђујем тврдњу о основном узроку помоћу метрике и кода.
- [ ] Потврђујем да су имена домена упита/филтера које генеришем стварна.
- [ ] Људски потврђујем чињенице и бројке у обдукцијској скици.