Пайдалар:
- Жыйынтыктоо, топтоо жана хронология журналдарын түзүү үчүн AI колдонуу менен ызы-чуудагы сигналды тез табыңыз
- Корреляцияны жана себептүүлүктү ажырата билүү жана жасалма интеллекттин түпкү себептеринин сунуштарын текшерилиши керек болгон гипотеза катары кароо
- Жасалма интеллект менен "5 Эмне үчүн" ыкмасын иштетүү жана ар бир кадамды реалдуу далилдер менен колдоо аркылуу чыныгы негизги себепке жетүү мүмкүнчүлүгү
Логин анализи жана түпкү себептердин анализи: AI менен ызы-чуудагы сигналды табуу
Система кыйроого учураганда, сиз карап турган биринчи жер журналдар. Журнал – бул системанын же тиркеменин "мен эмне кылдым, эмне болду, эмне бузулду" деген убакыт белгиси бар жазууну жүргүзгөн текст агымы. Бирок заманбап инфраструктура саатына миллиондогон линияларды чыгарат; бул маалымат деңизи эмес, көбүнчө ызы-чуу океаны. Лог анализи - бул ызы-чуудагы маанилүү сигналды (ката, аномалия, үлгү) табуу өнөрү. Окуядан кийин "чыныгы себеп эмне болду" деген суроого жооп берүү процесси түпкү себептердин анализи (RCA - Root Cause Analysis) деп аталат. Бул жерде AI секундасына миңдеген саптарды жалпылоодо, үлгүлөрдү алууда, мөөнөттөрдү белгилөөдө жана мүмкүн болуучу себептерди тизмекте абдан күчтүү. Бирок эскертүү: AI мүмкүн болгон себептерди жаратат; Сиз системада кайсынысы реалдуу экенин текшерип, чечим кабыл алган адамсыз.
Бул бөлүмдө сиз AI менен журналдарды кантип ишенимдүү жалпылоону, окуянын хронологиясын кантип түзүүнү, корреляцияны (биргелешип өзгөрүүнү) жана себептүү байланышты кантип айырмалоону (бирин себептүү экинчисин) жана RCA ыкмасын кантип иштетүүнү үйрөнөсүз, мисалы AI менен "5 Whys".
Эмне үчүн корреляция себептүүлүк эмес?
Бул бул бирдиктин эң маанилүү концепциясы. Бир эле учурда эки окуя болгон үчүн, бири экинчисине себепкер болбойт. Сервердин CPU жана тармак трафиги бир эле учурда көбөйүшү мүмкүн; бирок бири экинчисинин натыйжасы эмес, экөө тең үчүнчү окуянын натыйжасы болушу мүмкүн (мисалы, пакеттик иштин башталышы). AI метрикалардын чогуу өзгөрүп жатканын көргөндө, ал "мүмкүн X Y себепкер болгон" деген гипотеза жасайт. Бул жыйынтык эмес, баштапкы чекит. Себептүүлүк байланышты текшерүү үчүн, сиз же өзгөрмөнү бөлүп алышыңыз керек (сыноо чөйрөсүндө X триггери жана Y болуп жатканын көрүү) же механизмди далилдөө (X Y өндүргөн техникалык каражаттарды көрсөтүү).
Абайлаңыз: AIнын "бул, балким, бул себеп болгон" деген сүйлөмүн тыянак эмес, гипотеза катары кабыл алыңыз. RCAда туура эмес түпкү себеп окуянын туура эмес оңдоосуна жана кайталанышына алып келет. Сиз себепти эмес, биринчи шектүүнү таптыңыз; Иш ошол жерден башталат.
Кадам-кадам: AI менен журнал талдоо
- чөйрөнү тарытуу. Таржымалдын баарын эмес, окуянын терезесин бериңиз: "окуя 14:05те башталды, 14:00–14:20 сындуу". AIга тиешелүү убакыт аралыгын жана кызматты айтыңыз.
- Маска. Журналдарда ички IP, хосттун аталышы, колдонуучу жана белги бар. Аларды маска (10.x.x.x, хост-A, колдонуучу1, REDACTED) анан экспорттоо.
- Кыскача маалымат жана топтоого суроо. "Бул журналды катаалдыгы боюнча топторго бөлүңүз, кайталануучу каталарды санаңыз, биринчи катанын убакыт белгисин табыңыз." Чийки журналды эмес, структурасын сураңыз.
- Убакыт тилкесин орнотуңуз. "Бул окуяларды убакыт тартибинде уюштуруңуз жана андан кийин эмне болорун көрсөтүңүз." Биринчи домино табуу - түпкү себепке жол.
- Далил эмес, гипотеза сура. "Мүмкүн болгон негизги себептерди ыктымалдуулук иретинде тизмектеңиз жана мага ар бири үчүн системада иштөө үчүн текшерүү буйругун бериңиз." Жыйынтыгын эмес, диагнозун сура.
- Системада текшериңиз. Ар бир гипотезаны окуу үчүн гана диагностикалык буйруктар менен текшериңиз (log grep, статус сурамы, метрика). Бир гана тастыкталган негизги себеп болгонго чейин жок кылыңыз.
5 Эмне үчүн ыкмасы
RCAнын классикалык жана күчтүү куралы "5 Эмне үчүн": бир симптомдон баштап, "эмне үчүн?" беш жолу. Сурап, сиз жер үстүндөгү симптомдун астындагы негизги себепке жетесиз. Мисал: "Сайт кыйрады. Эмне үчүн? Колдонмо эстутуму түгөнгөндүктөн өлүп калды. Эмне үчүн? Сурам бардык эстутумду жеп койду. Эмне үчүн? Суроо индексти колдонгон жок. Эмне үчүн? Индекс акыркы чыгарылышта өчүрүлгөн. Эмне үчүн? Бул өзгөртүүнү карап чыгууда байкалган жок." Негизги себеп үстүнкү "сайт бузулду" эмес, "өзгөртүүлөрдү карап чыгуу процесси начар". AI бул чынжырды курууда жакшы өнөктөш болмок - бирок ар бир "эмне үчүн" кадамын реалдуу далилдер менен колдошуңуз керек, болбосо AI акылга сыярлык, бирок жалган чынжырды ойлоп табышы мүмкүн.
үч мини учурлар
1-жагдай — 40 000 сап, 3 мүнөт. Түнкү өчүрүү учурунда администратор 40 000 сап тиркеме журналдарын кол менен сканерлей баштаган. Ал AIга маскаланган журналдын тиешелүү 20 мүнөттүк бөлүгүн берип, жыйынтыктоо жана топтоону суранды. AI биринчи OutOfMemory мүчүлүштүктөрүн 02:14тө, көбөйгөн таймаут мүчүлүштүктөрүнөн кийин дароо белгиледи. Инженер убакыт баракчасын 3 мүнөттө алды; баштапкы диагнозду өзүнүн метрикалык панелинде тастыктады.
2-жагдай - Туура эмес негизги себептен кайтуу. Команда AIнын биринчи гипотезасы («журналдар дискти толтурду») туура деп эсептеп, журналдарды тазалады. Бирок окуя эртеси күнү кайталанды. Экинчи турда алар "5 Эмне үчүн" дисциплинасы менен ишке ашырышты: чыныгы себеби, колдонмонун катасы секундасына жүздөгөн негизги таштандыларды жазууда болгон. Биринчи гипотеза корреляция болгон; Чыныгы себеп башка болчу. Текшербестен кабыл алуу бир күндүк гана мөөнөт берген.
3-жагдай - Хронология кылмышкерди тапты. Тармактын үзгүлтүккө учурашы учурунда ондогон түзмөктөрдүн журналдары болгон. Инженер AIга маскаланган журналдарды берип, бирдиктүү хронологияны түзүүгө буйрук берди. Диаграмма ар бир өчүрүү ашыкча өчүрүү ден соолук текшерүү билдирүүсүнөн кийин так 30 секунддан кийин башталганын көрсөттү. Бул корреляция күчтүү далил болгон; Команда аппараттагы ачкычтын микропрограммасынын катасын текшерип, аны алмаштырды.
Көчүрүү үчүн төрт шаблон
1) Журналды жыйынтыктоо жана топтоштуруу:
Төмөндө 14:00-14:20 [кызмат] үчүн маскаланган журнал. Мага айтыңыз: (1) сызыктарды олуттуулугу боюнча топтоп санаңыз (КАТА/ЭСКЕРТҮҮ/ИНФО), (2) кайталануучу 5 ката үлгүсүн тизмектеңиз, (3) биринчи КАТАнын убакыт белгисин табыңыз. Чийки журналды кайра жазбаңыз, жөн гана структураланган корутунду бериңиз. Түзүлгөн линияны кошуу. Журнал: [маскаланган журнал]
2) Хронологияны түзүү:
Биз төмөнкү маскаланган окуялардын жазууларын бир убакыт тилкесинде (убакыт белгиси + булак + окуя) иретке келтирдик. Эмнеден кийин болоорун көрсөтүп, биринчи триггер болуп көрүнгөн окуяны белгилеңиз. Бул ГИПОТЕЗ жана себептүүлүгү текшерилиши керек экенин эске алыңыз. Жазуулар: [маскаланган жазуулар]
3) RCA өнөктөшүнүн 5 себеби:
Сиздин ролуңуз: RCA фасилитатору. Симптом: [симптом]. Мени менен "5 Эмне үчүн" дегенди жаса: а "эмне үчүн?" ар бир кадамда. Сурагыла, менде бар далил менен жооп берем, кийинки суроону сен бер. Эгерде менин далилим начар болсо, мага эскертип, кандай маалыматтарды чогултушум керектигин айт. Далилсиз негизги себепти жарыялабаңыз.
4) Гипотеза + текшерүү буйругу:
Бул симптомдун [симптомдун] мүмкүн болуучу негизги себептерин ыктымалдуулук иретинде тизмектеңиз. Ар бир себеп боюнча: (а) сиз эмнеден шектенип жатасыз, (б) менин тутумумда иштөө үчүн ГАНА ОКУУ үчүн текшерүү буйругун бериңиз (жок кылуу/өзгөртүү жок). Кайсы жыйынтык гипотезаны ырастаарын же жокко чыгарарын түшүндүрүңүз.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул журналда эмне болуп жатат? [10 000 сап чийки журнал]
Бул эскертүү купуя маалыматтарды ачыкка чыгарат жана AI контекстсиз калтырат. AI кокус сызыкта мүдүрүлүшү мүмкүн жана үстүртөн же жасалма себеп келтириши мүмкүн.
Күчтүү билдирүү:
Сиздин ролуңуз: улук SRE. Окуя: төлөм кызматы 02:10-02:25 ортосунда 50% ката кетирди. Төмөндө ошол терезенин маскаланган журналы. Мага (1) катаалдыгы боюнча топтоштурулган корутундуну, (2) биринчи катанын убакыт белгисин, (3) ыктымалдуулук иретинде мүмкүн болгон негизги себептерди жана ар бири үчүн окуу үчүн гана текшерүү буйругун бериңиз. Себептүүлүк дооматтарын гипотеза катары белгилеңиз. Журнал: [маскаланган журнал]
кадам
Максат
AI ролу
адамдын ролу
Жыйынтык/топтоо
ызы-чуу азайтуу
Миңдеген саптарды конфигурациялоо
Көлөмдү жана масканы аныктаңыз
хронологиясы
Биринчи домино табуу
окуяларды иреттөө
Мөөрлөрдү ырастоо
гипотезаны түзүү
шектүүлөрдү сорттоо
мүмкүнчүлүктөрдү тизмектеп
контекст боюнча чыпкалоо
текшерүү
чыныгы себебин табуу
Диагностикалык буйрукту сунуштоо
Буйрукту иштетип, ага комментарий бериңиз
чечим
Оңдоо үчүн тандоо
варианттарды сунуштоо
Чечим кабыл алып, ырастаңыз
Жалпы каталар
- Себептик байланышты жаңылыштык. Чогуу өзгөргөн эки метриканы "бири экинчисин жаратты" деп кабыл алуу туура эмес оңдоону жаратат.
- Чийки журналды маскасыз чаптоо. IP, токен жана колдонуучуну камтыган журналды ачык куралга берүү коопсуздукту бузуу болуп саналат.
- Негизги себеп катары биринчи гипотезаны жарыялоо. AIнын биринчи сунушун аны текшербестен кабыл алуу - бул окуяны кайталоого чакыруу.
- Толук журнал экспорттоо. Контекстсиз чоң журнал AIди туш келди линияга киргизет; Окуя терезесине жыйыштыруу.
- Далилсиз 5 себеп. Эгер сиз ар бир "эмне үчүн" кадамыңызды реалдуу маалыматтар менен камдык көчүрмөсүн сактабасаңыз, анда сиз акылга сыярлык, бирок ойдон чыгарылган чынжырга ээ болосуз.
Кеңеш: RCAны бүтүрүүдөн мурун "эгер бул негизги себеп чындап эле оңдолсо, кайра кайталанбайбы?" Суроо бер. Эгер жооп "мүмкүн" болсо, сиз али түпкү себебине жете элексиз; Башка "эмне үчүн" деп сураңыз.
Кыскача айтканда
Лог анализи ызы-чуу океанындагы сигналды табуу; AI бул океанды секунданын ичинде жалпылайт жана структуралайт, убакыт графигин белгилейт жана гипотезаларды жаратат. Бирок корреляция себептүүлүк эмес: AI сунуш кылган себеп ырасталганга чейин табылга эмес, баштапкы шектенүү. Журналды окуя терезесине жыйыштырыңыз, масканы жаап, түзүмүн сураңыз, "5 Эмне үчүн" менен тереңирээк казыңыз жана системадагы ар бир гипотезаны окуу үчүн гана буйруктар менен текшериңиз. Негизги себепти таап, оңдоону ырастаган сенсиң; AI сиздин өнөктөшүңүз.
Колдонмо тапшырмасы
Өткөн окуянын (же сыноо окуясынын) журналдарын алып, аны окуя терезесине жыйыштырыңыз жана бардык сезимтал аймактарды маскалаңыз. Жогорудагы "Логдун корутундусу" жана "Убакыт тилкеси" үлгүлөрү менен AIдан корутунду жана графикти сураңыз. Андан кийин "5 Reasons RCA өнөктөшү" шаблону менен симптомдон негизги себепке өтүңүз; Ар бир кадам үчүн өз далилиңизди жазыңыз. Акырында, AIнын баштапкы гипотезасын текшерүү буйругу менен сынап көрүңүз жана анын ырасталганын же четке кагылганын жазыңыз. Процессти 6 пунктта жыйынтыктаңыз.
текшерүү тизмеси
- [ ] Мен журналды окуянын терезесине жыйыштырдымбы жана сезимтал жерлерди маскаладымбы?
- [ ] Мен AIдан чийки журналды эмес, структураланган кыскача баяндаманы жана хронологияны сурадымбы?
- [ ] Мен AIнын себептүүлүк дооматтарын гипотеза катары белгиледимби?
- [ ] Мен системадагы ар бир гипотезаны окуу үчүн гана текшерүү буйругу менен сынап көрдүмбү?
- [ ] Мен “5 Эмне үчүн” ар бир кадамын реалдуу далилдер менен бекемдедимби?
- [ ] Негизги себеп иш-чарага тоскоол болобу деген суроону берип, чечим кабыл алдымбы?