Табыстар:
- Қорытындылау, топтау және уақыт шкаласы журналдарын жасау үшін AI пайдалану арқылы шу кезінде сигналды жылдам табыңыз
- Корреляция мен себептілікті ажырату және жасанды интеллекттің негізгі себептері туралы ұсыныстарды тексеруді қажет ететін гипотеза ретінде қарастыру мүмкіндігі
- Жасанды интеллектпен «5 Неліктен» әдісін қолдану және әрбір қадамды нақты дәлелдермен қолдау арқылы нақты түпкі себепке жету мүмкіндігі
Журналды талдау және түбірлік себептерді талдау: AI көмегімен шудағы сигналды табу
Жүйе бұзылған кезде, сіз бірінші іздейтін жер - журналдар. Журнал – жүйенің немесе қолданбаның «мен не істедім, не болды, не істеді» деген уақыт белгісі бар жазбаны сақтайтын мәтін ағыны. Бірақ заманауи инфрақұрылым сағатына миллиондаған журналдарды шығарады; бұл ақпарат теңізі емес, көбінесе шу мұхиты. Журналды талдау - бұл шудың маңызды сигналын (қате, ауытқу, үлгі) табу өнері. Оқиғадан кейін «шынайы себеп не болды» деген сұраққа жауап беру процесі түбірлік себептерді талдау (RCA - Root Cause Analysis) деп аталады. Мұнда AI секундына мыңдаған жолдарды қорытындылауда, үлгілерді шығаруда, уақыт кестелерін орнатуда және ықтимал себептерді тізімдеуда өте күшті. Бірақ ескерту: AI ықтимал себептерді тудырады; Жүйеде қайсысы нақты екенін тексеріп, шешім қабылдайтын сізсіз.
Бұл бөлімде сіз AI көмегімен журналдарды сенімді түрде қорытындылауды, оқиғаның уақыт шкаласын орнатуды, корреляцияны (бірге өзгерту) және себептілікті (біреуі екіншісін тудырады) қалай ажыратуға болатындығын және AI көмегімен «5 Неліктен» сияқты RCA әдісін іске қосуды үйренесіз.
Неліктен корреляция себептілік емес?
Бұл осы бірліктің ең маңызды тұжырымдамасы. Екі оқиға бір уақытта болғандықтан, біреуі екіншісін тудырмайды. Сервердің CPU және желі трафигі бір уақытта артуы мүмкін; бірақ біреуі екіншісінің нәтижесі емес, екеуі де үшінші оқиғаның нәтижесі болуы мүмкін (мысалы, топтама жұмысының басталуы). AI көрсеткіштердің бірге өзгеретінін көргенде, ол «мүмкін X Y-ге себеп болған» гипотеза жасайды. Бұл қорытынды емес, бастапқы нүкте. Себеп-салдарлық байланысты тексеру үшін айнымалыны оқшаулау керек (сынау ортасында X триггері және Y орын алғанын көру) немесе механизмді дәлелдеу (X Y өндіретін техникалық құралдарды көрсету).
Абайлаңыз: AI-ның «бұл себеп болған шығар» деген сөйлемін тұжырым емес, гипотеза ретінде қабылдаңыз. RCA-да қате түбірлік себеп қате түзетуге және оқиғаның қайталануына әкеледі. Сіз себеп емес, бірінші күдіктіні таптыңыз; Жұмыс сонда басталады.
Қадамдық: AI көмегімен журналды талдау
- Ауқымды тарылтыңыз. Бүкіл журналды емес, оқиға терезесін беріңіз: «оқиға 14:05-те басталды, 14:00-14:20 сынды». AI-ға сәйкес уақыт аралығы мен қызметті айтыңыз.
- Маска. Журналдарда ішкі IP, хост атауы, пайдаланушы және таңбалауыш бар. Оларды маскировкалаңыз (10.x.x.x, хост-A, пайдаланушы1, REDACTED), содан кейін экспорттаңыз.
- Қорытындылау және топтастыруды сұрау. «Бұл журналды ауырлық дәрежесі бойынша топтаңыз, қайталанатын қателерді санаңыз, бірінші қатенің уақыт белгісін табыңыз.» Шикі журналды емес, құрылымды сұраңыз.
- Уақыт шкаласын орнатыңыз. «Осы оқиғаларды уақыт тәртібімен реттеңіз және одан кейін не болатынын көрсетіңіз». Бірінші доминоны табу – түпкі себепке апаратын жол.
- Дәлелдеуді емес, гипотезаны сұраңыз. «Ықтимал түпкі себептерді ықтималдық ретімен көрсетіңіз және әрқайсысы үшін жүйеде іске қосу үшін тексеру пәрменін беріңіз.» Нәтижені емес, диагнозды сұраңыз.
- Жүйеде растаңыз. Әрбір гипотезаны тек оқуға арналған диагностикалық пәрмендермен тексеріңіз (log grep, күй сұрауы, метрика). Бір ғана расталған негізгі себеп болғанша жойыңыз.
5 Неліктен әдісі
RCA классикалық және қуатты құралы «5 Неліктен» болып табылады: бір симптомнан басталып, «Неге?» Деген сұрақ. бес рет. Сұрау арқылы сіз беткі симптомның астындағы негізгі себепке жетесіз. Мысал: "Сайт бұзылды. Неліктен? Қолданбаның жады таусылғандықтан өлді. Неліктен? Сұрау барлық жадты жұмсады. Неліктен? Сұрау индексті пайдаланбады. Неліктен? Индекс соңғы шығарылымда жойылды. Неліктен? Өзгерістерді қарау кезінде бұл байқалмады." Түпкі себеп «сайт бұзылды» беті емес, «өзгерістерді қарау процесі әлсіз». AI осы тізбекті құруда жақсы серіктес болар еді, бірақ сіз әрбір «неге» қадамын нақты дәлелдермен қамтамасыз етуіңіз керек, әйтпесе AI сенімді, бірақ жалған тізбекті ойлап табуы мүмкін.
үш шағын іс
1-жағдай — 40 000 жол, 3 минут. Түнгі үзіліс кезінде әкімші қолданба журналдарының 40 000 жолын қолмен сканерлеуді бастады. Ол AI-ге маскаланған журналдың тиісті 20 минуттық бөлігін берді және қорытынды мен топтастыруды сұрады. AI бірінші OutOfMemory қатесін 02:14-те, күту уақыты ұлғайған қателерден кейін бірден белгіледі. Инженер уақыт парағын 3 минутта алды; бастапқы диагнозды өзінің метрикалық панелінде растады.
2-жағдай - қате негізгі себептен қайтару. Команда AI-ның бірінші гипотезасы («журналдар дискіні толтырды») дұрыс деп есептеп, журналдарды тазартты. Бірақ келесі күні оқиға қайталанды. Екінші турда олар «5 Неліктен» тәртіппен жүзеге асырды: нақты себебі қолданба қатесі секундына жүздеген негізгі қоқыстарды жазу болды. Бірінші гипотеза корреляция болды; Шынайы себеп басқа болды. Тексерусіз қабылдау тек бір күндік жеңілдік берді.
3-жағдай - Хронология қылмыскерді тапты. Желінің үзіліссіз үзілуі кезінде ондаған құрылғылардың журналдары болды. Инженер AI-ге маскаланған журналдарды берді және оған біртұтас уақыт кестесін құруды тапсырды. Диаграмма әрбір үзіліс резервтік қосқыштың денсаулығын тексеру хабарынан кейін дәл 30 секундтан кейін басталғанын көрсетті. Бұл корреляция күшті дәлел болды; Топ құрылғыдағы кілттің микробағдарлама қатесін тексеріп, оны ауыстырды.
Көшірілетін төрт үлгі
1) Журналды қорытындылау және топтастыру:
Төменде 14:00-14:20 аралығындағы [қызмет] үшін маскаланған журнал берілген. Маған айтыңыз: (1) жолдарды ауырлық дәрежесі бойынша топтаңыз және санаңыз (ERROR/WAARN/INFO), (2) ең жақсы 5 қайталанатын қате үлгісін тізімдеңіз, (3) бірінші ҚАТЕнің уақыт белгісін табыңыз. Шикі журналды қайта жазбаңыз, жай ғана құрылымдық қорытынды беріңіз. Жасалған жолды қосу. Журнал: [маскаланған журнал]
2) Уақыт шкаласын орнату:
Біз келесі маскаланған оқиға жазбаларын бір уақыт шкаласына (уақыт белгісі + дереккөз + оқиға) реттедік. Неден кейін болатынын көрсетіңіз және бірінші триггер болып көрінетін оқиғаны белгілеңіз. Бұл ГИПОТЕЗ және себеп-салдарлық байланысын тексеру қажет екенін ескеріңіз. Жазбалар: [маскирленген жазбалар]
3) RCA серіктесінің 5 себебі:
Сіздің рөліңіз: RCA фасилитаторы. Симптом: [симптом]. Менімен «5 Неліктен» әрекетін орындаңыз: а «Неге?» әр қадамда. Сұраңыз, менде бар дәлелдермен жауап беремін, келесі сұрақты сіз қоясыз. Егер менің дәлелдерім әлсіз болса, маған ескертіңіз және қандай деректерді жинауым керек екенін айтыңыз. Дәлелсіз негізгі себебін жарияламаңыз.
4) Гипотеза + тексеру командасы:
Бұл симптомның [симптомның] ықтимал негізгі себептерін ықтималдық ретімен көрсетіңіз. Әрбір себеп бойынша: (а) сіз не деп күдіктенесіз, (б) жүйемде іске қосу үшін маған ТЕК ОҚУ үшін тексеру пәрменін беріңіз (жою/өзгерту жоқ). Қандай нәтиже гипотезаны растайтын немесе жоққа шығаратынын түсіндіріңіз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Бұл журналда не дұрыс емес? [10 000 жол шикі журнал]
Бұл шақыру құпия деректерді жасырады және AI контекстсіз қалдырады. AI кездейсоқ сызықта сүрініп, үстірт немесе тіпті ойдан шығарылған себеп бере алады.
Күшті шақыру:
Сіздің рөліңіз: аға SRE. Оқиға: төлем қызметі 02:10-02:25 аралығында 50% қате жіберді. Төменде сол терезенің маскаланған журналы берілген. Маған (1) ауырлық дәрежесі бойынша топтастырылған қорытындыны, (2) бірінші қатенің уақыт белгісін, (3) ықтималдық реті бойынша ықтимал түбірлік себептерді және әрқайсысы үшін тек оқуға арналған тексеру пәрменін беріңіз. Себептік байланыстарды гипотеза ретінде белгілеңіз. Журнал: [маскаланған журнал]
қадам
Мақсат
АИ рөлі
адамның рөлі
Қорытынды/топтастыру
шуды азайту
Мыңдаған жолдарды конфигурациялау
Ауқымды және масканы анықтаңыз
уақыт шкаласы
Бірінші доминоны табу
оқиғаларды сұрыптау
Мөрлерді растау
гипотезаны құру
күдіктілерді сұрыптау
мүмкіндіктерді тізіп көрсетіңіз
контекст бойынша сүзгілеу
тексеру
нақты себебін табыңыз
Диагностикалық пәрменді ұсыныңыз
Пәрменді іске қосыңыз және оған түсініктеме беріңіз
шешім
Түзетуді таңдау
опцияларды ұсыну
Шешімді қабылдап, растаңыз
Жалпы қателер
- Себеп-салдарлық байланысты қателесу. Бірге өзгеретін екі көрсеткішті "біреуі екіншісіне себепші" ретінде қабылдау жалған түзетуді тудырады.
- Шикі бөренені маскасыз жапсыру. IP, таңбалауыш және пайдаланушы бар журналды ашық құралға беру қауіпсіздікті бұзу болып табылады.
- Бірінші гипотезаны түпкі себеп ретінде жариялау. Жасанды интеллекттің бірінші ұсынысын оны тексермей қабылдау оқиғаны қайталауға шақыру болып табылады.
- Бүкіл журналды экспорттау. Мәтінмәнсіз үлкен журнал AI-ді кездейсоқ сызыққа қосады; Оқиға терезесіне жию.
- Дәлелсіз 5 себеп. Әрбір «неге» қадамының сақтық көшірмесін нақты деректермен жасамасаңыз, сіз ақылға қонымды, бірақ жасалған тізбекке ие боласыз.
Кеңес: RCA-ны аяқтамас бұрын, «егер бұл негізгі себеп шынымен түзетілсе, ол қайталанбайды ма?» деп сұраңыз. Сұрақ қойыңыз. Жауап «мүмкін» болса, сіз әлі түпкі себепке жете алған жоқсыз; Басқа «неге» деп сұраңыз.
Қысқаша
Журналды талдау шу мұхитындағы сигналды табу; AI осы мұхитты бірнеше секундта қорытындылайды және құрылымдайды, уақыт кестесін белгілейді және гипотеза жасайды. Бірақ корреляция себептілік емес: AI ұсынған себеп - бұл расталғанға дейін тұжырым емес, бастапқы күдік. Оқиғалар терезесіне журналды бүктеңіз, оны бүркеңіз, құрылымды сұраңыз, «5 Неліктен» арқылы тереңдетіңіз және жүйедегі әрбір гипотезаны тек оқуға арналған пәрмендермен тексеріңіз. Түпкі себебін тауып, түзетуді растайтын сізсіз; AI - сіздің серіктесіңіз.
Қолданбалы тапсырма
Өткен оқиғаның (немесе сынақ оқиғасының) журналдарын алыңыз, оны оқиға терезесіне жинаңыз және кез келген сезімтал аймақтарды бүркеңіз. Жоғарыдағы «Журнал қорытындысы» және «Уақыт шкаласы» үлгілерімен AI-дан қорытынды мен кестені сұраңыз. Содан кейін «5 Reasons RCA серіктесі» үлгісімен симптомнан негізгі себепке ауысыңыз; Әр қадам үшін өз дәлелдеріңізді жазыңыз. Соңында, AI бастапқы гипотезасын тексеру пәрменімен тексеріп, оның расталғанын немесе жоққа шығарылғанын жазыңыз. Процесті 6 тармақта қорытындылаңыз.
бақылау парағы
- [ ] Мен журналды оқиға терезесіне жиып, сезімтал аймақтарды жасырдым ба?
- [ ] Мен AI-дан өңделмеген журналды емес, құрылымдық қорытынды мен уақыт кестесін сұрадым ба?
- [ ] Мен AI-ның себеп-салдарлық талаптарын гипотеза ретінде белгіледім бе?
- [ ] Жүйедегі әрбір гипотезаны тек оқуға арналған тексеру пәрменімен тексердім бе?
- [ ] «5 Неліктен» әрбір қадамын нақты дәлелдермен қолдадым ба?
- [ ] Түпкі себеп іс жүзінде оқиғаға кедергі келтіре ме деп сұрақ қойып, шешім қабылдадым ба?