Fitimet:
- Gjeni shpejt sinjalin në zhurmë duke përdorur AI për të përmbledhur, grupuar dhe regjistrat e afateve kohore
- Aftësia për të ndarë korrelacionin dhe kauzalitetin dhe për të trajtuar sugjerimet e shkakut rrënjësor të inteligjencës artificiale si hipoteza që duhen verifikuar
- Aftësia për të arritur te shkaku i vërtetë rrënjësor duke përdorur metodën '5 Pse' me inteligjencën artificiale dhe duke mbështetur çdo hap me prova reale
Analiza e regjistrave dhe analiza e shkakut rrënjësor: Gjetja e sinjalit në zhurmë me AI
Kur një sistem rrëzohet, vendi i parë që shikoni janë regjistrat. Regjistri është një transmetim teksti që mban një regjistrim të vulosur me kohë të "çfarë bëra, çfarë ndodhi, çfarë u prish" të një sistemi ose aplikacioni. Por një infrastrukturë moderne prodhon miliona rreshta trungje në orë; nuk është një det informacioni, por shpesh një oqean zhurmash. Analiza e regjistrave është arti i gjetjes së sinjalit të rëndësishëm (gabim, anomali, model) në këtë zhurmë. Procesi i përgjigjes së pyetjes "cili ishte shkaku i vërtetë" pas një ngjarjeje quhet analiza e shkakut rrënjësor (RCA - Root Cause Analysis). Këtu, AI është shumë i fuqishëm në përmbledhjen e mijëra rreshtave në sekondë, nxjerrjen e modeleve, vendosjen e afateve kohore dhe renditjen e shkaqeve të mundshme. Por një fjalë kujdes: AI gjeneron shkaqe të mundshme; Ju jeni ai që verifikon në sistem se cili është real dhe merr vendimin.
Në këtë njësi do të mësoni se si të përmblidhni me siguri regjistrat me AI, si të vendosni një afat kohor të një ngjarjeje, si të bëni dallimin midis korrelacionit (duke ndryshuar së bashku) dhe shkakut (njëra shkakton tjetrën), dhe si të ekzekutoni një metodë RCA si "5 Pse" me AI.
Pse korrelacioni nuk është shkakësor?
Ky është koncepti më kritik i kësaj njësie. Vetëm për shkak se dy ngjarje ndodhin në të njëjtën kohë, njëra nuk shkakton tjetrën. CPU-ja e serverit dhe trafiku i rrjetit mund të rriten në të njëjtën kohë; por njëra nuk është rezultat i tjetrës, të dyja mund të jenë rezultat i një ngjarjeje të tretë (për shembull, fillimi i një pune grupore). Kur AI sheh metrikat që ndryshojnë së bashku, ajo hipotezon "ndoshta X e ka shkaktuar Y". Kjo është një pikënisje, jo një përfundim. Për të verifikuar kauzalitetin, duhet ose të izoloni variablin (të aktivizoni X në mjedisin e testimit dhe të shihni nëse Y ndodh) ose të provoni mekanizmin (tregoni mjetet teknike me të cilat X prodhon Y).
Kujdes: Merreni fjalinë e AI "kjo ndoshta e ka shkaktuar këtë" si një hipotezë, jo një gjetje. Në RCA, shkaku rrënjësor i gabuar çon në korrigjim të gabuar dhe përsëritje të ngjarjes. Ju keni gjetur të dyshuarin e parë, jo shkaktarin; Aty fillon puna.
Hap pas hapi: Analiza e regjistrave me AI
- Kufizoni fushën. Jepni dritaren e ngjarjes, jo të gjithë regjistrin: "ngjarja filloi në orën 14:05, kritike nga ora 14:00–14:20". Tregojini AI-së kohën përkatëse dhe shërbimin.
- Maskë. Regjistrat përmbajnë IP të brendshëm, emrin e hostit, përdoruesin dhe tokenin. Maskojini ato (10.x.x.x, host-A, user1, REDACTED) më pas eksportojeni.
- Kërkoni përmbledhje dhe grupim. "Gruponi këtë regjistër sipas ashpërsisë, numëroni gabimet e përsëritura, gjeni vulën kohore të gabimit të parë." Kërkoni strukturën, jo regjistrin e papërpunuar.
- Vendosni një afat kohor. "Rregulloni këto ngjarje në rend kohor dhe tregoni se çfarë pason." Gjetja e domino-s së parë është rruga drejt shkakut rrënjësor.
- Kërkoni hipoteza, jo prova. "Rendisni shkaqet e mundshme rrënjësore sipas probabilitetit dhe më jep një komandë verifikimi për të ekzekutuar në sistem për secilën." Kërkoni diagnozën, jo rezultatin.
- Verifikoni në sistem. Testoni çdo hipotezë me komanda diagnostikuese vetëm për lexim (log grep, pyetje statusi, metrikë). Eliminoni derisa të ketë vetëm një shkak rrënjësor të konfirmuar.
5 Metoda pse
Mjeti klasik dhe i fuqishëm i RCA është "5 Pse": duke filluar me një simptomë dhe duke pyetur "pse?" pesë herë. Duke pyetur, ju arrini te shkaku rrënjësor nën simptomën sipërfaqësore. Shembull: "Sajti u rrëzua. Pse? Aplikacioni vdiq sepse i mbaroi memoria. Pse? Një pyetje konsumoi të gjithë memorien. Pse? Pyetja nuk përdori një indeks. Pse? Indeksi u fshi në versionin e fundit. Pse? Kjo nuk u vu re në rishikimin e ndryshimeve." Shkaku kryesor nuk është sipërfaqja "siti i rrëzuar" por "procesi i dobët i rishikimit të ndryshimeve". AI do të ishte një partner i mirë në ndërtimin e këtij zinxhiri – por ju duhet të mbështesni çdo hap “pse” me prova reale, ose AI mund të dalë me një zinxhir të besueshëm, por të rremë.
tre mini kuti
Rasti 1 - 40,000 rreshta, 3 minuta. Një administrator kishte filluar të skanonte manualisht 40,000 rreshta të regjistrave të aplikacioneve gjatë një ndërprerjeje gjatë natës. Ai i dha IA-së pjesën përkatëse 20-minutëshe të regjistrit të maskuar dhe kërkoi përmbledhje dhe grupim. AI shënoi defektin e parë të OutOfMemory në orën 02:14, menjëherë pas rritjes së gabimeve të skadimit. Inxhinieri e mori fletën e kohës në 3 minuta; konfirmoi diagnozën origjinale në panelin e vet metrikë.
Rasti 2 - Kthimi nga shkaku rrënjësor i gabuar. Një ekip mendoi se hipoteza e parë e AI ("logët mbushën diskun") ishte e saktë dhe fshiu regjistrat. Por ngjarja u përsërit të nesërmen. Në raundin e dytë, ata zbatuan "5 Pse" me disiplinë: arsyeja e vërtetë ishte se një gabim aplikimi ishte shkrimi i qindra deponive thelbësore në sekondë. Hipoteza e parë ishte korrelacioni; Arsyeja e vërtetë ishte ndryshe. Pranimi pa verifikim kishte dhënë vetëm një pushim njëditor.
Rasti 3 - Afati kohor gjeti fajtorin. Kishte regjistra të dhjetëra pajisjeve gjatë një ndërprerjeje të përhershme të rrjetit. Inxhinieri ia dha regjistrat e maskuar AI-së dhe i kërkoi të krijonte një afat kohor të unifikuar. Grafiku tregoi se çdo ndërprerje filloi saktësisht 30 sekonda pas një mesazhi të kontrollit shëndetësor të ndërprerësit të tepricës. Ky korrelacion ishte një e dhënë e fortë; Ekipi verifikoi gabimin e firmuerit të çelësit në pajisje dhe e zëvendësoi atë.
Katër shabllone të kopjueshëm
1) Përmbledhja dhe grupimi i regjistrave:
Më poshtë është regjistri i maskuar për [shërbimin] nga ora 14:00-14:20. Më thuaj: (1) grupo dhe numëro rreshtat sipas ashpërsisë (GABIM/PARALAJMËRIM/INFO), (2) listo 5 modelet kryesore të gabimeve të përsëritura, (3) gjej vulën kohore të GABIMit të parë. Mos e rishkruani regjistrin e papërpunuar, thjesht jepni një përmbledhje të strukturuar. Shtimi i një linje të krijuar. Regjistri: [regjistri i maskuar]
2) Vendosja e një afati kohor:
Ne rregulluam regjistrimet e mëposhtme të maskuara të ngjarjeve në një afat kohor të vetëm (vula kohore + burimi + ngjarje). Tregoni çfarë pason dhe shënoni ngjarjen që duket të jetë shkasja e parë. Vini re se kjo është një HIPOTEZË dhe kauzaliteti duhet verifikuar. Regjistrimet: [incizime të maskuara]
3) 5 arsye pse partneri i RCA:
Roli juaj: lehtësues i RCA-së. Simptoma: [simptomë]. Bëni "5 Pse" me mua: një "pse?" në çdo hap. Pyet, unë do të përgjigjem me provat që kam, ju bëni pyetjen tjetër. Nëse provat e mia janë të dobëta, më paralajmëroni dhe më tregoni se çfarë të dhënash duhet të mbledh. Mos e deklaroni shkakun rrënjësor pa prova.
4) Hipoteza + komanda verifikimi:
Rendisni shkaqet e mundshme rrënjësore për këtë simptomë [simptomë] sipas probabilitetit. Për secilën arsye: (a) çfarë dyshoni, (b) më jepni një komandë verifikimi VETËM PËR LEXUAR për të ekzekutuar në sistemin tim (pa fshirje/ndryshim). Shpjegoni se cili rezultat konfirmon ose hedh poshtë hipotezën.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Çfarë nuk shkon me këtë regjistër? [10,000 rreshta trungu të papërpunuar]
Kjo nxit si rrjedhjen e të dhënave të ndjeshme të demaskuara dhe e lë AI pa kontekst. AI mund të pengohet në një vijë të rastësishme dhe të japë një arsye sipërfaqësore apo edhe të sajuar.
Njoftim i fuqishëm:
Roli juaj: SRE i lartë. Ngjarja: shërbimi i pagesës dha 50% gabim midis orës 02:10-02:25. Më poshtë është regjistri i maskuar i asaj dritareje. Më jep (1) përmbledhjen e grupuar sipas ashpërsisë, (2) vulën kohore të gabimit të parë, (3) shkaqet e mundshme rrënjësore sipas probabilitetit dhe një komandë verifikimi vetëm për lexim për secilin. Shënoni pretendimet e shkakësisë si hipoteza. Regjistri: [regjistri i maskuar]
hap
Qëllimi
Roli i AI
roli i njeriut
Përmbledhje/grupim
zvogëloni zhurmën
Konfigurimi i mijëra rreshtave
Përcaktoni qëllimin dhe maskën
afati kohor
Gjetja e domino-s së parë
renditja e ngjarjeve
Vërtetoni pullat
gjenerimi i hipotezave
renditjen e të dyshuarve
listoni mundësitë
filtro sipas kontekstit
verifikimi
gjeni arsyen e vërtetë
Sugjeroni komandën diagnostikuese
Ekzekutoni komandën dhe komentoni atë
vendim
Zgjedhja për të rregulluar
ofrojnë opsione
Merrni vendimin dhe konfirmoni
Gabimet e zakonshme
- Gabimi i korrelacionit për shkakun. Pranimi i dy metrikave që ndryshojnë së bashku pasi "njëra shkaktoi tjetrën" prodhon korrigjim të rremë.
- Ngjitja e trungut të papërpunuar pa maskë. Dhënia e regjistrit që përmban IP, token dhe përdorues në një mjet të hapur është një shkelje e sigurisë.
- Deklarimi i hipotezës së parë si shkaku kryesor. Pranimi i sugjerimit të parë të AI pa e verifikuar është një ftesë për një përsëritje të ngjarjes.
- Eksportimi i të gjithë regjistrit. Regjistri i madh pa kontekst e lidh AI në një linjë të rastësishme; Palos në dritaren e ngjarjes.
- 5 arsye pa prova. Nëse nuk e kopjoni çdo hap "pse" me të dhëna reale, do të përfundoni me një zinxhir të besueshëm, por të sajuar.
Këshillë: Përpara se të përfundoni një RCA, pyesni "nëse ky shkak kryesor është rregulluar, a nuk do të ndodhë përsëri?" Bëj pyetjen. Nëse përgjigja është "ndoshta", nuk keni arritur ende te shkaku kryesor; Pyete një tjetër "pse".
Në përmbledhje
Analiza e regjistrave ka të bëjë me gjetjen e sinjalit në një oqean zhurmash; AI përmbledh dhe strukturon këtë oqean në sekonda, vendos një afat kohor dhe gjeneron hipoteza. Por korrelacioni nuk është shkakësi: shkaku i sugjeruar nga AI është një dyshim fillestar, jo një gjetje derisa të konfirmohet. Mblidhni regjistrin në dritaren e ngjarjes, maskoni atë, kërkoni strukturën, gërmoni thellë me "5 Pse" dhe provoni çdo hipotezë në sistem me komanda vetëm për lexim. Ju jeni ai që gjen shkakun rrënjësor dhe konfirmon rregullimin; AI është shoqëruesi juaj.
Detyra e aplikimit
Merrni regjistrat e një ngjarjeje të kaluar (ose një ngjarje testimi), paloseni atë në dritaren e ngjarjes dhe maskoni çdo zonë të ndjeshme. Kërkoni një përmbledhje dhe plan nga AI me shabllonet "Përmbledhja e regjistrave" dhe "Kronologjia" më sipër. Pastaj kaloni nga simptoma në shkakun rrënjësor me shabllonin "5 Arsyet e partnerit RCA"; Shkruani provat tuaja për çdo hap. Së fundi, testoni hipotezën fillestare të AI me një komandë verifikimi dhe regjistroni nëse ajo është konfirmuar apo hedhur poshtë. Përmblidheni procesin në 6 pika.
listë kontrolli
- [ ] A e kam shembur regjistrin në dritaren e ngjarjeve dhe a kam maskuar zonat e ndjeshme?
- [ ] A i kërkova AI një përmbledhje dhe afat kohor të strukturuar, jo një regjistër të papërpunuar?
- [ ] A i kam shënuar pretendimet e shkakësisë së AI si hipoteza?
- [ ] A e kam testuar çdo hipotezë në sistem me një komandë verifikimi vetëm për lexim?
- [ ] A e kam mbështetur çdo hap të “5 Pse-ve” me prova reale?
- [ ] A e vura në dyshim dhe a vendosa nëse shkaku kryesor do ta parandalonte në të vërtetë ngjarjen?