Logi analüüs ja algpõhjuste analüüs: signaali leidmine mürast

Kasu:

• Leidke kiiresti signaal mürast, kasutades tehisintellekti kokkuvõtete tegemiseks, rühmitamiseks ja ajaskaala logide tegemiseks
• Võimalus eraldada korrelatsioon ja põhjuslik seos ning käsitleda tehisintellekti algpõhjuste soovitusi hüpoteesidena, mida tuleb kontrollida
• Võimalus jõuda tõelise algpõhjuseni, kasutades tehisintellektiga meetodit „5 Miks” ja toetades iga sammu tõeliste tõenditega

Logianalüüs ja algpõhjuste analüüs: mürast signaali leidmine tehisintellektiga

Kui süsteem jookseb kokku, vaatate kõigepealt logisid. Logi on tekstivoog, mis salvestab ajatempliga süsteemi või rakenduse "mida ma tegin, mis juhtus, mis läks katki". Kuid kaasaegne infrastruktuur toodab miljoneid ridu palke tunnis; see ei ole infomeri, vaid sageli müraookean. Logianalüüs on kunst leida selles müras oluline signaal (viga, ebanormaalsus, muster). Küsimusele "mis oli tegelik põhjus" pärast sündmust vastamise protsessi nimetatakse algpõhjuste analüüsiks (RCA – Root Cause Analysis). Siin on AI väga võimas tuhandete joonte sekundis kokkuvõtete tegemisel, mustrite eraldamisel, ajakavade määramisel ja võimalike põhjuste loetlemisel. Kuid hoiatus: AI tekitab võimalikke põhjuseid; Teie olete see, kes kontrollib süsteemis, milline neist on tõeline, ja teeb otsuse.

Selles üksuses saate teada, kuidas tehisintellektiga logisid enesekindlalt kokku võtta, kuidas luua sündmuse ajaskaala, kuidas teha vahet korrelatsioonil (koos muutumisel) ja põhjuslikul seosel (üks põhjustab teise) ning kuidas käivitada tehisintellektiga RCA meetodit, näiteks "5 miks".

Miks korrelatsioon ei ole põhjuslik seos?

See on selle üksuse kõige kriitilisem kontseptsioon. Lihtsalt sellepärast, et kaks sündmust toimuvad samal ajal, ei põhjusta üks teist. Serveri protsessor ja võrguliiklus võivad samal ajal suureneda; kuid üks ei ole teise tulemus, mõlemad võivad olla kolmanda sündmuse (näiteks pakktöö alguse) tulemus. Kui tehisintellekt näeb mõõdikuid koos muutumas, oletab see, et X põhjustas tõenäoliselt Y. See on lähtepunkt, mitte järeldus. Põhjusliku seose kontrollimiseks peate kas isoleerima muutuja (käivitage testimiskeskkonnas X ja vaadake, kas Y juhtub) või tõestama mehhanismi (näidake tehnilisi vahendeid, mille abil X tekitab Y).

Ettevaatust. Võtke tehisintellekti lauset "see tõenäoliselt põhjustas selle" hüpoteesi, mitte leiuna. RCA korral põhjustab vale algpõhjus ebaõiget korrigeerimist ja sündmuse kordumist. Olete leidnud esimese kahtlusaluse, mitte põhjuse; Töö algab sealt.

Samm-sammult: logianalüüs AI-ga

1. Kitsendage ulatust. Esitage sündmuse aken, mitte kogu logi: "sündmus algas 14:05, kriitiline 14:00–14:20". Öelge tehisintellektile asjakohane ajapilu ja teenus.
2. Mask. Logid sisaldavad sisemist IP-aadressi, hostinime, kasutajat ja luba. Maskeerige need (10.x.x.x, host-A, user1, REDACTED) ja seejärel eksportige.
3. Taotle kokkuvõtet ja rühmitamist. "Grupeerige see logi tõsiduse järgi, loendage korduvad vead, leidke esimese vea ajatempel." Küsi struktuuri, mitte toorpalki.
4. Seadistage ajaskaala. "Korraldage need sündmused ajas ja näidake, mis millele järgneb." Esimese doomino leidmine on tee algpõhjuse juurde.
5. Küsige hüpoteesi, mitte tõendeid. "Loetlege võimalikud algpõhjused tõenäosuse järjekorras ja andke mulle iga kord süsteemis käitamiseks kinnituskäsk." Küsi diagnoosi, mitte tulemust.
6. Kontrollige süsteemis. Testige iga hüpoteesi kirjutuskaitstud diagnostikakäskudega (log grep, olekupäring, mõõdik). Kõrvaldage, kuni on olemas ainult üks kinnitatud algpõhjus.

5 Miks meetod

RCA klassikaline ja võimas tööriist on "5 Miks": alustades ühest sümptomist ja küsides "miks?" viis korda. Küsides jõuate pinnasümptomite all oleva algpõhjuseni. Näide: "Sait jooksis kokku. Miks? Rakendus suri, kuna mälu sai otsa. Miks? Päring võttis kogu mälu. Miks? Päring ei kasutanud indeksit. Miks? Indeks kustutati viimases versioonis. Miks? Seda ei märgatud muudatuste ülevaates." Algpõhjus ei ole pinnapealne "sait jooksis kokku", vaid "nõrgade muudatuste läbivaatamise protsess". Tehisintellekt oleks selle ahela ülesehitamisel hea partner – kuid peate iga "miks"-sammu varundama tõeliste tõenditega, vastasel juhul võib tehisintellekt välja pakkuda usutava, kuid vale ahela.

kolm minikarpi

Juhtum 1 – 40 000 rida, 3 minutit. Administraator oli üleöise katkestuse ajal hakanud käsitsi skannima 40 000 rakenduste logide rida. Ta andis vastava 20-minutilise osa maskeeritud logist AI-le ning palus kokkuvõtet ja rühmitamist. AI märgistas esimese OutOfMemory vea kell 02:14, kohe pärast suurenenud ajalõpu vigu. Insener sai ajalehe kätte 3 minutiga; kinnitas algse diagnoosi oma meetrilisel paneelil.

Juhtum 2 – naasmine vale algpõhjuse tõttu. Töörühm arvas, et tehisintellekti esimene hüpotees ("logid täitsid ketta") oli õige ja kustutas logid. Kuid juhtum kordus järgmisel päeval. Teises voorus rakendasid nad "5 Miks" distsipliiniga: tegelik põhjus oli see, et rakenduse viga oli sadade tuumade prügimägede kirjutamine sekundis. Esimene hüpotees oli korrelatsioon; Tegelik põhjus oli hoopis teine. Nõustumine ilma kontrollita andis vaid ühepäevase ajapikenduse.

Juhtum 3 – ajaskaala leidis süüdlase. Vahelduva võrgukatkestuse ajal oli logisid kümnetest seadmetest. Insener andis maskeeritud logid AI-le ja lasi sellel luua ühtse ajaskaala. Diagramm näitas, et iga katkestus algas täpselt 30 sekundit pärast koondamislüliti tervisekontrolli sõnumit. See korrelatsioon oli tugev vihje; Meeskond kontrollis seadme võtme püsivara viga ja asendas selle.

Neli kopeeritavat malli

1) Logi kokkuvõte ja rühmitamine:

Allpool on maskeeritud logi [teenuse] jaoks ajavahemikus 14:00-14:20. Öelge mulle: (1) rühmitage ja loendage read tõsiduse järgi (ERROR/WARN/INFO), (2) loetlege 5 peamist korduvat veamustrit, (3) leidke esimese VEA ajatempel. Ärge kirjutage töötlemata logi ümber, tehke lihtsalt struktureeritud kokkuvõte. Koostatud rea lisamine.Logi: [maskitud logi]

2) Ajaskaala seadistamine:

Järjestasime järgmised maskeeritud sündmuste kirjed üheks ajaskaalaks (ajatempel + allikas + sündmus). Näidake, mis millele järgneb, ja märkige sündmus, mis näib olevat esimene käivitaja. Pange tähele, et see on HÜPOTEES ja põhjuslikku seost tuleb kontrollida. Salvestised: [maskeeritud salvestised]

3) 5 põhjust, miks RCA partner:

Teie roll: RCA abistaja. Sümptom: [sümptom]. Kas "5 Miks" koos minuga: "miks?" igal sammul. Küsi, ma vastan nende tõenditega, mis mul on, sina esitad järgmise küsimuse. Kui minu tõendid on nõrgad, hoiatage mind ja öelge, milliseid andmeid ma pean koguma. Ärge kuulutage algpõhjust ilma tõenditeta.

4) Hüpotees + kontrollimiskäsk:

Loetlege selle sümptomi võimalikud algpõhjused [sümptom] tõenäosuse järjekorras. Igal põhjusel: (a) mida te kahtlustate, (b) andke mulle süsteemis käitamiseks ONLY REACH-kinnituskäsk (kustuta/muutmata). Selgitage, milline tulemus hüpoteesi kinnitab või kummutab.

Nõrk viip / Tugev viip

Nõrk viip:

Mis sellel logil viga on? [10 000 rida töötlemata logi]

See viip lekib tundlikke andmeid paljastamata ja jätab tehisintellekti ilma kontekstita. AI võib komistada juhuslikule joonele ja anda pealiskaudse või isegi väljamõeldud põhjuse.

Võimas viip:

Sinu roll: vanem SRE. Sündmus: makseteenus andis 50% vea vahemikus 02:10-02:25. Allpool on selle akna maskeeritud logi. Andke mulle (1) tõsiduse järgi rühmitatud kokkuvõte, (2) esimese vea ajatempel, (3) võimalikud algpõhjused tõenäosuse järjekorras ja kirjutuskaitstud kinnituskäsk igaühe jaoks. Märkige põhjuslikkuse väited hüpoteesideks. Logi: [maskeeritud logi]

samm

Eesmärk

AI roll

mehe roll

Kokkuvõte/rühmitus

vähendada müra

Tuhandete ridade seadistamine

Määrake ulatus ja mask

ajaskaala

Esimese doomino leidmine

sündmuste sorteerimine

Kinnitage templid

hüpoteesi genereerimine

kahtlustatavate sorteerimine

loetlege võimalused

filtreerida konteksti järgi

kontrollimine

leida tõeline põhjus

Soovitage diagnostikakäsku

Käivitage käsk ja kommenteerige seda

otsus

Parandamise valimine

pakkuda võimalusi

Tehke otsus ja kinnitage

Levinud vead

• Põhjusliku seose eksimine. Kahe mõõdiku aktsepteerimine, mis muutuvad koos kui "üks põhjustas teise", toob kaasa valeparanduse.
• Toorpalgi kleepimine ilma maskita. IP-d, tunnust ja kasutajat sisaldava logi andmine avatud tööriistale on turvarikkumine.
• Esimese hüpoteesi kuulutamine algpõhjuseks. Tehisintellekti esimese soovituse vastuvõtmine ilma seda kinnitamata kutsub sündmust kordama.
• Kogu logi eksportimine. Hiiglaslik ilma kontekstita logi ühendab AI juhuslikku rida; Ahenda sündmuse aknasse.
• 5 põhjust ilma tõenditeta. Kui te ei varunda iga "miks" sammu tegelike andmetega, saate tulemuseks usutava, kuid väljamõeldud ahela.

Näpunäide. Enne RCA lõpetamist küsige: "Kui see algpõhjus on tegelikult kõrvaldatud, kas see ei kordu?" Esitage küsimus. Kui vastus on "võib-olla", pole te veel algpõhjuseni jõudnud; Küsige teiselt "miks".

Kokkuvõttes

Logianalüüs on signaali leidmine müra ookeanist; Tehisintellekt võtab selle ookeani sekunditega kokku ja struktureerib, loob ajaskaala ja loob hüpoteese. Kuid korrelatsioon ei ole põhjuslik seos: AI pakutud põhjus on esialgne kahtlus, mitte leid, kuni see pole kinnitatud. Ahendage logi sündmuste aknasse, maskeerige see, küsige struktuuri, uurige sügavat "5 Miks" ja testige iga hüpoteesi süsteemis kirjutuskaitstud käskudega. Sina oled see, kes leiab algpõhjuse ja kinnitab lahenduse; AI on teie kaaslane.

Rakenduse ülesanne

Võtke minevikusündmuse (või testsündmuse) logid, ahendage see sündmuse aknasse ja maskeerige tundlikud alad. Taotlege tehisintellektilt kokkuvõtet ja ajakava ülalolevate mallide „Logi kokkuvõte” ja „Ajaskaala” abil. Seejärel liikuge malliga „5 põhjust RCA partner” sümptomite juurest algpõhjuse juurde; Kirjutage iga sammu kohta oma tõendid. Lõpuks testige AI esialgset hüpoteesi kontrollimiskäsuga ja registreerige, kas see on kinnitatud või ümber lükatud. Tehke protsess kokku 6 punktis.

kontrollnimekiri

• [ ] Kas ma ahendasin logi sündmuse aknasse ja maskeerisin tundlikud alad?
• [ ] Kas ma küsisin AI-lt struktureeritud kokkuvõtet ja ajaskaala, mitte töötlemata logi?
• [ ] Kas olen märkinud AI põhjuslikkuse väited hüpoteesideks?
• [ ] Kas ma olen testinud iga hüpoteesi süsteemis kirjutuskaitstud kinnituskäsuga?
• [ ] Kas olen toetanud iga sammu "5 Miks" tõeliste tõenditega?
• [ ] Kas ma küsisin ja otsustasin, kas algpõhjus tõesti takistab sündmust?