L-Analiżi tal-Lokk u l-Analiżi tal-Kawża ta' l-Għeruq: Is-Sejba tas-Sinjal fl-Istorbju

Qligħ:

• Sib malajr sinjal fl-istorbju billi tuża AI biex tiġbor fil-qosor, grupp u zkuk tal-ħin
• Kapaċità li tissepara l-korrelazzjoni u l-kawżalità u tittratta s-suġġerimenti tal-kawża ewlenija tal-intelliġenza artifiċjali bħala ipoteżijiet li jeħtieġ li jiġu vverifikati
• Kapaċità li tasal għall-kawża ewlenija billi tħaddem il-metodu '5 Għaliex' b'intelliġenza artifiċjali u tappoġġja kull pass b'evidenza reali

L-Analiżi tal-Lokk u l-Analiżi tal-Kawża Għerq: Is-Sejba tas-Sinjal fl-Istorbju bl-AI

Meta sistema tiġġarraf, l-ewwel post li tħares huma z-zkuk. Log huwa fluss ta 'test li jżomm rekord bil-ħin ta' "dak li għamilt, x'ġara, x'kisser" ta 'sistema jew applikazzjoni. Iżda infrastruttura moderna tipproduċi miljuni ta 'linji ta' zkuk fis-siegħa; mhuwiex baħar ta 'informazzjoni, iżda ħafna drabi oċean ta' storbju. L-analiżi taz-zkuk hija l-arti li ssib is-sinjal importanti (żball, anormalità, mudell) f'dan il-ħoss. Il-proċess tat-tweġiba għall-mistoqsija "x'kienet il-kawża reali" wara avveniment jissejjaħ analiżi tal-kawża ewlenija (RCA - Root Cause Analysis). Hawnhekk, l-AI hija b'saħħitha ħafna biex tiġbor fil-qosor eluf ta 'linji kull sekonda, tiġbed mudelli, tistabbilixxi skedi ta' żmien u telenka kawżi possibbli. Iżda kelma ta 'kawtela: AI tiġġenera kawżi possibbli; Int dak li tivverifika fis-sistema liema waħda hija reali u tieħu d-deċiżjoni.

F'din l-unità inti titgħallem kif tiġbor fil-qosor b'mod kunfidenti zkuk bl-AI, kif tistabbilixxi skeda ta 'żmien ta' avveniment, kif tiddistingwi bejn korrelazzjoni (bdil flimkien) u kawżalità (waħda tikkawża l-oħra), u kif tmexxi metodu RCA bħall-"5 Whys" bl-AI.

Għaliex il-korrelazzjoni mhix kawżalità?

Dan huwa l-aktar kunċett kritiku ta 'din l-unità. Sempliċement għax żewġ avvenimenti jseħħu fl-istess ħin, wieħed ma jikkawżax l-ieħor. Is-CPU u t-traffiku tan-netwerk ta' server jistgħu jiżdiedu fl-istess ħin; iżda wieħed mhuwiex ir-riżultat tal-ieħor, it-tnejn jistgħu jkunu r-riżultat ta 'tielet avveniment (per eżempju, il-bidu ta' xogħol ta 'lott). Meta l-AI tara l-metriċi jinbidlu flimkien, hija ipoteżi "probabbilment X ikkawżat Y." Dan huwa punt tat-tluq, mhux konklużjoni. Biex tivverifika l-kawżalità, trid jew tiżola l-varjabbli (trigger X fl-ambjent tat-test u tara jekk jiġrix Y) jew tipprova l-mekkaniżmu (uri l-mezzi tekniċi li bihom X jipproduċi Y).

Attenzjoni: Ħu s-sentenza tal-AI "dan probabbilment ikkawża dan" bħala ipoteżi, mhux sejba. F'RCA, kawża ewlenija mhux korretta twassal għal korrezzjoni u rikorrenza żbaljata tal-avveniment. Int sibt l-ewwel suspettat, mhux il-kawża; Ix-xogħol jibda hemm.

Pass pass: Analiżi log bl-AI

1. Dejjaq l-ambitu. Agħti t-tieqa tal-avveniment, mhux ir-reġistru kollu: "l-avveniment beda f'14:05, kritiku mill-14:00–14:20". Għid lill-AI is-slot tal-ħin u s-servizz rilevanti.
2. Maskra. Iċ-zkuk fihom IP intern, isem tal-host, utent u token. Maskrahom (10.x.x.x, host-A, user1, REDACTED) imbagħad esporta.
3. Talba sommarju u grupp. "Aggruppa dan il-ġurnal skont is-severità, għodd l-iżbalji rikorrenti, sib it-timbru taż-żmien tal-ewwel żball." Staqsi għall-istruttura, mhux il-ġurnal mhux maħdum.
4. Stabbilixxi timeline. "Irranġa dawn l-avvenimenti f'ordni ta 'żmien u uri dak li jsegwi xiex." Is-sejba tal-ewwel domino hija t-triq għall-kawża ewlenija.
5. Itlob għal ipoteżi, mhux evidenza. "Elenka l-kawżi ewlenin possibbli f'ordni ta 'probabbiltà u agħtini kmand ta' verifika biex inħaddem fis-sistema għal kull wieħed." Staqsi għad-dijanjosi, mhux ir-riżultat.
6. Ivverifika fis-sistema. Ittestja kull ipoteżi bi kmandi dijanjostiċi li jinqraw biss (log grep, mistoqsija dwar l-istatus, metrika). Elimina sakemm ikun hemm kawża ewlenija kkonfermata waħda biss.

5 Għaliex metodu

L-għodda klassika u qawwija ta 'RCA hija l-"5 Whys": tibda b'sintomu wieħed u tistaqsi "għaliex?" ħames darbiet. Billi tistaqsi, tasal għall-kawża ewlenija taħt is-sintomu tal-wiċċ. Eżempju: "Is-sit ġġarraf. Għaliex? L-applikazzjoni mietet minħabba li spiċċat mingħajr memorja. Għaliex? Mistoqsija kkunsmat il-memorja kollha. Għaliex? Il-mistoqsija ma użatx indiċi. Għaliex? L-indiċi tħassar fl-aħħar rilaxx. Għaliex? Dan ma kienx innutat fir-reviżjoni tal-bidla." Il-kawża ewlenija mhix il-wiċċ "is-sit ġġarraf" iżda "proċess ta 'reviżjoni tal-bidla dgħajfa". L-AI tkun sieħeb tajjeb fil-bini ta 'din il-katina - iżda trid tappoġġja kull pass "għaliex" b'evidenza reali, jew l-AI tista' toħroġ b'katina plawżibbli iżda falza.

tliet każijiet żgħar

Każ 1 — 40,000 linja, 3 minuti. Amministratur kien beda skannja manwalment 40,000 linja ta 'ġurnali tal-applikazzjoni waqt qtugħ ta' matul il-lejl. Huwa ta l-parti rilevanti ta’ 20 minuta tar-reġistru mgħotti lill-AI u talab sommarju u grupp. AI mmarkat l-ewwel bug OutOfMemory f'02:14, eżatt wara ż-żieda fil-bugs tal-timeout. L-inġinier irċieva l-karta tal-ħin fi 3 minuti; ikkonferma d-dijanjosi oriġinali fuq il-pannell metriku tiegħu stess.

Każ 2 — Ritorn mill-kawża ewlenija ħażina. Tim ħaseb li l-ewwel ipoteżi tal-AI ("zkuk imlew id-disk") kienet korretta u kklerja ż-zkuk. Iżda l-inċident rrepeta l-għada. Fit-tieni rawnd, implimentaw il-"5 Whys" b'dixxiplina: ir-raġuni vera kienet li żball ta 'applikazzjoni kien qed jikteb mijiet ta' dumps tal-qalba kull sekonda. L-ewwel ipoteżi kienet korrelazzjoni; Ir-raġuni vera kienet differenti. Aċċettazzjoni mingħajr verifika kienet ipprovdiet biss tregwa ta' ġurnata waħda.

Każ 3 — Timeline sabet il-ħati. Kien hemm zkuk ta 'għexieren ta' apparati waqt qtugħ intermittenti tan-netwerk. L-inġinier ta zkuk moħbija lill-AI u qabadha toħloq skeda ta’ żmien unifikata. It-tabella wriet li kull qtugħ beda eżattament 30 sekonda wara messaġġ ta’ kontroll tas-saħħa ta’ swiċċ ta’ redundancy. Din il-korrelazzjoni kienet ħjiel qawwi; It-tim ivverifika l-iżball tal-firmware taċ-ċavetta fuq l-apparat u biddelha.

Erba' mudelli li jistgħu jiġu kkupjati

1) Sommarju tal-log u raggruppament:

Hawn taħt hawn ir-reġistru mgħotti għal [servizz] mill-14:00-14:20. Għidli: (1) iggruppa u għodd il-linji skont is-severità (ERROR/WARN/INFO), (2) elenka l-aqwa 5 mudelli ta 'żball rikorrenti, (3) sib it-timestamp tal-ewwel ŻBALL. Tiktebx mill-ġdid il-ġurnal mhux ipproċessat, agħti biss sommarju strutturat. Żieda ta' linja magħmula.Log: [log masked]

2) Twaqqif ta' skeda ta' żmien:

Irranġajna r-rekords tal-avvenimenti mgħottija li ġejjin f'linja tal-ħin waħda (timestamp + sors + avveniment). Uri dak li jsegwi xiex u mmarka l-avveniment li jidher li hu l-ewwel trigger. Innota li din hija IPOTESI u l-kawżalità trid tiġi vverifikata. Reġistrazzjonijiet: [reġistrazzjonijiet mgħottija]

3) 5 Raġunijiet sieħeb RCA:

Ir-rwol tiegħek: faċilitatur RCA. Sintomu: [sintomu]. Agħmel il-"5 Għaliex" miegħi: "għaliex?" f'kull pass. Staqsi, jien se nwieġeb bl-evidenza li għandi, inti tistaqsi l-mistoqsija li jmiss. Jekk l-evidenza tiegħi hija dgħajfa, wissini u għidli liema data għandi bżonn niġbor. Tiddikjarax kawża ewlenija mingħajr evidenza.

4) Ipoteżi + kmand tal-verifika:

Elenka l-kawżi ewlenin possibbli għal dan is-sintomu [sintomu] f'ordni ta' probabbiltà. Għal kull raġuni: (a) x'ssuspetta, (b) agħtini kmand ta' verifika BISS biex inħaddem fis-sistema tiegħi (l-ebda tħassir/bidla). Spjega liema riżultat jikkonferma jew jikkonferma l-ipoteżi.

Pront dgħajjef / Pront qawwi

Pront dgħajjef:

X'hemm ħażin f'dan il-ġurnal? [10,000 linja ta 'ġurnal mhux maħdum]

Dan il-pront kemm tnixxi dejta sensittiva mikxufa kif ukoll iħalli l-AI mingħajr kuntest. L-AI tista' tfixkel fuq linja każwali u tagħti raġuni superfiċjali jew saħansitra magħmula.

Pront qawwi:

Ir-rwol tiegħek: SRE anzjan. Avveniment: servizz ta 'ħlas ta żball ta' 50% bejn 02:10-02:25. Hawn taħt hemm il-ġurnal mgħotti ta' dik it-tieqa. Agħtini (1) is-sommarju raggruppat skont is-severità, (2) il-timestamp tal-ewwel żball, (3) il-kawżi ewlenin possibbli f'ordni ta 'probabbiltà, u kmand ta' verifika li jinqara biss għal kull wieħed. Immarka t-talbiet tal-kawżalità bħala ipoteżi. Log: [log masked]

pass

Għan

Rwol tal-AI

ir-rwol tal-bniedem

Sommarju/raggruppament

tnaqqas l-istorbju

Konfigurazzjoni ta 'eluf ta' ringieli

Iddetermina l-ambitu u l-maskra

timeline

Sib l-ewwel domino

issortjar avvenimenti

Ivvalida l-bolol

ġenerazzjoni ta' ipoteżi

issortjar is-suspettati

elenka l-possibbiltajiet

iffiltra skond il-kuntest

verifika

issib ir-raġuni vera

Issuġġerixxi kmand dijanjostiku

Mexxi l-kmand u kkummenta

deċiżjoni

Għażla li tiffissa

joffru għażliet

Ħu d-deċiżjoni u kkonferma

Żbalji komuni

• Korrelazzjoni żbaljata għall-kawżalità. Li taċċetta żewġ metriċi li jinbidlu flimkien peress li "wieħed ikkawża l-ieħor" jipproduċi korrezzjoni falza.
• Twaħħal il-ġurnal mhux ipproċessat mingħajr maskra. L-għoti tal-ġurnal li fih l-IP, it-token u l-utent lil għodda miftuħa huwa ksur tas-sigurtà.
• Iddikjara l-ewwel ipoteżi bħala l-kawża ewlenija. Li taċċetta l-ewwel suġġeriment tal-AI mingħajr ma tivverifikah hija stedina għal ripetizzjoni tal-avveniment.
• Esportazzjoni tal-ġurnal kollu. Log enormi mingħajr kuntest jwaħħal l-AI f'linja każwali; Kollass għat-tieqa tal-avveniment.
• 5 Raġunijiet Mingħajr Evidenza. Jekk ma tagħtix back-up kull pass "għaliex" b'dejta reali, tispiċċa b'katina plawżibbli iżda magħmula.

Tip: Qabel ittemm RCA, staqsi "jekk din il-kawża ewlenija hija fil-fatt irranġata, mhux se jerġa' jiġri?" Staqsi l-mistoqsija. Jekk it-tweġiba hija "forsi," għadek ma wasaltx għall-kawża ewlenija; Staqsi ieħor "għaliex".

Fil-qosor

L-analiżi taz-zkuk hija dwar is-sejba tas-sinjal f'oċean ta' storbju; L-AI tiġbor fil-qosor u tistruttura dan l-oċean f'sekondi, tistabbilixxi skeda ta' żmien u tiġġenera ipoteżijiet. Iżda korrelazzjoni mhix kawżalità: il-kawża ssuġġerita mill-AI hija suspett inizjali, mhux sejba sakemm tiġi kkonfermata. Ikkollassa l-log fit-tieqa tal-avveniment, maskraha, staqsi għall-istruttura, ħaffer fil-fond bil-"5 Whys" u ttestja kull ipoteżi fuq is-sistema bi kmandi li jinqraw biss. Int dak li ssib il-kawża ewlenija u tikkonferma t-tiswija; AI hija l-ħbieb tiegħek.

Kompitu ta' applikazzjoni

Ħu r-reġistri ta 'avveniment tal-passat (jew avveniment tat-test), ikkollassah fit-tieqa tal-avveniment, u maskra kwalunkwe żona sensittiva. Itlob sommarju u skeda mill-AI bil-"Sommarju tal-ġurnal" u "Kronoloġija" hawn fuq. Imbagħad imxi minn sintomu għal kawża ewlenija bil-mudell "5 Raġunijiet sieħeb RCA"; Ikteb l-evidenza tiegħek għal kull pass. Fl-aħħarnett, ittestja l-ipoteżi inizjali tal-AI bi kmand ta' verifika u rrekordja jekk hijiex ikkonfermata jew inċaħda. Agħti fil-qosor il-proċess f'6 oġġetti.

lista ta' kontroll

• [ ] Qabt il-log fit-tieqa tal-avveniment u mgħotti żoni sensittivi?
• [ ] Staqsejt lill-AI għal sommarju strutturat u skeda ta' żmien, mhux reġistru mhux maħdum?
• [ ] Immarkajt it-talbiet ta' kawżalità ta' AI bħala ipoteżi?
• [ ] Ittestjajt kull ipoteżi fuq is-sistema bi kmand ta' verifika li jinqara biss?
• [ ] Appoġġajt kull pass tal-“5 Għaliex” b'evidenza reali?
• [ ] Staqsejt u ħadt id-deċiżjoni jekk il-kawża ewlenija kinitx fil-fatt tipprevjeni l-avveniment?