Uru:
- Chọta mgbaàmà ngwa ngwa na mkpọtụ site na iji AI iji chịkọta, otu na ndekọ usoro iheomume
- Ikike ikewa mmekọrịta na ihe kpatara ya na ịgwọ isi ihe kpatara ọgụgụ isi na-atụ aro dị ka echiche ndị achọrọ ka enyocha ya.
- Ikike ị nweta ezigbo ihe kpatara ya site na iji ọgụgụ isi na-akwado usoro '5 Why' na iji ezigbo akaebe na-akwado usoro ọ bụla.
Nyochaa ndekọ na nyocha ihe kpatara mgbọrọgwụ: Ịchọta akara na mkpọtụ na AI
Mgbe sistemụ dara, ebe mbụ ị na-ele anya bụ ndekọ. Log bụ iyi ederede na-edobe ndekọ nke "ihe m mere, ihe mere, ihe mebiri" nke sistemu ma ọ bụ ngwa. Mana akụrụngwa ọgbara ọhụrụ na-emepụta ọtụtụ nde ahịrị osisi kwa elekere; ọ bụghị oké osimiri nke ozi, ma ọtụtụ mgbe oké osimiri nke mkpọtụ. Nyocha ndekọ bụ nkà nke ịchọta mgbaàmà dị mkpa (njehie, ihe na-adịghị mma, ụkpụrụ) na ụzụ a. Usoro ịza ajụjụ a "gịnị bụ ihe kpatara ya" mgbe ihe omume gasịrị, a na-akpọ nyocha ihe kpatara mgbọrọgwụ (RCA - Root Cause Analysis). N'ebe a, AI dị ike nke ukwuu n'ịchịkọta puku kwuru puku ahịrị kwa sekọnd, wepụta usoro, guzobe usoro iheomume na depụta ihe nwere ike ime. Ma okwu ịdọ aka ná ntị: AI na-emepụta ihe nwere ike ime; Ị bụ onye na-enyocha na usoro nke dị adị ma mee mkpebi ahụ.
Na nke a unit ị ga-amụta otú iji obi ike chịkọta ndekọ na AI, otú e si guzobe usoro iheomume nke ihe omume, otú e si dị iche n'etiti mmekọrịta (ịgbanwe ọnụ) na ihe kpatara (otu na-akpata nke ọzọ), na otú na-agba ọsọ RCA usoro dị ka "5 Whys" na AI.
Gịnị kpatara na mmekọrịta abụghị ihe kpatara ya?
Nke a bụ echiche kachasị dị egwu nke otu a. Naanị n'ihi na ihe abụọ na-eme n'otu oge, otu adịghị akpata nke ọzọ. CPU nke ihe nkesa na okporo ụzọ netwọk nwere ike ịbawanye n'otu oge; ma otu abụghị ihe si na nke ọzọ, ha abụọ nwere ike ịbụ n'ihi nke atọ omume (dịka ọmụmaatụ, mmalite nke a batch ọrụ). Mgbe AI hụrụ metrik na-agbanwe ọnụ, ọ na-eche "ikekwe X kpatara Y." Nke a bụ mmalite, ọ bụghị nkwubi okwu. Iji chọpụta ihe kpatara ya, ịkwesịrị ịwepụ mgbanwe ahụ (kpalite X na gburugburu ule wee hụ ma Y emee) ma ọ bụ gosi usoro ahụ (gosi ụzọ teknụzụ X si emepụta Y).
Kpachara anya: Were ahịrịokwu AI "nke a nwere ike kpatara nke a" dịka nkwupụta echiche, ọ bụghị nchọpụta. Na RCA, ihe kpatara mgbọrọgwụ ezighi ezi na-eduga na mgbazi na-ezighi ezi na nlọghachi nke ihe omume ahụ. Ị chọpụtala onye mbụ a na-enyo enyo, ọ bụghị ihe kpatara ya; Ọrụ na-amalite n'ebe ahụ.
Nzọụkwụ site nzọụkwụ: Abanye nyocha na AI
- Mechie oghere. Nye windo mmemme, ọ bụghị ndekọ dum: "ihe omume malitere na 14:05, dị mkpa site na 14:00–14:20". Gwa AI oge na ọrụ kwesịrị ekwesị.
- Ihe mkpuchi. Ndekọ nwere IP ime, aha nnabata, onye ọrụ na akara. Kpuchie ha (10.x.x.x, host-A, user1, REDACTED) wee bupụ ya.
- Rịọ nchịkọta na nchịkọta. "Kpọkọta ndekọ a site n'ịdị njọ, gụọ njehie na-emegharị ugboro ugboro, chọta akara oge nke njehie mbụ." Rịọ maka nhazi ahụ, ọ bụghị osisi ahịhịa.
- Hazie usoro iheomume. "Hazie ihe ndị a n'usoro oge wee gosi ihe na-esote ihe." Ịchọta domino mbụ bụ ụzọ isi kpatara ya.
- Rịọ maka echiche, ọ bụghị ihe akaebe. "Depụta ihe nwere ike ịkpata mgbọrọgwụ n'usoro nke puru omume ma nye m iwu nkwenye iji na-agba ọsọ na sistemụ maka onye ọ bụla." Rịọ maka nchoputa, ọ bụghị nsonaazụ.
- Chọpụta na sistemụ. Jiri iwu nyocha naanị ọgụgụ (log grep, ajụjụ ọnọdụ, metric) nwalee echiche ọ bụla. Wepu ruo mgbe enwere naanị otu ihe kpatara akwadoro.
5 Gịnị mere usoro
Ngwa ngwa RCA kpochapụrụ ma dị ike bụ "5 Gịnị kpatara": malite na otu akara ma jụọ " gịnị kpatara?" ugboro ise. Site n'ịjụ, ị ga-enweta ihe kpatara ya n'okpuru akara ngosi elu. Ihe Nlereanya: "Saịtị ahụ dara. Gịnị kpatara? Ngwa ahụ nwụrụ n'ihi na ọ gwụla ebe nchekwa. Gịnị kpatara? Ajuju weghaara ebe nchekwa niile. Gịnị kpatara? Ajụjụ ahụ ejighị index. Gịnị kpatara? E kpochapụrụ index na ntọhapụ ikpeazụ. Gịnị kpatara? Achọpụtaghị nke a na nyocha mgbanwe." Ihe kpatara ya abụghị elu "saịtị dara" kama "usoro nyocha mgbanwe adịghị ike". AI ga-abụ ezigbo onye mmekọ n'ịrụ agbụ a - mana ị ga-eji ezigbo akaebe kwado usoro ọ bụla “ihe kpatara” ma ọ bụ AI nwere ike wepụta ụdọ ziri ezi mana ụgha.
Obere ikpe atọ
Ikpe 1 - 40,000 ahịrị, nkeji 3. Otu onye nchịkwa amalitela iji aka ya nyochaa ahịrị 40,000 nke ndekọ ngwa n'oge ọ na-apụ n'abalị. O nyere AI akụkụ 20 nkeji dị mkpa nke log masked wee rịọ maka nchịkọta na nchịkọta. AI gosipụtara ahụhụ OutOfMemory nke mbụ na 02:14, ozugbo mpe mpe mpe mpe mpe akwa. Onye injinia nwetara mpempe akwụkwọ oge na nkeji 3; kwadoro nchoputa izizi na panel metric nke ya.
Ikpe 2 - Ịlaghachi site na mgbọrọgwụ na-ezighị ezi. Otu ndị otu chere na echiche mbụ AI ("akwụkwọ ndekọ jupụtara diski") ziri ezi ma kpochapụ ndekọ. Ma ihe ahụ merenụ meghachiri n’echi ya. N'agba nke abụọ, ha ji ịdọ aka ná ntị mejuputa "5 Whys": ezi ihe kpatara ya bụ na njehie ngwa na-ede ọtụtụ narị isi ikpofu kwa nkeji. Echiche nke mbụ bụ njikọ; Ihe kpatara ya dị iche. Nnabata na-enweghị nkwenye enyela naanị nkwụsị otu ụbọchị.
Ikpe 3 - Usoro iheomume chọtara onye mere mpụ. Enwere ndekọ ọtụtụ ngwaọrụ n'oge mwepu netwọkụ na-adịte aka. Injinia ahụ nyere AI ndekọ ndị ahụ masked ma mee ka o mepụta usoro iheomume jikọtara ọnụ. Chaatị ahụ gosiri na nkwụsị nke ọ bụla malitere kpọmkwem 30 sekọnd mgbe ozi nlele ahụike gbanwere ọrụ ọrụ. Mmekọrịta a bụ ihe ngosi siri ike; Ndị otu ahụ nyochara mperi ngwa ngwa igodo ahụ na ngwaọrụ ahụ wee dochie ya.
Ndebiri anọ enwere ike iṅomi
1) Nchịkọta ndekọ na nchịkọta:
N'okpuru ebe a bụ ndekọ mkpuchi maka [ọrụ] site na 14:00-14:20. Gwa m: (1) otu wee gụọ ahịrị ahụ site n'ịdị njọ (ERROR/WARN/INFO), (2) depụta ụkpụrụ njehie 5 kachasị elu na-emegharị ugboro ugboro, (3) chọta akara ngosi oge nke ERROR mbụ. Edeghachila akwụkwọ ndekọ aha ahụ, naanị nye nchịkọta ahaziri ahazi. Na-agbakwụnye ahịrị emebere. Log: [masked log]
2) Ịmepụta usoro iheomume:
Anyị haziri ndekọ ihe omume mkpuchi mkpuchi n'ime otu usoro iheomume (timestamp + isi mmalite + emume). Gosi ihe na-esote ihe wee kaa ihe omume nke yiri ka ọ bụ ihe mbụ na-akpalite. Rụba ama na nke a bụ AKWỤKWỌ KWESỊRỊ, ekwesịrị ka enyocha ihe kpatara ya. Edekọ: [ihe mkpuchi mkpuchi]
3) Ihe kpatara onye mmekọ RCA 5:
Ọrụ gị: Onye nhazi RCA. Akara: [mgbaàmà].Mee m "5 Gịnị kpatara": a " gịnị kpatara?" na nke ọ bụla nzọụkwụ. Jụọ, m ga-eji ihe akaebe m nwere zaa, ị jụọ ajụjụ na-esote. Ọ bụrụ na ihe akaebe m adịghị ike, dọọ m aka ná ntị ma gwa m ihe data m kwesịrị ịnakọta. Ekwuwala ihe kpatara ya na-enweghị ihe akaebe.
4) Iwu nkwenye + hypothesis:
Depụta ihe nwere ike bute mgbaama a [akara ngosi] n'usoro nke puru omume. Maka ebumnuche ọ bụla: (a) kedu ihe ị na-enyo enyo, (b) nye m iwu nkwenye na-agụ naanị ka ọ na-agba ọsọ na sistemụ m (enweghị ihichapụ / mgbanwe). Kọwaa nsonaazụ na-akwado ma ọ bụ na-agbagha echiche ahụ.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Kedu ihe dị njọ na log a? [10,000 ahịrị akwụkwọ osisi raw]
Nke a kpaliri ha abụọ na-agbapụta data nwere mmetụta na-enweghị ihe mkpuchi ma hapụ AI na-enweghị ihe ọ bụla. AI nwere ike sụọ ngọngọ n'ahịrị na-enweghị ihe ọ bụla wee nye ihe dị elu ma ọ bụ ọbụna mebere ya.
Mgbasa ozi siri ike:
Ọrụ gị: agadi SRE. Ihe omume: ọrụ ịkwụ ụgwọ nyere njehie 50% n'etiti 02:10-02:25. N'okpuru ebe a bụ ndekọ ihe mkpuchi nke windo ahụ. Nye m (1) nchịkọta nke agbakọtara site n'ịdị njọ, (2) akara akara nke njehie mbụ, (3) ihe nwere ike ịkpata mgbọrọgwụ n'usoro nke puru omume, na iwu nkwenye ịgụ naanị maka nke ọ bụla. Kaaka ihe kpatara na-ekwu dị ka echiche echiche. Ndekọ: [nkọwa ihe mkpuchi]
nzọụkwụ
Ebumnuche
Ọrụ AI
ọrụ mmadụ
Nchịkọta/nchịkọta
belata mkpọtụ
Na-ahazi puku kwuru puku ahịrị
Kpebie oke na nkpuchi
usoro iheomume
Ịchọta domino mbụ
nhazi ihe omume
Kwado stampụ
ọgbọ nke hypothesis
nhazi ndị a na-enyo enyo
depụta ohere
nyo site na okirikiri
nkwenye
chọta ezi ihe kpatara ya
Tụnye iwu nchọpụta nchọpụta
Gbaa iwu ahụ wee kwuo ya
mkpebi
Ịhọrọ idozi
na-enye nhọrọ
Mee mkpebi ma kwado ya
Mmejọ ndị nkịtị
- Mmekọrịta na-ezighi ezi maka ihe kpatara ya. Ịnabata metric abụọ na-agbanwe ọnụ ka "otu kpatara nke ọzọ" na-arụpụta mgbazi ụgha.
- Tapawa osisi raw na-enweghị ihe nkpuchi. Inye ndekọ nwere IP, token na onye ọrụ na ngwa mepere emepe bụ mmebi iwu.
- Na-ekwupụta echiche mbụ dịka ihe kpatara ya. Ịnabata ntụnye mbụ nke AI na-egosighi na ọ bụ òkù maka ịmegharị ihe omume ahụ.
- Na-ebupụ ndekọ ahụ dum. Nnukwu log na-enweghị ihe gbara ya gburugburu na-etinye AI n'ime ahịrị enweghị usoro; Daa na windo mmemme.
- Ihe kpatara 5 na-enweghị ihe akaebe. Ọ bụrụ na ijikwa ezigbo data kwado usoro nke ọ bụla “ihe kpatara”, ị ga-ejiri yinye nwere ezi uche ma mebere ya.
NDỤMỌDỤ: Tupu ịkwụsị RCA, jụọ "ọ bụrụ na a na-edozi ihe kpatara mgbọrọgwụ a, ọ gaghị eme ọzọ?" Jụọ ajụjụ a. Ọ bụrụ na azịza ya bụ "ma eleghị anya," ị nwetabeghị ihe kpatara ya; Jụọ onye ọzọ "ihe kpatara ya".
Na nchịkọta
Nyocha ndekọ bụ banyere ịchọta mgbaàmà na oké osimiri nke mkpọtụ; AI na-achịkọta ma na-ahazi oke osimiri a na sekọnd, na-ewepụta usoro iheomume ma wepụta echiche. Ma mmekọrịta abụghị ihe kpatara ya: ihe kpatara AI atụ aro bụ enyo mbụ, ọ bụghị nchọpụta ruo mgbe ekwenyesiri ike. Kwatuo log ahụ n'ime mpio ihe omume, kpuchie ya, rịọ maka nhazi, gwuo miri emi na "5 Whys" wee nwalee echiche ọ bụla na sistemụ na-eji naanị iwu ọgụgụ. Ọ bụ gị bụ onye na-achọpụta ihe kpatara ya ma kwado nhazi ahụ; AI bụ enyi gị.
Ọrụ ngwa
Were ndekọ nke mmemme gara aga (ma ọ bụ mmemme nnwale), daa ya na mpio mmemme ma kpuchie ebe ọ bụla nwere mmetụta. Rịọ nchịkọta na nhazi oge site na AI na ndebiri "Log Summarry" na "Timeline" dị n'elu. Mgbe ahụ, si na mgbaàmà gaa na mgbọrọgwụ kpatara ya na template "5 Reasons RCA partner"; Dee ihe akaebe nke gị maka nzọụkwụ ọ bụla. N'ikpeazụ, jiri iwu nkwenye nwalee nkwupụta mbụ nke AI wee dekọọ ma akwadoro ya ma ọ bụ gọnarị ya. Kọwaa usoro ahụ na ihe 6.
ndetu
- [ ] Etukpuola m log ahụ n'ime mpio ihe omume ma kpuchie ebe ndị nwere mmetụta?
- [] Ajụrụ m AI maka nchịkọta ahaziri ahazi na usoro iheomume, ọ bụghị ndekọ ahịhịa?
- [ ] akara nkwupụta ebumpụta, akara n'ihe, dịka echiche echiche?
- [ ] Enwere m iwu nkwenye naanị ọgụgụ na-anwale echiche ọ bụla na sistemụ?
- [ ] Enwere m ezigbo ihe akaebe kwadoo nzọụkwụ ọ bụla nke "5 Gịnị kpatara"?
- [ ] Ajụrụ m ajụjụ wee kpebie ma ihe kpatara ya ga-egbochi ihe omume ahụ n'ezie?