Ẹyọ 7 / 12

Log Analysis ati Observability

Awọn anfani:

  • Agbara lati ṣe akopọ awọn idalenu log nla nipasẹ boju-boju ati sisẹ wọn si AI ati ṣẹda aago kan
  • Ni anfani lati ṣe iṣiro awọn ibatan akoko ti iṣeto nipasẹ AI bi awọn idawọle, kii ṣe idi
  • Agbara lati fọwọsi idawọle idi root pẹlu awọn metiriki ati koodu ati mura aworan afọwọya postmortem kan

Nigbati sọfitiwia kan ba n ṣiṣẹ ni iṣelọpọ (agbegbe laaye), awọn itọpa nikan, awọn metiriki ati awọn akọọlẹ (awọn laini iwe-ipamọ akoko-akoko ti a ṣe nipasẹ ohun elo lakoko ti o nṣiṣẹ) sọ ohun ti o n ṣe. Gbigbe ifihan agbara ti o nilari lati ẹgbẹẹgbẹrun, nigbakan awọn miliọnu, ti awọn laini log lakoko ijade jẹ akoko wahala julọ ati akoko pataki ti esi iṣẹlẹ. Nibi, AI le jẹ oluranlọwọ, akopọ ọrọ nla, awọn ilana yiyọ jade, ati ipilẹṣẹ awọn idawọle - niwọn igba ti o ba bọwọ fun asiri ati awọn opin ijẹrisi.

Ninu ẹyọ yii, a kọ ẹkọ lati lo AI ni aaye ti akiyesi - agbara lati loye ipo inu ti eto kan nipa wiwo awọn abajade ita rẹ: yiyo itumo lati ariwo log, iṣeto akoko ti kokoro kan, wiwa awọn ilana atunwi, ati kikọ ifiweranṣẹ. Ikilọ to ṣe pataki ni iwaju: awọn igbasilẹ iṣelọpọ aise nigbagbogbo ni data ti ara ẹni ati awọn aṣiri; haphazardly lilẹmọ wọn sinu ohun elo AI jẹ irufin nla kan.

Kini idi ti Awọn iforukọsilẹ Ṣe Lile, Kini idi ti AI Ṣe iranlọwọ?

Awọn akọọlẹ ni o ṣoro fun awọn idi mẹta: iwọn didun (ọpọlọpọ ju), ariwo (ọpọlọpọ awọn ila ko ṣe pataki), ati idamu (iṣẹlẹ kan ti tuka lori awọn akọọlẹ ti awọn iṣẹ oriṣiriṣi). Oju eniyan n rẹwẹsi ni opoplopo yii o padanu laini pataki naa.

AI dara ni akopọ awọn bulọọki nla ti ọrọ, kika awọn ilana atunwi, ati bibeere “kini o yipada ni kete ṣaaju ki awọn aṣiṣe ti nwaye?” O lagbara ni idasile awọn ibatan akoko bii Sibẹsibẹ, awọn opin meji wa. Ni igba akọkọ ti ni awọn ti o tọ window: iye ti awọn àkọọlẹ ti o le dada sinu a awoṣe ni opin, ki o nilo lati àlẹmọ ati awọn ayẹwo akọkọ. Keji, afọwọsi: AI sọ pe "nibi ni idi root" jẹ arosọ; Maṣe ṣe ipinnu laisi ifẹsẹmulẹ pẹlu awọn metiriki ati koodu.

Išọra: Awọn igbasilẹ iṣelọpọ aise le ni adiresi IP ninu, imeeli, ami ami, ID igba ati nigbakan ṣiṣi aṣiri. Boju wọn ṣaaju fifun wọn si AI, tabi lo nikan ti ile-iṣẹ ti a fọwọsi, awọn irinṣẹ aabo data. A jin koko-ọrọ yii ni ẹyọ 10.

Igbesẹ nipasẹ Igbesẹ: Lati Wọle si Idi Gbongbo

  1. Din awọn akoko window. Ṣe ipinnu awọn iṣẹju nigbati iṣẹlẹ naa bẹrẹ; Ṣayẹwo window yẹn, kii ṣe gbogbo ọjọ naa.
  2. Ṣe àlẹmọ ariwo. Igbo jade ti a mọ ti atunwi, laiseniyan ila; Fojusi lori aṣiṣe (aṣiṣe), ikilọ (IKILO) ati akoko iyapa akọkọ.
  3. Boju data ifarako. Nu data ti ara ẹni ati awọn aṣiri ṣaaju fifun wọn si AI.
  4. Ṣẹda akopọ ati aago. Beere lọwọ AI lati ṣe akopọ iṣẹlẹ naa ni akoko-akọọlẹ (“akọkọ eyi, lẹhinna iyẹn”).
  5. Fidi idawọle pẹlu awọn metiriki ati koodu. Idi tokasi nipasẹ AI; Jẹrisi pẹlu dasibodu, koodu to wulo ati akoko imuṣiṣẹ, ti o ba wulo.
  6. Fi ohun ti a kọ sinu kikọ. Ṣe aworan afọwọya postmortem kan ati ṣe atokọ awọn iṣe idena.

Mẹta Mini igba

Ọran 1 - Awọn ila 40,000 ni akopọ ni iṣẹju 5. Iṣẹ isanwo kan jabo aṣiṣe agbedemeji fun awọn iṣẹju 12. Ẹgbẹ naa jẹun ferese iṣẹju 20 ti o yẹ ti awọn akọọlẹ iboju (ito awọn laini 40,000, ti a ṣe ayẹwo) si AI ati ipilẹṣẹ akoko kan. Awoṣe naa fihan pe aṣiṣe ti nwaye ni ibamu pẹlu akoko ti akoko idahun ti iṣẹ igbẹkẹle pọ si lati 200 ms si awọn aaya 8. Ẹgbẹ naa jẹrisi eyi lori dasibodu ati dín idi naa laarin iṣẹju mẹwa 10.

Ọran 2 - Ibaṣepọ sinilona. Ninu iṣẹlẹ miiran, AI ṣe ẹsun rẹ nipa sisọ pe awọn aṣiṣe n ṣẹlẹ “ni akoko kanna” bi cron (iṣẹ ṣiṣe eto) ṣiṣe. Nigbati ẹgbẹ naa ṣayẹwo awọn metiriki, wọn rii pe cron ti pari gangan ṣaaju iṣẹlẹ naa; Ibaṣepọ jẹ ijamba. Idi gidi jẹ jijo iranti kan. Ẹkọ: Ibaṣepọ akoko ti iṣeto nipasẹ AI jẹ olobo, kii ṣe ẹri.

Ọran 3 - Postmortem onikiakia. Lẹhin ijade kan, ẹgbẹ naa jẹ ifunni iwe-kikọ ifiranṣẹ (boju-boju) ati aago lati ikanni iṣẹlẹ si AI ati pe o ṣe agbejade aworan afọwọya lẹhin iku: akopọ, ipa, aago, idi root, awọn iṣe. Olootu eniyan ṣe atunṣe awọn otitọ ati awọn oniwun igbese ti a yan. Iwe-ipamọ naa, eyiti o gba awọn wakati 2 nigbagbogbo, ti pari ni isunmọ awọn iṣẹju 40 pẹlu eto deede diẹ sii.

Mẹrin Copiable Templates

Akopọ akọọlẹ ati aago (pẹlu akọọlẹ ti o boju):

Ni isalẹ jẹ window iṣẹlẹ ti akọọlẹ iṣelọpọ ti ko boju mu.1) Tú iṣẹlẹ naa sinu aago akoko akoko (ṣamisi akoko iyapa akọkọ) .2) Ka ati ṣajọ awọn aṣiṣe ti o nwaye nigbagbogbo / awọn iru ikilọ nigbagbogbo.3) "Kini o yipada ni iṣaaju?" Ṣe atokọ awọn iṣẹlẹ oludije fun ibeere naa. Awọn wọnyi ni awọn idawọle; Samisi bi "a gbọdọ jẹri". {{awọn akọọlẹ}}

Iyọkuro apẹrẹ aṣiṣe:

Wa awọn ilana aṣiṣe loorekoore ninu awọn laini akọọlẹ wọnyi. Fun apẹẹrẹ kọọkan: laini ayẹwo (boju), orisun ifoju ati itumọ ti o ṣeeṣe. Gba awọn aṣiṣe ẹyọkan ti o ṣọwọn ṣugbọn pataki ni atokọ “akiyesi” lọtọ.{{logs}}

Ibeere ti a ṣeto / iran àlẹmọ:

Fun {{ irinṣẹ log: grep/jq/Kibana KQL/CloudWatch Insights}}, kọ ibeere kan ti o ba ipo wọnyi mu: {{fun apẹẹrẹ. Awọn aṣiṣe 5xx ni iṣẹju 15 to kẹhin, laisi olumulo X}}. Ṣe alaye ibeere naa; Rii daju pe o ko ṣe awọn orukọ ìkápá naa, beere boya o ko ni idaniloju.

Aworan aworan lẹhin iku:

Kọ aworan afọwọya postmortem lati atẹle (masked) aago iṣẹlẹ iṣẹlẹ: Lakotan / Ipa (akoko, olumulo ti o kan) / Ago / Fa root / Ohun ti o lọ daradara / Awọn iṣe (fi aaye eni silẹ ni ofifo fun ọkọọkan). MAA ṢE lo ede ẹsun; Jẹ́ òtítọ́ àti aláápọn.{{timeline}}

Ailagbara kiakia / Alagbara kiakia

Alailagbara: "Wo awọn akọọlẹ wọnyi, kini o jẹ aṣiṣe?" (Akọọlẹ aise ti gbogbo ọjọ, pẹlu data ti ara ẹni, ti ko ni idojukọ.)
Alagbara: "Ni isalẹ ni iwe-iṣelọpọ ti o boju-boju lati 14: 02-14: 20 (fitọ si 5xxs). Ni window yii, wa akoko ti aṣiṣe ti nwaye bẹrẹ, ka iru aṣiṣe loorekoore julọ, ki o si ṣe akojọ awọn iyatọ ti o han ni 60 awọn aaya lẹsẹkẹsẹ ṣaaju ki bugbamu naa; samisi gbogbo wọn gẹgẹbi 'irotẹlẹ lati jẹri'."

Alagbara ti ikede; O dín window akoko naa, ṣe asẹ ati awọn iboju iparada log, beere ibeere ti o daju, o si fi idi rẹ mulẹ lati ibẹrẹ pe abajade jẹ arosọ.

Ibere

AI lagbara

Ifilelẹ / ijerisi

Big log Lakotan

Bẹẹni, yara

O le jẹ pipadanu iṣapẹẹrẹ

Igbekale kan akoko ibasepo

gbogbo tanilolobo

Ibamu ≠ idi

Ibeere / iran àlẹmọ

ti o dara osere

Ṣe awọn orukọ ìkápá gidi bi?

Sketch postmortem

Eto ati ede

Awọn ọran jẹ idaniloju eniyan

Ibamu kii ṣe Idi

Ọfin ti o wọpọ julọ ni itupalẹ log ni “o ṣẹlẹ ni akoko kanna, nitorinaa idi ni” iro. AI ṣubu sinu ẹgẹ yii ni irọrun, ti ko ba ni irọrun diẹ sii, ju eniyan lọ; nitori pe o ro pe igbakana ninu ọrọ naa jẹ ifihan agbara to lagbara. Lati ni anfani lati sọ pe iṣẹlẹ kan gangan nyorisi miiran; akoko, siseto ati, ti o ba ṣee ṣe, tun nilo. Fun gbogbo ẹtọ idi ti AI fi idi rẹ mulẹ, a beere “ẹri miiran wo ni o jẹrisi eyi?” Ṣe idanwo pẹlu ibeere naa.

Imọran: Nigbati o ba wọle si AI, dipo idalẹnu ọrọ, ti o ba ṣeeṣe, tẹ ibeere kan / àlẹmọ ni akọkọ ki o ṣiṣẹ ni ọkọ rẹ; Ni ọna yii iwọ mejeeji dinku data ifura ati ya awọn window ọrọ awoṣe awoṣe sinu awọn ori ila pataki gaan.

Awọn aṣiṣe ti o wọpọ

  • Lilọ aise, log ti ko boju mu. Ṣiṣafihan data ti ara ẹni ati awọn aṣiri; a pataki csin ti ìpamọ.
  • Fifun ni gbogbo ọjọ ni ẹẹkan. O kọja window ti o tọ, ifihan agbara ti rì ninu ariwo.
  • Ibaṣepọ aṣiṣe fun idi. Ibasepo akoko ti iṣeto nipasẹ AI jẹ olobo, kii ṣe ẹri.
  • Gbẹkẹle ibeere kan pẹlu orukọ ìkápá ti a ṣe. Awoṣe le daba orukọ aaye log ti ko si; jẹrisi pẹlu sikematiki.
  • Titẹjade postmortem laisi ijẹrisi rẹ. Awọn otitọ ati awọn isiro ipa gbọdọ jẹ idaniloju eniyan.

Ni akojọpọ

AI jẹ ohun elo ti o lagbara lati lu iwọn didun ati ariwo ni itupalẹ log: akopọ awọn iwe afọwọkọ nla, iṣeto awọn akoko akoko, awọn ilana yiyọ kuro, ati murasilẹ awọn aworan afọwọya lẹhin iku. Ṣugbọn ranti awọn opin mẹta: maṣe ṣe okeere data ifura laisi boju-boju, ṣe àlẹmọ ati ṣe ayẹwo rẹ lati baamu window ọrọ, ki o rii daju ibeere idii kọọkan pẹlu awọn metiriki ati koodu. Ibaṣepọ kii ṣe idi; AI n fun awọn amọran, o ṣe ipinnu pẹlu ẹri.

Ohun elo iṣẹ-ṣiṣe

Yan ferese iṣẹju iṣẹju 15–20 lati iṣẹlẹ tabi akọọlẹ agbegbe idanwo ti o ni. Data ti ara ẹni boju-boju akọkọ ati awọn aṣiri (tabi ṣe agbejade log sintetiki kan). Lẹhinna jade iwe-akọọlẹ kan ati awọn iru aṣiṣe loorekoore julọ lati AI pẹlu awoṣe “akopọ akọọlẹ ati Ago”. Gbiyanju lati rii daju idawọle idi root ti AI fi siwaju pẹlu metiriki kan tabi nkan koodu ti o ni: ṣe idawọle naa diduro, tabi o jẹ ibamu sinilona? Kọ wiwa rẹ silẹ ni gbolohun kan.

akojọ ayẹwo

  • [] Mo boju-boju data ti ara ẹni ati awọn aṣiri ṣaaju fifun log si AI.
  • [] Mo ti din onínọmbà to kan dín akoko window ati àlẹmọ.
  • [] Mo rii awọn ibatan akoko ti a ṣeto nipasẹ AI bi awọn idawọle, kii ṣe idi.
  • [] Mo mọ daju ẹtọ idi root pẹlu awọn metiriki ati koodu.
  • [] Mo jerisi pe awọn orukọ ìkápá ti awọn ibeere/àlẹmọ ti mo se ina jẹ gidi.
  • [] Mo ti eda eniyan jẹri awọn otitọ ati awọn isiro ni aworan afọwọya postmortem.