Aonad 6 / 11

Monatóireacht agus Infheictheacht: Rialacha Méadrachta, Loga, Rianaithe agus Aláraim

Gnóthachain:

  • Cumas tuiscint a fháil ar na trí cholún inbhraite (méadrach, logáil, rian) agus na ceithre chomhartha órga agus go bhfuil intleacht shaorga gineann ceisteanna PromQL, rialacha aláraim agus dashboards
  • Cumas chun tuirse aláraim a chosc trí aláraim a choinneáil dírithe ar ghníomh agus ar na tairseacha práinne ceart agus tástála i gcoinne sonraí stairiúla do chórais féin
  • Cumas príobháideacht agus sceitheadh rúnda a chosc trí limistéir íogaire a chumhdach sula dtugtar na logaí d'intleacht shaorga

Cé gur cosúil go bhfuil córas ag obair, d'fhéadfadh sé a bheith ag fáil bháis laistigh: cuimhne ag líonadh suas go mall, amanna freagartha ag méadú, ráta earráide ag ardú. Is é an t-aon bhealach chun é seo a thabhairt faoi deara ná monatóireacht leanúnach a dhéanamh ar an gcóras. Coincheap níos forbartha ná inbhraiteacht: an cumas tuiscint a fháil ar cad atá ar siúl laistigh den chóras trí bhreathnú ar a chomharthaí seachtracha. Tá trí cholún inbhraite ann, agus úsáideann gairmí DevOps na trí cinn:

  • Méadrach: Luachanna uimhriúla tomhaiste le himeacht ama — úsáid LAP, líon na n-iarratas, am freagartha, ráta earráide. "Cé mhéad?" freagraíonn an cheist.
  • Logchomhad: Taifid teagmhais téacs arna dtáirgeadh ag an gcóras - "úsáideoir logáilte isteach", "nasc bunachar sonraí caillte". "Cad é go díreach a tharla?" freagraíonn an cheist.
  • Rian: An cosán a leanann iarratas agus é ag dul ó sheirbhís go seirbhís laistigh den chóras agus fad gach céime. “Cá bhfuil an mallacht?” freagraíonn an cheist.

Na huirlisí is coitianta: Prometheus le haghaidh méadrachta, Grafana le haghaidh léirshamhlú, Loki/ELK don loga, Jaeger/OpenTelemetry le haghaidh rian. Tá AI an-oilte ar theangacha na gceisteanna a scríobh (go háirithe Prometheus’ PromQL), rialacha aláraim, agus cumraíochtaí deais do na huirlisí seo. Is é seo freisin an áit a bhfuil AI ar a láidre: achoimre a dhéanamh ar shleachta móra logaí agus méadrachta agus aimhrialtachtaí a léiriú.

Déanaimis soiléiriú ar an difríocht idir monatóireacht agus inbhraite in aon abairt amháin: tá monatóireacht ag cur ceisteanna atá ar eolas agat cheana féin (“An bhfuil an LAP thar 90%?”); Is éard atá i gceist le hinbhraiteacht ná bheith in ann ceisteanna a chur nach raibh a fhios agat cheana féin ("cén fáth nach dtarlaíonn an mhoilliúlacht aisteach seo ach do chustaiméir áirithe ag am áirithe?"). Tá córais nua-aimseartha chomh casta sin nach féidir leat gach modh teipe a thuar; Dá bhrí sin, bíonn an cumas méadracht, logaí agus rianta saibhir a bhailiú agus iad a cheistiú go domhain - is é sin, inbhraiteacht - ríthábhachtach. Seo an áit a dtagann AI i bhfeidhm agus an “ceist nach raibh ar eolas roimhe seo” a fhreagairt: déanann sé scanadh tapa ar na sonraí amh atá agat, molann sé patrúin agus aimhrialtachtaí, agus faigheann tú an bhunchúis trí na leideanna seo a fhíorú.

Céim ar chéim: cad é agus conas monatóireacht a dhéanamh?

  1. Roghnaigh na méadrachtaí ceart. Sa tionscal, glactar le "ceithre chomhartha órga" mar bhunús: latency, trácht, earráidí, sáithiú - cé chomh hiomlán agus atá an acmhainn. Déanann siad seo achoimre ar shláinte fhormhór na seirbhísí.
  2. Bailigh méadracht. Bíodh críochphointe san fheidhmchlár is féidir le Prometheus a léamh.
  3. Socraigh na dashboards. Amharc ar na méadrachtaí seo i Grafana.
  4. Scríobh rialacha aláraim. Cé a dtabharfar rabhadh dó nuair a sháraítear tairseach agus conas?
  5. Logs a lárú. Déan na logaí seirbhíse go léir a chuardach in aon áit amháin.
  6. Laghdaigh torann. Cruthaíonn an iomarca aláraim “tuirse foláirimh”; Imíonn an t-aláram tábhachtach.
Leid: Buaileann aláram maith le dhá rud: is féidir é a chur i ngníomh agus tá an phráinn cheart aige. Caithfidh aláram a dhúisíonn duine ag 3am a bheith ina rud a éilíonn idirghabháil oíche. Ná dúisigh aon duine as rud éigin nach dteastaíonn gníomh uaidh féin, amhail "LAP 70%"; é a thaispeáint ar an gclár.

Conas riail aláraim a scríobh?

Tá trí chomhpháirt i bhfoláireamh: riocht (cén méadrach a sháraíonn an tairseach agus cé chomh fada), fad (“ar feadh 5 nóiméad” chun luaineachtaí nóiméadacha a sheachaint), agus tábhacht/gníomh (cé dó, cén cainéal). Bunaíonn AI na trí cinn seo go maistiúil leis an gcomhthéacs ceart. Mar shampla, is tasc scoilte don AI é riail cosúil le “aláram ríthábhachtach má sháraíonn an ráta earráide 5% ar feadh 5 nóiméad” go PromQL - ach socraíonn tú an bhfuil an tairseach ceart do do chóras.

Rabhadh: Is boinn tuisceana ginearálta iad na tairseacha aláraim a mhol an AI. Tá gnáth-ualach, caoinfhulaingt agus tionchar oibre do chórais difriúil. Sula gcuirfidh tú tairseach díreach isteach i dtáirgí, breathnaíonn tú ar do shonraí stairiúla agus fiafraíonn tú "cé mhéad uair a cuireadh an tairseach seo i bhfeidhm san am atá caite, cé mhéad díobh sin a bhí ina bhfíorfhadhbanna?" Freagair an cheist.

Príobháideacht logála: rabhadh criticiúil

Is iad logaí an fhoinse sceite is minice a ndéantar faillí orthu. D’fhéadfadh pasfhocal, uimhir chárta creidmheasa, nó sonraí pearsanta (faoi KVKK/GDPR) a bheith i loglíne de thaisme. Agus logaí á ghreamú isteach in AI le haghaidh anailíse:

  1. Masc limistéir íogair. Cuir <REDACTED> in ionad luachanna mar chomhartha, pasfhocal, ríomhphost, uimhir aitheantais.
  2. Tabhair samplaí, ní léir. In ionad milliún líne, is minic go leor cúpla céad líne ionadaíocha.
  3. Roghnaigh feithicil atá ceadaithe ag an institiúid. Go háirithe le haghaidh logs táirgthe, bain úsáid as uirlis nach dtéann a sonraí chuig oiliúint.

Ceithre chomhartha órga agus táblaí aláraim

comhartha

tomhaiste ag

Sampla tairseach aláraim

práinne

latency

am freagartha

p95 > 800 ms, 5 nóim

ard

trácht

Iarratas/soic

Méadú/laghdú tobann 300%.

meánach

Earráid

Theip ar an ráta iarratais

> 5%, 5 min

criticiúil

Sáithiú

áitíochta acmhainne

Diosca > 85%

ard

trí chás mion

Cás 1 - 400 líne loga achoimre i 30 soicind. Bhí moill tagtha ar sheirbhís. Thug an t-innealtóir na 400 líne loga chumhdaithe don AI agus dúirt sé, "achoimrigh na patrúin earráide athfhillteacha agus déine ama." Léirigh AI go n-imíonn glao API seachtrach ar leith amach gach 30 soicind. An bhunchúis a fuarthas i 30 soicind; Thógfadh sé leath uair an chloig chun logaí a scanadh de láimh.

Cás 2 - tuirse aláraim réitithe. Bhí foireann amháin ag fáil 200 aláram in aghaidh an lae agus bhí siad ag déanamh neamhairde díobh go léir - go dtí gur tugadh neamhaird ar fhíor-aláram briste freisin. Tabhair na rialacha foláirimh go léir don AI agus fiafraigh "cad iad na cinn nach bhfuil inghníomhaithe agus cé na cinn is féidir a chur le chéile?" d'iarr siad. Laghdaigh líon na n-aláram go 12 in aghaidh an lae; Glacadh gach aláram anois dáiríre.

Cás 3 - an tairseach mícheart gafa go luath. Mhol YZ "Tabhair foláireamh nuair a bheidh 95% lán" don diosca. D'fhéach an t-innealtóir ar shonraí stairiúla: nuair a shroich an diosca 95% ní raibh mórán ama ann le haghaidh idirghabhála. Laghdaigh sé an tairseach go 80% agus chuir sé an dara aláram bunaithe ar “ráta fáis.” Chuir an fíorú cosc ​​ar bhriseadh meánoíche iarbhír.

Ceithre theimpléad inchóipeála

1) Achoimriú loga (clúdaithe):

Déan anailís ar an sampla loga thíos (chuisc mé luachanna íogaire le <REDACTED>). Tabhair dom: (1) patrúin earráide athfhillteacha, (2) tiúchan le himeacht ama, (3) an bhunchúis is dóichí, agus (4) 3 mhéadracht a bhreathnóidh mé chun a fhíorú. Logchomhad: [LINES]

2) Giniúint riail aláraim:

Scríobh riail aláraim do Prometheus/Alertmanager: Gin aláram [SEVERITY] má sháraíonn [THRESHOLD] [METRIC][DURATION]. Ba cheart go mbeadh an riail dírithe ar ghníomhartha agus go mbeadh réimse naisc anótála agus leabhar reatha san áireamh ann. Mínigh PromQL agus scríobh cén fáth a bhfuil an tairseach seo réasúnta.

3) Ceist PromQL a scríobh/a dhearbhú:

Scríobh ceist PromQL a thomhaiseann: [EX. Céatadán ráta earráide 5xx le 5 nóiméad anuas]. Mínigh an cheist céim ar chéim. Ansin inis dom cad ba cheart a bheith sa raon sláintiúil don luach seo.

4) Dearadh Painéal:

Dear Painéal Grafana le haghaidh [SEIRBHÍS]: cad iad na painéil ar cheart dom na ceithre chomhartha órga a thaispeáint (latency, trácht, earráid, sáithiúchán)? Mol méadrach, cineál léirshamhlaithe agus tairseach réasúnta do gach painéal. Cuspóir: stádas sláinte garda a fheiceáil i 10 soicind.

Leid lag / Pras láidir

Lag: "Cad atá sa loga sin?" (ina dhiaidh sin 5000 líne amh loga, comharthaí ann)

Toradh: scaoileann tú rúin agus tugann an AI achoimre superficial gan sprioc.

Strong: "Faigh patrúin earráide athfhillteacha agus déine ama sa sampla loga chumhdaithe 300-líne thíos; inis dom an bhunchúis is dóichí agus an mhéadracht a bhreathnóidh mé lena fhíorú. Rinne mé na comharthaí <REDACTED>."

Difríocht: tugann an dara leid sampla folaithe agus dírithe, ag iarraidh aschur anailíse soiléir; Tá sé sábháilte agus úsáideach araon.

Botúin choitianta

  • An logáil a ghreamú isteach in AI gan é a chumhdach. An sceitheadh ​​rúnda/sonraí pearsanta is coitianta.
  • Aláraim a shocrú do gach rud. Cuireann tuirse aláraim fíor-aláram.
  • Aláram neamh-inghníomhaithe. Is rabhadh é nach bhfuil aon duine in ann aon rud a dhéanamh faoi.
  • Glacadh leis an tairseach AI gan cheist. Ba cheart an tairseach a shocrú de réir stair do chórais.
  • Díreach ag féachaint ar an méadrach. Gan logáil agus rian, ní féidir an bhunchúis a fháil an chuid is mó den am.
  • Gan am aláraim a shocrú (do). Cruthaíonn luaineachtaí chuimhneacháin aláraim bhréagacha.

Go hachomair

Infheictheacht; Is é an cumas taobh istigh an chórais a thuiscint ón taobh amuigh le méadracht, logaí agus rianta. Déanann na ceithre chomhartha órga (latency, trácht, earráid, saturation) achoimre ar shláinte an chuid is mó de na seirbhísí. Tá AI an-chumhachtach ag scríobh fiosrúcháin PromQL, rialacha aláraim agus deais, agus ag achoimre a dhéanamh ar shleachta móra logaí agus ag aimsiú aimhrialtachtaí. Ach is ortsa atá an fhreagracht tairseacha aláraim a fhíorú i gcoinne stair do chórais féin, aláraim a choinneáil dírithe ar ghníomh, agus gan logaí a roinnt gan iad a chumhdach.

Tasc feidhmchláir

Maidir le seirbhís (nó seirbhís shamplach): (1) Bíodh riail aláraim ginte agat don ráta earráide leis an teimpléad "Giniúint riail Aláraim" agus socraigh an tairseach molta "cé mhéad uair a spreag sé san am a chuaigh thart?" Déan é a thástáil leis an gceist; (2) maisigh sampla loga atá agat agus déan é a anailísiú leis an teimpléad "Achoimriú Loga"; (3) tabhair faoi deara cén méadrach a bhreathnóidh tú chun an bhunchúis is dóichí a dhearbhú.

seicliosta

  • [ ] Roghnaigh mé an mhéadracht le rianú bunaithe ar cheithre chomhartha órga.
  • [ ] Chealaigh mé na logaí go léir a thug mé don AI i dtéarmaí limistéir íogaire.
  • [ ] Dheimhnigh mé go raibh gach aláram dírithe ar ghníomh agus go raibh an phráinn cheart ag baint leis.
  • [ ] Thástáil mé na tairseacha aláraim i gcoinne sonraí stairiúla mo chórais.
  • [ ] Rinne mé scagadh ar luaineachtaí meandracha trí (fad) a chur leis na haláraim.
  • [ ] Bhain mé úsáid as rian méadrach + log + le chéile mar bhunchúis.