Girdeji:
- Gözegçiligiň üç sütünine (ölçeg, log, yz) we dört altyn signallara düşünmek we emeli intellekt PromQL talaplaryny, duýduryş düzgünlerini we dolandyryş panellerini döredýär.
- Duýduryşlary herekete gönükdirilen we dogry gyssaglylyk we öz ulgamyňyzyň taryhy maglumatlaryna garşy çäkleri barlamak arkaly duýduryş ýadawlygynyň öňüni almak ukyby
- Artificiaurnallary emeli intellekt bermezden ozal duýgur ýerleri maskalamak bilen gizlinligiň we gizlin syzmagyň öňüni almak ukyby
Ulgam işleýän ýaly bolup görünse-de, içerde ölýän bolmagy mümkin: ýadyň ýuwaş-ýuwaşdan doldurylmagy, jogap wagtynyň ýokarlanmagy, ýalňyşlygyň ýokarlanmagy. Muny duýmagyň ýeke-täk usuly ulgamy yzygiderli gözegçilik etmekdir. Has ösen düşünje syn etmekdir: daşarky alamatlaryna seredip ulgamyň içinde bolup geçýän zatlara düşünmek ukyby. Gözegçiligiň üç sütüni bar we DevOps hünärmeni üçüsini ulanýar:
- Metrik: Wagtyň geçmegi bilen ölçelýän san bahalary - CPU ulanylyşy, haýyşlaryň sany, jogap wagty, ýalňyşlyk derejesi. "Näçe?" soragyna jogap berýär.
- Giriş: Ulgam tarapyndan öndürilen tekst wakalary ýazgylary - "ulanyjy girdi", "maglumat bazasynyň birikmesi ýitdi". "Näme boldy?" soragyna jogap berýär.
- Yz: Ulgamyň içinde hyzmatdan gulluga geçip barýarka haýyşyň gidýän ýoly we her ädimiň dowamlylygy. "Haýallyk nirede?" soragyna jogap berýär.
Iň köp ulanylýan gurallar: Metrika üçin Prometheus, wizuallaşdyrmak üçin Grafana, log üçin Loki / ELK, yz üçin Jaeger / OpenTelemetry. AI talap dillerini (esasanam Prometheus 'PromQL), duýduryş düzgünlerini we bu gurallar üçin dolandyryş paneli konfigurasiýalaryny ýazmaga ökde. AI-iň iň güýçli ýeri: köp sanly gündeligi we ölçegleri jemlemek we anomaliýalary bellemek.
Gözegçilik bilen synlamagyň bir sözlemdäki tapawudyny aýdyňlaşdyralyň: gözegçilik eýýäm bilýän soraglaryňyzy berýär (“CPU 90% geçdimi?”); synlamak, öňden bilmeýän soraglaryňyzy berip bilýär ("näme üçin bu geň haýallyk diňe belli bir müşderi üçin belli bir wagtda bolup geçýär?"). Döwrebap ulgamlar şeýle bir çylşyrymly welin, şowsuzlygyň ähli usullaryny çaklap bilmersiňiz; Şonuň üçin baý ölçegleri, surnallary we yzlary ýygnamak, soňra bolsa çuňňur gözlemek, ýagny synlamak ukyby möhüm bolýar. "Öň näbelli soraga" jogap berende AI oýnaýar: ol bar bolan çig maglumatlary çalt gözden geçirýär, nagyşlary we anomaliýalary teklip edýär we bu düşündirişleri barlamak bilen düýp sebäbine ýetýärsiňiz.
Stepdimme-ädim: nämä we nädip gözegçilik etmeli?
- Dogry ölçegleri saýlaň. Senagatda "dört altyn signal" esas hökmünde kabul edilýär: gijä galmak, ulag, ýalňyşlyklar, doýmak - çeşmäniň näderejede doludygy. Bular hyzmatlaryň köpüsiniň saglygyny jemleýär.
- Ölçegleri ýygnaň. Programma Prometheusyň okap biljek ahyrky nokadyny görkezsin.
- Dolandyryş panellerini guruň. Grafanda bu ölçegleri göz öňüne getiriň.
- Duýduryş düzgünlerini ýazyň. Bosagadan geçende kime duýduryş berler we nädip?
- Surnallary merkezleşdiriň. Servicehli hyzmat gündeligini bir ýerde gözläň.
- Sesi peseltmek. Artykmaç duýduryş “hüşgär ýadawlygy” döredýär; Möhüm duýduryş ýitýär.
Maslahat: Gowy duýduryş iki zada laýyk gelýär: hereketli we dogry gyssaglylyk. Kimdir birini irden 3-de oýanýan duýduryş, aslynda gijeki gatyşmagy talap edýän zat bolmaly. "CPU 70%" ýaly özbaşdak hereket talap etmeýän bir zat üçin hiç kimi oýarmaň; tagtada görkeziň.
Duýduryş düzgünini nädip ýazmaly?
Duýduryş üç bölekden ybarat: şert (haýsy ölçeg haýsy çäkden geçýär we näçe wagtdan geçýär), dowamlylygy (wagtlaýyn üýtgemelerden gaça durmak üçin "5 minut") we ähmiýeti / hereketi (kime, haýsy kanal arkaly). AI bu üç zady dogry kontekst bilen ussatlyk bilen döredýär. Mysal üçin, “5 minutda ýalňyşlyk derejesi 5% -den ýokary bolsa, möhüm duýduryş 5 minutdan ýokary bolsa” ýaly düzgüni terjime etmek AI üçin iki sekuntlyk mesele - emma ulgamyňyz üçin bosaganyň dogrydygyny kesgitlärsiňiz.
Üns beriň: AI tarapyndan teklip edilýän duýduryş çäkleri umumy çaklamalar. Ulgamyňyzyň adaty ýük, çydamlylyk we işe täsiri başga. Bir bosagany gönüden-göni önümçilige goýmazdan ozal, taryhy maglumatlaryňyza seredýärsiňiz we "geçmişde bu bosagada näçe gezek itergi berildi, bularyň näçesi hakyky problemalardy?" Soraga jogap beriň.
Gizlinlik gündeligi: möhüm duýduryş
Surnallar, köplenç syzdyrylýan çeşmelerdir. Gündelik setirde tötänleýin parol, kredit kartoçkasynyň belgisi ýa-da şahsy maglumatlar bolup biler (KVKK / GDPR astynda). Derňew üçin AI-e ýazgylary goýanyňyzda:
- Maska duýgur ýerler. Token, parol, e-poçta, ID belgisi ýaly bahalary <REDACTED> bilen çalyşyň.
- Hemmesini däl-de, mysal beriň. Million setiriň ýerine birnäçe ýüz wekilçilik setirleri köplenç ýeterlikdir.
- Institut tarapyndan tassyklanan ulagy saýlaň. Esasanam önümçilik surnallary üçin maglumatlary okuwlara gitmeýän guraly ulanyň.
Dört sany altyn signal we duýduryş stoly
signal
bilen ölçelýär
Mysal üçin duýduryş bosagasy
gyssaglylyk
gijä galmak
jogap wagty
p95> 800 ms, 5 min
beýik
ulag
Talap / sek
Birden 300% ýokarlanýar / azalýar
orta
Roralňyşlyk
Talap edilmedik
> 5%, 5 min
tankydy
Dokma
çeşmesi
Disk> 85%
beýik
üç sany kiçi halat
Mysal 1 - 400 setir 30 sekuntda jemlenendir. Bir hyzmat haýallady. Inerener, maskaly 400 setir AI-e berdi we "gaýtalanýan ýalňyşlyk nagyşlaryny we wagt intensiwligini jemläň" diýdi. AI belli bir daşarky API jaňynyň her 30 sekuntda çykýandygyny görkezdi. Kök sebäp 30 sekuntda tapyldy; Surnallary el bilen skanirlemek ýarym sagat dowam eder.
2-nji hadysa - duýduryş ýadawlygy çözüldi. Bir topar günde 200 duýduryş alýardy we hemmesine üns bermedi - hakyky öçme duýduryşy hem ünsden düşýänçä. AI-e ähli duýduryş düzgünlerini beriň we "haýsylary herekete getirip bolmaýar we haýsysyny birleşdirip bolar?" Diýip soraň. diýip soradylar. Duýduryşlaryň sany günde 12-e çenli azaldy; Her duýduryş indi çynlakaý kabul edildi.
3-nji hadysa - nädogry çäk ir tutuldy. YZ disk üçin "95% doly bolanda duýduryş beriň". Inerener taryhy maglumatlara göz aýlady: disk 95% -e ýetensoň, gatyşmak üçin az wagt boldy. Bosagany 80% -e düşürdi we "ösüş depginine" esaslanýan ikinji duýduryş goşdy. Barlamak, ýary gijäniň kesilmeginiň öňüni aldy.
Göçürip boljak dört şablon
1) Gündeligiň jemlenmegi (maskaly):
Aşakdaky gündelik mysaly derňäň (duýgur bahalary <REDACTED> bilen maskaladym). Maňa beriň: (1) gaýtalanýan säwlik nagyşlary, (2) wagtyň geçmegi bilen konsentrasiýa, (3) düýp sebäbi we (4) 3 ölçeg, barlamak üçin serederin. Giriş: [LINES]
2) Duýduryş düzgüni döretmek:
Prometheus / Alertmanager üçin duýduryş düzgünini ýazyň: [THRESHOLD] [METRIC] [DURATION] -dan ýokary bolsa, [SEVERITY] duýduryşyny dörediň. Düzgüne gönükdirilen bolmaly we düşündiriş we iş kitabynyň baglanyşyk meýdany bolmaly. PromQL-i düşündiriň we bu bosaganyň näme üçin ýerliklidigini ýazyň.
3) PromQL talapyny ýazmak / yglan etmek:
Ölçeýän PromQL talapyny ýazyň: [EX. Soňky 5 minutda 5xxerror göterim göterimi]. Talaby ädimme-ädim düşündiriň. Soňra bu bahanyň sagdyn aralygynyň nähili bolmalydygyny aýdyň.
4) Dolandyryş paneli dizaýny:
[HYZMAT] üçin Grafana dolandyryş panelini dizaýn ediň: dört sany altyn signaly (gijä galmak, ulag, ýalňyşlyk, doýma) haýsy paneller bilen görkezmeli? Her panel üçin ölçeg, wizual görnüş we laýyk çäk teklip ediň. Maksady: garawulyň saglyk ýagdaýyny 10 sekuntda görmek.
Gowşak haýyş / Güýçli haýyş
Gowşak: "logurnalda näme bar?" (yzyndan 5000 setir çig log, ondaky bellikler)
Netije: syrlary syzýarsyňyz we AI meýilleşdirilmedik, ýüzleý gysgaça mazmuny berýär.
Güýçli: "Aşakdaky 300 setirli maskaly gündelik mysalda gaýtalanýan ýalňyşlyk nagyşlaryny we wagt intensiwligini tapyň; iň ähtimal sebäbini we barlamak üçin seredjek ölçeglerimi aýdyň. Men bellikleri <REDACTED> etdim."
Tapawut: ikinji haýyş, anyk derňew netijesini soraýan maskaly we gönükdirilen mysal berýär; Hem howpsuz, hem peýdaly.
Adaty ýalňyşlyklar
- Gündeligi AI-e maskalamazdan ýelmemek. Iň ýaýran gizlin / şahsy maglumatlaryň syzmagy.
- Hemme zat üçin duýduryş düzmek. Duýduryş ýadawlygy hakyky duýduryşy jaýlaýar.
- Işlemeýän duýduryş. Hiç kimiň edip bilmejek sesini duýdurýar.
- AI-iň bosagasyny soragsyz kabul etmek. Bosgun ulgamyňyzyň taryhyna görä kesgitlenmeli.
- Diňe ölçege seredýärin. Logurnal we yz bolmasa, düýp sebäbini köplenç tapyp bolmaz.
- Duýduryş wagtyny bellemezlik (üçin). Wagtlaýyn üýtgemeler ýalan duýduryşlary döredýär.
Gysgaça
Gözegçilik; Ulgamyň içini ölçegler, surnallar we yzlar bilen daşardan düşünmek ukybydyr. Dört altyn signal (gijä galmak, ulag, ýalňyşlyk, doýmak) hyzmatlaryň köpüsiniň saglygyny jemleýär. AI PromQL talaplaryny, duýduryş düzgünlerini we dolandyryş panellerini ýazmakda, köp sanly gündeligi jemlemekde we anomaliýalary tapmakda gaty güýçlidir. Youröne öz ulgamyňyzyň taryhyna garşy duýduryş çäklerini barlamak, duýduryşlary herekete gönükdirmek we gündelikleri maskalamazdan paýlaşmak siziň jogapkärçiligiňizdir.
Programma meselesi
Hyzmat üçin (ýa-da nusga hyzmaty): (1) "Duýduryş düzgüni döretmek" şablony bilen ýalňyşlyk derejesi üçin duýduryş düzgüni döredilip, teklip edilen bosagany "geçmişde näçe gezek başlady?" Sorag bilen barlaň; (2) özüňizde bar bolan gündelik nusgasyny maskalaň we "Log jemlemesi" şablony bilen analiz ediň; (3) iň ähtimal sebäbini tassyklamak üçin haýsy metre seredjekdigiňize üns beriň.
gözegçilik sanawy
- [] Dört sany altyn signalyň esasynda yzarlamak üçin ölçegleri saýladym.
- [] AI-e beren ähli ýazgylarymy duýgur ýerler nukdaýnazaryndan maskaladym.
- [] Her duýduryşyň herekete gönükdirilendigini we dogry gyssaglydygyny barladym.
- [] Ulgamyň taryhy maglumatlaryna garşy duýduryş çäklerini barladym.
- [] Duýduryşlara (dowamlylygy) goşmak bilen dessine üýtgemeleri süzdüm.
- [] Kök sebäp üçin metrik + log + yzy bilelikde ulandym.