Kulawa da Kulawa: Metric, Log, Trace da Dokokin Ƙararrawa — DevOps da AI a cikin Cloud

Riba:

Ƙarfin fahimtar ginshiƙai uku na lura (metric, log, trace) da siginar zinare huɗu kuma suna da hankali na wucin gadi suna haifar da tambayoyin PromQL, ƙa'idodin ƙararrawa da dashboards.
Ƙarfin hana gajiyar ƙararrawa ta hanyar kiyaye ƙararrawa daidaitaccen aiki kuma a daidai gaggawa da ƙofofin gwaji a kan bayanan tarihi na tsarin ku.
Ikon hana keɓantawa da ɓoye sirri ta hanyar rufe wuraren da ke da mahimmanci kafin ba da rajistan ayyukan ga bayanan wucin gadi

Yayin da tsarin zai iya bayyana yana aiki, yana iya mutuwa a ciki: ƙwaƙwalwar ajiya a hankali tana cikawa, lokutan amsawa suna ƙaruwa, ƙimar kuskure yana karuwa. Hanya daya tilo da za a lura da wannan ita ce a koyaushe saka idanu akan tsarin. Babban ra'ayi mafi ci gaba shine lura: ikon fahimtar abin da ke faruwa a cikin tsarin ta hanyar kallon alamunsa na waje. Akwai ginshiƙai uku na lura, kuma ƙwararrun DevOps suna amfani da duka ukun:

Metric: Ƙimar lambobi da aka auna akan lokaci - Amfanin CPU, adadin buƙatun, lokacin amsawa, ƙimar kuskure. "Nawa?" ya amsa tambayar.
Log: Rubuce-rubucen rubutun da tsarin ya samar - "mai amfani ya shiga", "Haɗin bayanan bayanai ya ɓace". "Me ya faru daidai?" ya amsa tambayar.
Trace: Hanyar da buƙatu ke bi yayin wucewa daga sabis zuwa sabis a cikin tsarin da tsawon kowane mataki. "Ina jinkirin?" ya amsa tambayar.

Mafi yawan kayan aikin gama gari: Prometheus don awo, Grafana don gani, Loki/ELK don log, Jaeger/OpenTelemetry don ganowa. AI ya ƙware sosai wajen rubuta harsunan tambaya (musamman Prometheus'PromQL), ƙa'idodin ƙararrawa, da tsarin dashboard don waɗannan kayan aikin. Hakanan shine inda AI yake mafi ƙarfi: taƙaita manyan gungu-gungu na rajistan ayyukan da ma'auni da nuna alamun rashin daidaituwa.

Bari mu fayyace bambance-bambance tsakanin sa ido da lura a cikin jumla ɗaya: saka idanu yana yin tambayoyin da kuka riga kuka sani ("Shin CPU ya wuce 90%?"); lura yana iya yin tambayoyin da ba ku sani ba ("me yasa wannan jinkirin jinkirin ke faruwa ga wani abokin ciniki kawai a wani lokaci?"). Tsarin zamani yana da rikitarwa wanda ba za ku iya yin hasashen duk hanyoyin gazawa ba; Sabili da haka, ikon tattara ma'auni mai wadatarwa, rajistan ayyukan, da burbushi sannan kuma bincika su cikin zurfi - wato, lura - ya zama mai mahimmanci. Wannan shine inda AI ke shiga cikin wasa yayin amsa "tambayar da ba a sani ba a baya": yana saurin bincikar albarkatun da kuke da shi, yana nuna alamu da abubuwan da ba su da kyau, kuma kuna samun tushen tushen ta hanyar tabbatar da waɗannan alamun.

Mataki-mataki: menene kuma yadda ake saka idanu?

Zaɓi ma'auni masu dacewa. A cikin masana'antar, ana ɗaukar "siginonin zinare huɗu" a matsayin tushe: latency, zirga-zirga, kurakurai, jikewa - yadda ake cika albarkatun. Waɗannan suna taƙaita lafiyar yawancin ayyuka.
Tattara ma'auni. Bari aikace-aikacen ya gabatar da ƙarshen ƙarshen wanda Prometheus zai iya karantawa.
Saita dashboards. Yi tunanin waɗannan ma'aunin a Grafana.
Rubuta dokokin ƙararrawa. Wanene za a yi gargaɗi lokacin da aka ƙetare ƙofa kuma ta yaya?
Tsaya rajistan ayyukan. Sanya duk rajistan ayyukan sabis ana iya bincikawa a wuri guda.
Rage hayaniya. Ƙararrawa mai yawa yana haifar da "gajiwar faɗakarwa"; Muhimmin ƙararrawa yana ɓacewa.

Tukwici: Kyakkyawan ƙararrawa ya haɗu da abubuwa biyu: yana da aiki kuma yana da gaggawar gaggawa. Ƙararrawa da ke tada wani da ƙarfe 3 na safe dole ne ya zama wani abu da ke buƙatar sa baki a cikin dare. Kada ka tada kowa don wani abu wanda baya buƙatar aiki da kansa, kamar "CPU 70%"; nuna shi a kan allo.

Yadda ake rubuta dokar ƙararrawa?

Fadakarwa ta ƙunshi abubuwa uku: yanayi (wanda ma'auni ya zarce kofa da tsawon lokacin), tsawon lokaci ("minti 5" don guje wa haifar da sauyi na ɗan lokaci), da mahimmanci / aiki (ga wanda, ta wace tashar). AI da basira ta kafa waɗannan uku tare da mahallin da ya dace. Misali, fassara ka'ida kamar "ƙarararrawa mai mahimmanci idan adadin kuskure ya wuce 5% na mintuna 5" zuwa cikin PromQL aiki ne na biyu na AI - amma kuna yanke shawara idan ƙofa ya dace da tsarin ku.

Tsanaki: Matsakaicin ƙararrawa da AI suka ba da shawara gaba ɗaya zato ne. Nauyin tsarin ku na yau da kullun, haƙuri da tasirin aikinku sun bambanta. Kafin ka sanya bakin kofa kai tsaye zuwa prod, ka kalli bayanan tarihi ka tambayi "sau nawa ne aka jawo wannan bakin a baya, nawa ne daga cikin wadannan matsaloli na gaske?" Amsa tambaya.

Sirrin shiga: gargadi mai mahimmanci

Loggu sune tushen zubewar da aka fi yawan mantawa da su. Layin log na iya ƙunsar kalmar sirri da gangan, lambar katin kiredit, ko bayanan sirri (a ƙarƙashin KVKK/GDPR). Lokacin liƙa shiga cikin AI don bincike:

Wuraren rufe fuska. Maye gurbin dabi'u kamar alama, kalmar sirri, imel, lambar ID tare da <REDACTED>.
Ba da misalai, ba duka ba. Maimakon layukan miliyan ɗaya, ƙananan layukan wakilci na ɗari sun isa sau da yawa.
Zaɓi abin hawa da cibiya ta amince. Musamman don rajistan ayyukan samarwa, yi amfani da kayan aiki wanda bayanan ba ya zuwa horo.

Sigina na zinariya huɗu da tebur na ƙararrawa

sigina

auna ta

Misalin ƙararrawa kofa

gaggawa

latency

lokacin amsawa

p95> 800 ms, 5 min

babba

zirga-zirga

Buƙata/daƙiƙa

Kwatsam 300% karuwa / raguwa

matsakaici

Kuskure

Ba a yi nasarar ƙima ba

> 5%, 5 min

Jikewa

zama mai albarka

Disk> 85%

babba

uku mini lokuta

Case 1 — Layin log ɗin 400 da aka taƙaita cikin daƙiƙa 30. Wani sabis ya ragu. Injiniyan ya ba da layukan log ɗin 400 da aka rufe ga AI kuma ya ce, "takaita tsarin kurakuran da ke faruwa da kuma ƙarfin lokaci." AI ya nuna cewa lokacin kiran API na waje yana fita kowane daƙiƙa 30. Tushen da aka samo a cikin 30 seconds; Duban rajistan ayyukan da hannu zai ɗauki rabin sa'a.

Case 2 - ƙararrawa gajiya warware. Wata ƙungiya tana karɓar ƙararrawa 200 a rana kuma tana yin watsi da su duka - har sai an yi watsi da ƙararrawa na gaske. Ba AI duk ka'idodin faɗakarwa kuma ku tambayi "waɗanne ne ba su da aiki kuma waɗanne ne za a iya haɗa su?" Suka tambaya. Adadin ƙararrawa ya ragu zuwa 12 kowace rana; Kowane ƙararrawa yanzu an ɗauke shi da mahimmanci.

Case na 3 - ƙofa mara kyau da aka kama da wuri. YZ ya ba da shawarar "Gargadi lokacin da 95% ya cika" don faifan. Injiniyan ya kalli bayanan tarihi: da zarar faifan ya kai kashi 95% babu ɗan lokaci don shiga tsakani. Ya saukar da ƙofa zuwa 80% kuma ya ƙara ƙararrawa na biyu dangane da "ƙimar girma." Tabbatarwa ya hana ainihin fita tsakar dare.

Samfura huɗu masu kwafi

1) Takaitaccen tarihin shiga (massed):

Yi nazarin misalin log ɗin da ke ƙasa (Na rufe ƙididdiga masu mahimmanci tare da <REDACTED>). Ka ba ni: (1) tsarin kuskure mai maimaitawa, (2) maida hankali kan lokaci, (3) mai yuwuwar tushen tushen, da (4) awo 3 zan duba don tabbatarwa. Shiga: [LINES]

2) Ƙarfafa ƙa'idodin ƙararrawa:

Rubuta ƙa'idar ƙararrawa don Prometheus/Alertmanager: Ƙirƙirar ƙararrawa [SAUKI] idan [THRESHOLD] ya wuce [METRIC][DURATION]. Dole ne dokar ta kasance mai dacewa da aiki kuma ta haɗa da annotation da filin haɗin gwiwar runbook. Bayyana PromQL kuma rubuta dalilin da yasa wannan bakin ya dace.

3) Rubuta/bayyana tambayar PromQL:

Rubuta tambayar PromQL mai aunawa: [EX. 5xxxejin kuskure a cikin mintuna 5 na ƙarshe]. Yi bayanin tambayar mataki-mataki. Sa'an nan kuma gaya mani abin da ya kamata ya zama kewayon lafiya na wannan ƙimar.

4) Tsarin dashboard:

Ƙirƙirar dashboard ɗin Grafana don [SERVICE]: da waɗanne bangarori zan nuna siginar zinare huɗu (lalata, zirga-zirga, kuskure, jikewa)? Ba da shawarar awo, nau'in gani da madaidaicin kofa ga kowane panel. Manufa: don ganin yanayin lafiyar mai gadi a cikin daƙiƙa 10.

Rauni mai ƙarfi / Ƙarfi mai ƙarfi

Rauni: "Me ke cikin wannan log ɗin?" (biye da layukan 5000 na ɗanyen log, alamu a ciki)

Sakamako: kuna tona asirin kuma AI yana ba da taƙaitaccen bayanin da ba a yi niyya ba.

Ƙarfafa: "Nemo tsarin kuskure mai maimaitawa da ƙarfin lokaci a cikin misalin layi na 300 da aka rufe mashi a ƙasa; gaya mani dalilin da ya fi dacewa da kuma ma'aunin da zan duba don tabbatarwa. Na sanya alamun <REDACTED>."

Bambanci: faɗakarwa na biyu yana ba da misali mai rufe fuska da mai da hankali, yana neman fitowar bincike bayyananne; Yana da aminci da amfani.

Kuskuren gama gari

Manna log ɗin cikin AI ba tare da rufe shi ba. Mafi yawan ɓoyayyen sirri/na ɓoye bayanan sirri.
Saita ƙararrawa don komai. Gajiyar ƙararrawa tana binne ƙararrawa na gaske.
Ƙararrawa mara aiki. Hayaniyar gargadi ce da babu wanda zai iya yin komai akai.
Karɓar bakin kofa na AI ba tare da tambaya ba. Ya kamata a saita ƙofa bisa ga tarihin tsarin ku.
Kallon awo kawai. Ba tare da log da ganowa ba, ba za a iya samun tushen tushen mafi yawan lokaci ba.
Ba saita lokacin ƙararrawa (don). Canje-canje na ɗan lokaci yana haifar da ƙararrawa na ƙarya.

a takaice

Abun lura; Yana da ikon fahimtar ciki na tsarin daga waje tare da ma'auni, rajistan ayyukan da alamu. Alamun zinare huɗu (latency, zirga-zirga, kuskure, jikewa) suna taƙaita lafiyar yawancin ayyuka. AI yana da ƙarfi sosai wajen rubuta tambayoyin PromQL, ƙa'idodin ƙararrawa da dashboards, da kuma taƙaita manyan gungu-gungu na rajistan ayyukan da gano abubuwan da ba su dace ba. Amma alhakinku ne don tabbatar da madaidaicin ƙararrawa a kan tarihin tsarin ku, kiyaye ƙararrawa ta hanyar aiki, kuma kada ku taɓa raba rajistan ayyukan ba tare da rufe su ba.

Aikin aikace-aikace

Don sabis (ko sabis ɗin samfur): (1) Samar da ƙa'idar ƙararrawa don ƙimar kuskure tare da samfurin "Ƙarfin ƙa'idar ƙararrawa" kuma saita ƙofa da aka ba da shawarar zuwa "sau nawa ya taso a baya?" Gwada shi da tambayar; (2) rufe samfurin log ɗin da kuke da shi kuma a bincika shi tare da samfurin "Taƙaitawa Log"; (3) lura da wane awo za ku duba don tabbatar da dalilin da ya fi dacewa.

jerin abubuwan dubawa

[ ] Na zaɓi ma'auni don waƙa bisa ga siginonin zinare huɗu.
[ ] Na rufe duk rajistan ayyukan da na ba AI dangane da yankuna masu mahimmanci.
[ ] Na tabbatar da cewa kowane ƙararrawa yana kan aiki ne kuma na gaggawa daidai.
[ ] Na gwada ƙofofin ƙararrawa akan bayanan tarihin tsarina.
[ ] Na tace canje-canje nan take ta ƙara na (tsawon lokaci) zuwa ƙararrawa.
[ ] Na yi amfani da metric + log + alama tare don tushen tushen.