Hagnaður:
- Hæfni til að skilja þrjár stoðir athugunar (mælingar, log, rekja) og gullmerkin fjögur og hafa gervigreind til að búa til PromQL fyrirspurnir, viðvörunarreglur og mælaborð
- Geta til að koma í veg fyrir þreytu við viðvörun með því að halda viðvörunum aðgerðamiðuðum og á réttum brýni og prófunarmörkum gegn sögulegum gögnum eigin kerfis
- Geta til að koma í veg fyrir næði og leynilegan leka með því að hylja viðkvæm svæði áður en annálarnir eru gefnir til gervigreindar
Þó að kerfi virðist vera að virka, gæti það verið að deyja inni: minnið fyllist hægt, viðbragðstími eykst, villutíðni læðist upp. Eina leiðin til að taka eftir þessu er að fylgjast stöðugt með kerfinu. Ítarlegra hugtak er athuganleiki: hæfileikinn til að skilja hvað er að gerast inni í kerfinu með því að skoða ytri merki þess. Það eru þrjár stoðir athuganleika og DevOps fagmaðurinn notar allar þrjár:
- Mæling: Tölugildi mæld með tímanum — CPU-notkun, fjöldi beiðna, viðbragðstími, villuhlutfall. "Hversu mikið?" svarar spurningunni.
- Notkunarskrá: Textaviðburðaskrár framleiddar af kerfinu — „notandi skráður inn“, „gagnagrunnstenging rofin“. "Hvað gerðist nákvæmlega?" svarar spurningunni.
- Trace: Leiðin sem beiðni fer á meðan hún fer frá þjónustu til þjónustu innan kerfisins og lengd hvers skrefs. "Hvar er hægðin?" svarar spurningunni.
Algengustu verkfærin: Prometheus fyrir mælingar, Grafana fyrir sjón, Loki/ELK fyrir log, Jaeger/OpenTelemetry fyrir rekja. Gervigreind er mjög fær í að skrifa fyrirspurnartungumálin (sérstaklega PromQL frá Prometheus), viðvörunarreglur og mælaborðsstillingar fyrir þessi verkfæri. Það er líka þar sem gervigreind er hvað sterkust: að draga saman stóra klumpa af annálum og mælingum og merkja frávik.
Við skulum skýra muninn á vöktun og sýnileika í einni setningu: eftirlit er að spyrja spurninga sem þú veist nú þegar ("Er örgjörvinn kominn yfir 90%?"); athuganleiki er að geta spurt spurninga sem þú vissir ekki þegar ("af hverju er þessi undarlega hægagangur bara að gerast hjá ákveðnum viðskiptavinum á ákveðnum tíma?"). Nútímakerfi eru svo flókin að þú getur ekki sagt fyrir um allar leiðir til bilunar; Þess vegna verður hæfileikinn til að safna ríkum mæligildum, annálum og ummerkjum og spyrjast fyrir um þær í dýpt - það er að segja athuganleika - mikilvægt. Þetta er þar sem gervigreind kemur við sögu þegar „áður óþekktu spurningunni“ er svarað: það skannar fljótt hrá gögnin sem þú hefur, bendir á mynstur og frávik og þú kemst að rót orsökarinnar með því að sannreyna þessar vísbendingar.
Skref fyrir skref: hvað og hvernig á að fylgjast með?
- Veldu réttu mælikvarðana. Í greininni eru „fjögur gyllt merki“ tekin til grundvallar: leynd, umferð, villur, mettun - hversu full auðlindin er. Þetta draga saman heilsufar flestrar þjónustu.
- Safnaðu mælingum. Láttu forritið kynna endapunkt sem Prometheus getur lesið.
- Settu upp mælaborð. Sjáðu þessar mælingar í Grafana.
- Skrifaðu viðvörunarreglur. Hverjum verður varað við þegar farið er yfir viðmiðunarmörk og hvernig?
- Miðstýrðu annálum. Gerðu allar þjónustuskrár leitarhæfar á einum stað.
- Draga úr hávaða. Of mikil viðvörun skapar „viðvörunarþreytu“; Mikilvæga viðvörunin hverfur.
Ábending: Góð viðvörun uppfyllir tvennt: hún er virk og hefur rétta brýnt. Viðvörun sem vekur einhvern klukkan 03:00 hlýtur að vera eitthvað sem krefst í raun inngripa á nóttunni. Ekki vekja neinn fyrir eitthvað sem krefst ekki aðgerða af sjálfu sér, eins og "CPU 70%"; birta það á töflunni.
Hvernig á að skrifa viðvörunarreglu?
Viðvörun samanstendur af þremur hlutum: ástandi (hvaða mælikvarði fer yfir hvaða þröskuld og hversu lengi), lengd („í 5 mínútur“ til að koma í veg fyrir að kveikja á augnablikssveiflum) og mikilvægi/aðgerð (fyrir hverja, í gegnum hvaða rás). AI setur þetta þrennt á meistaralegan hátt með réttu samhengi. Til dæmis, að þýða reglu eins og „mikilvæg viðvörun ef villuhlutfall fer yfir 5% í 5 mínútur“ yfir í PromQL er sekúndubrot fyrir gervigreindina - en þú ákveður hvort þröskuldurinn sé réttur fyrir kerfið þitt.
Varúð: Viðvörunarmörkin sem gervigreindin leggur til eru almennar forsendur. Venjulegt álag, umburðarlyndi og vinnuáhrif kerfisins þíns eru mismunandi. Áður en þú setur þröskuld beint í framleiðslu, líturðu á söguleg gögn þín og spyr "hversu oft hefur þessi þröskuldur verið settur í fortíðinni, hversu mörg af þeim voru raunveruleg vandamál?" Svaraðu spurningunni.
Persónuvernd: mikilvæg viðvörun
Logs eru oftast gleymast uppspretta leka. Notkunarlína getur óvart innihaldið lykilorð, kreditkortanúmer eða persónuleg gögn (undir KVKK/GDPR). Þegar innskráningar eru límd inn í gervigreind til greiningar:
- Maskaðu viðkvæm svæði. Skiptu um gildi eins og tákn, lykilorð, tölvupóst, kennitölu fyrir <REDACTED>.
- Nefndu dæmi, ekki öll. Í stað milljón línur duga oft nokkur hundruð táknrænar línur.
- Veldu ökutæki sem samþykkt er af stofnun. Sérstaklega fyrir framleiðsluskrár, notaðu tól þar sem gögnin fara ekki í þjálfun.
Fjögur gullmerki og viðvörunartöflur
merki
mælt með
Dæmi viðvörunarþröskuldur
brýnt
leynd
viðbragðstíma
p95 > 800 ms, 5 mín
hátt
umferð
Beiðni/sek
Skyndileg 300% hækkun/lækkun
miðlungs
Villa
Misheppnuð beiðnihlutfall
> 5%, 5 mín
gagnrýninn
Mettun
auðlindanýtingu
Diskur > 85%
hátt
þrjú smámál
Tilfelli 1 — 400 línur af annáli teknar saman á 30 sekúndum. Það hafði hægt á þjónustu. Verkfræðingurinn gaf grímuklæddu 400 línurnar af log til gervigreindar og sagði, "taktu saman endurtekið villumynstur og tímastyrk." AI sýndi að tiltekið utanaðkomandi API símtal tekur tíma út á 30 sekúndna fresti. Orsök fannst á 30 sekúndum; Að skanna annála handvirkt myndi taka hálftíma.
Tilfelli 2 - viðvörunarþreyta leyst. Eitt teymi fékk 200 viðvörun á dag og hunsaði þær allar - þar til raunveruleg stöðvunarviðvörun var líka gleymd. Gefðu gervigreindinni allar viðvörunarreglur og spyrðu "hverjar eru ekki aðgerðarhæfar og hverjar er hægt að sameina?" spurðu þeir. Viðvörunum fækkaði í 12 á dag; Sérhver viðvörun var nú tekin alvarlega.
Tilfelli 3 — rangur þröskuldur veiddur snemma. YZ lagði til „Varaðu við þegar 95% fullt“ fyrir diskinn. Verkfræðingurinn skoðaði söguleg gögn: þegar diskurinn náði 95% var lítill tími til inngripa. Það lækkaði þröskuldinn í 80% og bætti við annarri viðvörun byggða á „vaxtarhraða“. Staðfesting kom í veg fyrir raunverulegt miðnættisleysi.
Fjögur afritanleg sniðmát
1) Samantekt annála (gríma):
Greindu annáladæmið hér að neðan (ég dulaði viðkvæm gildi með <REDACTED>). Gefðu mér: (1) endurtekið villumynstur, (2) einbeitingu með tímanum, (3) líklegasta orsök og (4) 3 mælikvarða sem ég mun skoða til að sannreyna. Dagskrá: [LINES]
2) Viðvörunarreglugerð:
Skrifaðu viðvörunarreglu fyrir Prometheus/Alertmanager: Búðu til [SVERITY] viðvörun ef [THRESHOLD] fer yfir [METRIC][DURATION]. Reglan ætti að vera aðgerðamiðuð og innihalda athugasemdareit og runbook tengla. Útskýrðu PromQL og skrifaðu hvers vegna þessi þröskuldur er sanngjarn.
3) Að skrifa/lýsa yfir PromQL fyrirspurn:
Skrifaðu PromQL fyrirspurn sem mælir: [EX. 5xx villuhlutfall á síðustu 5 mínútum]. Útskýrðu fyrirspurnina skref fyrir skref. Segðu mér síðan hvert heilbrigt svið fyrir þetta gildi ætti að vera.
4) Hönnun mælaborðs:
Hannaðu Grafana mælaborð fyrir [ÞJÓNUSTA]: með hvaða spjöldum ætti ég að birta fjögur gullmerkin (leynd, umferð, villu, mettun)? Leggðu til mælikvarða, gerð myndunar og hæfilegan þröskuld fyrir hvert spjald. Tilgangur: að sjá heilsufar gæslumanns á 10 sekúndum.
Veik kvaðning / Sterk kvaðning
Veik: "Hvað er í þessum log?" (fylgt eftir af 5000 línum af óunnin annál, tákn í honum)
Niðurstaða: þú lekur leyndarmálum og gervigreind gefur ómarkvissa, yfirborðskennda samantekt.
Sterkt: "Finndu endurteknar villumynstur og tímastyrk í 300 lína grímubókardæminu hér að neðan; segðu mér líklegasta undirrót og mælikvarðana sem ég mun skoða til að sannreyna. Ég bjó til táknin <REDACTED>."
Mismunur: önnur hvetja gefur grímubúið og einbeitt dæmi og biður um skýra greiningu; Það er bæði öruggt og gagnlegt.
Algeng mistök
- Að líma skrána inn í gervigreind án þess að fela hann. Algengasta leyni-/persónuupplýsingaleki.
- Stilla vekjara fyrir allt. Viðvörunarþreyta grafir alvöru viðvörun.
- Óvirk viðvörun. Það er viðvörunarhljóð sem enginn getur gert neitt við.
- Samþykkja þröskuld gervigreindar án efa. Þröskuldurinn ætti að vera stilltur í samræmi við feril kerfisins þíns.
- Bara að skoða mælistikuna. Án logs og rekja er ekki hægt að finna rótarsökina að mestu leyti.
- Ekki stillt vekjaraklukku (fyrir). Augnablikssveiflur framleiða falskar viðvaranir.
Í stuttu máli
Athugun; Það er hæfileikinn til að skilja innra hluta kerfisins utan frá með mæligildum, logs og ummerkjum. Gullmerkin fjögur (leynd, umferð, villa, mettun) draga saman heilsufar flestrar þjónustu. Gervigreind er mjög öflug í að skrifa PromQL fyrirspurnir, viðvörunarreglur og mælaborð og til að draga saman stóra klumpa af annálum og finna frávik. En það er á þína ábyrgð að sannreyna viðvörunarþröskulda miðað við eigin kerfisferil, halda viðvörunum aðgerðamiðuðum og aldrei deila annálum án þess að hylja þær.
Umsóknarverkefni
Fyrir þjónustu (eða sýnishornsþjónustu): (1) Láttu búa til viðvörunarreglu fyrir villuhlutfallið með "Viðvörunarreglugerð" sniðmátinu og stilltu fyrirhugaða þröskuldinn á "hversu oft hefur það ræst í fortíðinni?" Prófaðu það með spurningunni; (2) duldu sýnishorn úr annáli sem þú hefur og láttu greina það með sniðmátinu „Samtektarskrá“; (3) athugaðu hvaða mælikvarða þú munt skoða til að staðfesta líklegasta undirrót.
gátlisti
- [ ] Ég valdi mælikvarðana til að rekja út frá fjórum gullmerkjum.
- [ ] Ég dulaði alla annála sem ég gaf gervigreindinni hvað varðar viðkvæm svæði.
- [ ] Ég sannreyndi að hver viðvörun væri aðgerðamiðuð og af réttri brýni.
- [ ] Ég prófaði viðvörunarþröskulda miðað við söguleg gögn kerfisins míns.
- [ ] Ég síaði tafarlausar sveiflur með því að bæta við (tímalengd) við vekjaraklukkurnar.
- [ ] Ég notaði mæligildi + log + rekja saman fyrir rót.