Võimsuse ja jõudluse jälgimine: mõõdikute lugemine ja tuleviku planeerimine

Kasu:

• Võimalus tõlgendada mõõdikuid õigesti tehisintellekti toega, kasutades keskmise asemel protsentiili (p95/p99) ja baasjoont
• Võimalus eraldada hooajalisus trendist ja koostada võimsuse prognoosi optimistlik-pessimistliku vahemikuna, mitte ühe numbrina
• Arusaamine, et ressursside investeerimise ja häireläve otsused on inimlikud, samuti ressursside tarneaeg ja ärikontekst.

Võimsuse ja jõudluse jälgimine: tehisintellektiga mõõdikute lugemine ja tuleviku planeerimine

Sa ei näe oma silmaga süsteemi tervist; Sa mõistad seda mõõdikute kaudu. Mõõdik on süsteemi mõõdetava karakteristiku ajast sõltuv arvväärtus: protsessori kasutus, mälu hõivatus, ketta vaba ruum, võrgu latentsus, päringud sekundis. Toimivuse jälgimine kogub neid mõõdikuid pidevalt ja vastab küsimusele "kas süsteem on nüüd korras?" Võimsuse planeerimine läheb veel ühe sammu võrra kaugemale: see vastab küsimusele " millal ma sellise kiirusega ebapiisavaks muutun, millal peaksin uusi ressursse ostma?" Siin on AI kõrgelt kvalifitseeritud abiline mõõdikute hunnikute tõlgendamisel, kõrvalekallete märgistamisel, trendide lugemisel ja tulevikuprognooside koostamisel. Kuid üks hoiatus kehtib ennekõike: AI eraldab mustrid ajaloolistest andmetest; Teie olete see, kes teeb ressursside investeerimise, skaleerimise ja hoiatusläve otsuseid konteksti arvestades.

Selles üksuses jälgitakse selliseid kontseptsioone nagu baasjoon (normaalse käitumise joon), anomaalia (hälve normaalsest), protsentiil (protsentiil); Meetrite tõlgendamine tehisintellektiga; trendi- ja kasvuprognoos; ja õpid määrama õiget häireläve.

Keskmine valetab: miks protsentiil?

Kõige levinum viga jälgimisel on kõike mõõta keskmisega. Oletame, et teie reageerimisaeg on keskmiselt 200 ms. Kõlab hästi. Kuid 5% kasutajatest võivad oodata 8 sekundit; Keskmine varjab seda. Sellepärast kasutavad spetsialistid protsentiili: p95 = "95% taotlustest on sellest ajavahemikust madalamad." Kui p95 reageerimisaeg on 8 sekundit, on üks kahekümnest kasutajast kohutav kogemus – keskmine ei näita seda kunagi. Tehisintellektile mõõdikuid esitades tehke selgeks, millist statistikat soovite: "tõlgenda p50, p95 ja p99 mulle, mitte keskmist." See üks harjumus paljastab varjatud probleemid.

Näpunäide. Vaadake protsentiili iga kasutajakogemust puudutava mõõdiku jaoks (reaktsiooniaeg, latentsusaeg); p95/p99 keskmise asemel viib teid tõelise kannatava vähemuse hulka. Ressursimõõdikutes (CPU, mälu) vaadake nii tipp- kui ka püsivaid väärtusi.

Ilma lähtetasemeta pole anomaaliat

Enne kui saate aru saada, kas mõõdik on "ebanormaalne", peate teadma "normaalne". Algtase on süsteemi tüüpiline käitumisvahemik tervislikel päevadel: "selle teenuse tööpäeva keskpäeval on protsessor tavaliselt 40–60%. Ilma lähtetasemeta ei saa te teada, kas 70% väärtus on hirmutav või normaalne. Saate seada lähtetaseme, esitades tehisintellektile ajaloolised tervislikud andmed ja öeldes "väljavõtte selle mõõdiku normaalne vahemik ja igapäevane/nädalane muster". Seejärel tõlgendate uusi andmeid selle lähtetaseme järgi: "kus see väärtus on normaalses?" Anomaalia on märkimisväärne ja püsiv kõrvalekalle algtasemest – üksainus järsk hüpe on sageli müra.

Samm-sammult: võimsuse prognoosimine

1. Koguge puhas ja piisav ajalugu. Trend nõuab vähemalt mõne nädala andmeid, eelistatavalt kord kuus. Väheste andmetega tehtud projektsioon on oletus, mitte ennustus.
2. Eraldi hooajalisus. Liiklus väheneb nädalavahetustel, suureneb kuu lõpus ja kampaania ajal plahvatuslikult. Öelge tehisintellektile need tsüklid, et see ei ajaks kasvu segi hooajalise kõikumisega.
3. Võtke trend maha. "Mitu GB keskmiselt on see ketas viimase 8 nädala jooksul nädalas kasvanud?" AI arvutab kasvukiiruse.
4. Küsige projektsiooni, eraldage see. "Millal on selle kiirusega ketas 90% täis?" — aga küsi optimistlikku/pessimistlikku vahemikku, mitte ühte kuupäeva. Tulevik on ebakindel; paaritu arv on vale täpsus.
5. Määrake inimestega koos otsustuslävi. Kui prognoosis on kirjas "See valmib 6 nädala pärast", siis arvestate hankimise aega (ost, kinnitamine) ja otsustate, kas tegutseda juba täna.
6. Seadke äratus õigesti. Väga tundlik alarm tekitab müra ja alarmi väsimust; liiga lõtv alarm jätab sündmuse vahele. Hankige tehisintellektilt lävesoovitus, kuid määrake lõplik lävi oma riskitaluvusega.

kolm minikarpi

Juhtum 1 – keskmine peidetud, näidatud lk 99. Üks meeskond arvas, et nende API oli "keskmiselt 180 ms, kõik on korras." Kui andsin mõõdikud tehisintellektile ja küsisin protsentiili tõlgendust, selgus, et p99 oli 6400 ms – üks sajast päringust oli aeglasem kui 6 sekundit. Algpõhjus oli aeglane andmebaasi päring. Kui keskmine tundus terve, siis vähemusel oli kohutav kogemus.

Juhtum 2 – prognoosi hoiatati 3 nädalat ette. Administraator andis AI-le logiketta hõivatuse andmed. AI järeldas iganädalaseks kasvutrendiks ~ 7 GB ja prognoosis, et praeguse kiirusega saavutatakse 90% 19 päeva jooksul, optimistlik-pessimistlik vahemik on 16–23 päeva. Kuna uute ketaste tarnimiseks kulus 10 päeva, tellis meeskond kohe ja hoidis katkestuse ära enne selle tekkimist.

Juhtum 3 – naasmine valeanomaaliast. Igal pühapäeva õhtul kõlas seirehäire, mis teatas, et protsessor tõuseb 95% -ni. Enne paanikasse sattumist lasi insener tehisintellektil baasjoont tõsta: see hüpe oli planeeritud varutöö, mis toimus igal nädalal samal kellaajal, seega oli see osa normist. See ei olnud anomaalia; lähtejoon puudus. Äratuslävi on selleks ajavahemikuks korrigeeritud ja tarbetud öised äratused on kadunud.

Neli kopeeritavat malli

1) Mõõdikute tõlgendamine (protsentiil):

Allpool on [teenuse] reageerimisaja mõõdikud (maskeeritud). Kommenteerige mulle p50, p95 ja p99, mitte keskmine. Mida tähendab p99 ja p50 erinevus, millisele kasutajakogemuse probleemile see viitab? Ärge lisage väljamõeldud väärtusi, vaid tõlgendage andmeid, mida ma teile annan. Andmed: [mõõdikud]

2) Algtaseme lahutamine:

Allpool on viimase 4 nädala tervislikud [mõõdiku] andmed. Eraldage selle mõõdiku (1) normaalvahemik (2) päevane ja iganädalane muster (nt madalaim öö, keskpäevane maksimum). Siis annan üheainsa uue väärtuse; klassifitseerige see selle lähtetaseme alusel kui "normaalne/ettevaatust/ebanormaalne".Andmed: [ajalooline mõõdik]

3) võimsuse projektsioon (koos vahemikuga):

Allpool on viimase 8 nädala [ressurss] hõivatuse andmed. (1) Arvutage nädala keskmine kasvumäär, (2) osutage hooajalistele mõjudele, (3) hinnake aega 90% künnise jõudmiseks praeguse kiirusega, OPTIMISTILISTE ja PESIMISTILISTE vahemikega. Andke üks kuupäev, andke vahemik ja kirjutage üles oma oletused. Andmed: [aegrida]

4) Häireläve soovitus:

Minu [mõõdiku] lähtetase on [vahemik]. Minu eesmärk on minimeerida valehäireid ilma tegelikest probleemidest puudumata. Andke mulle soovitus (1) hoiatuse ja (2) kriitilise läve kohta, põhjendades mõlemat ja hinnates alarmi väsimuse ohtu. Mina määran lõpliku läve.

Nõrk viip / Tugev viip

Nõrk viip:

Kas mu server on aeglane?

Puudub kontekst, mõõdikud ja lähtejoon. AI ei tea "aeglase" määratlust ega oma tavaväärtust, millega seda võrrelda. Vastus on tühine oletus.

Võimas viip:

Sinu roll: suutlikkuse planeerimise spetsialist. Allpool on toodud viimase 14 päeva p95 reageerimisaeg ja API päringud sekundis (maskeeritud). Minu lähteväärtus on p95 jaoks 250–400 ms. Öelge mulle (1) märkige päevad, mis läksid viimase 14 päeva jooksul algtasemest välja, (2) öelge mulle, kas reageerimisaja ja päringu koormuse vahel on nähtav seos (hüpoteesina), (3) ennustage, kuhu p95 liigub 30 päeva pärast, kui see trend jätkub. Andmed: [aegrida]

Mõõdiku tüüp

vale mõõtmine

täpne mõõtmine

reageerimisaeg

Lihtsalt keskmine

lk 50, lk 95, lk 99

CPU/mälu

hetkeväärtus

Tipp + püsiv + lähtetase

ketta kasv

Tänane täituvus

Nädala trend + projektsioon

Anomaalia

üksik põrge

Pidev kõrvalekalle algtasemest

äratus

Suvaline üksik lävi

Põhjendatud hoiatus + kriitiline lävi

Levinud vead

• Mõõtes kõike keskmisega. Keskmine varjab väheste halba kogemust; Vaadake protsentiili.
• Anomaaliate otsimine ilma lähtetasemeta. Te ei saa öelda, et väärtus on ebanormaalne, teadmata, mis on normaalne; Loote valehäire.
• Segades hooajalisust trendiga. Kampaania tipu käsitlemine püsiva kasvuna ja tarbetute ressursside võtmine maksab raha.
• Tuginedes paaritu arvu projektsioonile. "Täpselt 19 päeva" on vale täpsus; Kasutage optimistlik-pessimistlikku vahemikku.
• Unustades hankimise aja. Meeskond, kes ei arvesta projektsiooniläve ja ostuaega koos, jääb katkemise vahele.

Ettevaatust: AI trendiprognoos eeldab, et minevik jätkub ka tulevikus. Uue toote turuletoomine, kliendi migratsioon või arhitektuurimuutus rikub seda eeldust. Teie ülesanne on korrigeerida projektsiooni vastavalt kontekstile.

Kokkuvõttes

Tulemuslikkuse jälgimine vastab küsimusele "kas nüüd on hea?" ja suutlikkuse planeerimine vastab küsimusele "millal sellest ei piisa?" AI on võimas partner mõõdikute tõlgendamisel, lähtejoonte määramisel, kõrvalekallete märgistamisel ja suundumuste prognoosimisel. Kuid keskmine vale - kasutage protsentiili; Ilma algtasemeta pole anomaaliaid – kõigepealt määrake normaalne; eralda hooajalisus trendist; ja võtke projektsioon vahemikuna, mitte ühe arvuna. Ressursiinvesteeringud ja hoiatusläve otsused on inimlikud, samuti ressursside tarneaeg ja ärikontekst.

Rakenduse ülesanne

Võtke viimastel nädalatel andmeid ressursi jaoks (ketas, mälu, reageerimisaeg) oma süsteemidest ja maskeerige tundlikud alad. Lahutage tavaline vahemik ja muster ülaltoodud malliga "Alusjoone lahutamine". Seejärel laske mallil „Mahtuvusprognoos” ennustada, millal saavutate läve optimistlik-pessimistliku vahemikuga. Samuti laske oma reageerimisaja mõõdikut "protsentiili" malli abil tõlgendada ja vaadake, kas keskmine peidab midagi. Kirjutage oma leiud ja tegevus, mida ette võtate, 5 punkti.

kontrollnimekiri

• [ ] Kas ma vaatasin reageerimisaja mõõdikutes p95/p99 keskmise asemel?
• [ ] Kas olen enne anomaaliate otsimist loonud tervislike andmete põhjal lähtetaseme?
• [ ] Kas olen eristanud hooajalist kõikumist püsivast trendist?
• [ ] Kas ma võtsin prognoosi pigem optimistlik-pessimistliku vahemikuna, mitte ühe kuupäevana?
• [ ] Kas olen hinnanud hankimise aega koos projektsioonilävega?
• [ ] Kas ma määrasin häireläve enda riskitaluvuse ja mitte tehisintellekti soovituse alusel?