Praćenje kapaciteta i učinka: čitanje metrika i planiranje za budućnost

Dobici:

• Sposobnost ispravnog tumačenja metrike uz podršku umjetne inteligencije korištenjem percentila (p95/p99) i osnovne linije umjesto prosjeka
• Sposobnost odvajanja sezonskosti od trenda i izrade projekcije kapaciteta kao optimistično-pesimistički raspon, a ne kao jedan broj
• Razumijevanje da su ulaganje resursa i odluke o pragu alarma ljudske, zajedno s vremenom dovođenja resursa i poslovnim kontekstom.

Praćenje kapaciteta i performansi: Čitanje metrika pomoću AI i planiranje budućnosti

Zdravlje sistema ne možete vidjeti vlastitim očima; Razumijete to kroz metriku. Metrika je vremenski zavisna numerička vrijednost mjerljive karakteristike sistema: korištenje CPU-a, zauzetost memorije, slobodan prostor na disku, kašnjenje mreže, zahtjevi u sekundi. Praćenje performansi kontinuirano prikuplja ove metrike i odgovara na pitanje "da li je sistem sada u redu?" Planiranje kapaciteta ide korak dalje: odgovara na pitanje "kada ću ovim tempom postati nedovoljan, kada trebam kupiti nove resurse?" Ovdje je AI visoko vješt asistent u tumačenju gomile metrika, označavanju anomalija, čitanju trenda i stvaranju budućih projekcija. Ali jedno upozorenje preovladava iznad svega: AI izvlači obrasce iz istorijskih podataka; Vi ste taj koji donosi odluke o ulaganju resursa, skaliranju i pragu upozorenja s kontekstom.

U ovoj jedinici, koncepti praćenja kao što su osnovna linija (linija normalnog ponašanja), anomalija (odstupanje od normalnog), percentil (percentil); Metrička interpretacija sa AI; trend i prognoza rasta; i naučićete da postavite ispravan prag alarma.

Prosjek laže: zašto procentilno?

Najčešća greška u praćenju je mjerenje svega prosjekom. Recimo da je vaše vrijeme odgovora u prosjeku 200 ms. Zvuči dobro. Ali 5% korisnika možda čeka 8 sekundi; Prosek ovo krije. Zato profesionalci koriste percentil: p95 = "95% zahtjeva je ispod ovog vremenskog perioda." Ako je vrijeme odgovora p95 8 sekundi, svaki dvadeseti korisnik ima užasno iskustvo — prosjek to nikada ne pokazuje. Kada dajete metriku AI, budite jasni koju statistiku želite: "tumačite p50, p95 i p99 meni, a ne prosjek." Ova jedna navika otkriva skrivene probleme.

Savjet: Pogledajte procenat za svaku metriku koja se tiče korisničkog iskustva (vrijeme odgovora, kašnjenje); p95/p99 umjesto prosjeka dovodi vas do prave manjine koja pati. U metrikama resursa (CPU, memorija), pogledajte i vršne i trajne vrijednosti.

Nema anomalije bez osnovne linije

Prije nego što možete utvrditi je li metrika "nenormalna", morate znati "normalno". Osnovna linija je tipičan raspon ponašanja sistema tokom zdravih dana: "ovaj servisni radni dan u podne CPU je tipično 40–60%". Bez osnovne linije, ne možete znati da li je vrijednost od 70% zastrašujuća ili normalna. Možete postaviti osnovnu liniju tako što ćete AI dati historijske zdrave podatke i reći "izvucite normalni raspon i dnevni/tjedni obrazac ove metrike". Zatim tumačite nove podatke prema ovoj osnovnoj liniji: "gdje je ova vrijednost u normalnom?" Anomalija je značajno i trajno odstupanje od početne linije - jedan nagli skok je često buka.

Korak po korak: projekcija kapaciteta

1. Sakupite čistu i adekvatnu istoriju. Za trend je potrebno najmanje nekoliko sedmica podataka, po mogućnosti mjesečno. Projekcija napravljena sa malo podataka je nagađanje, a ne predviđanje.
2. Odvojena sezonalnost. Saobraćaj opada tokom vikenda, povećava se krajem mjeseca, a eksplodira tokom kampanje. Recite AI ove cikluse kako ne bi pobrkao rast sa sezonskim fluktuacijama.
3. Skinite trend. "Koliko je u prosjeku GB ovaj disk porastao sedmično u posljednjih 8 sedmica?" AI izračunava stopu rasta.
4. Zatražite projekciju, razmaknite je. "Ovim tempom, kada će disk biti pun 90%?" — ali tražite optimističan/pesimistički raspon, a ne jedan datum. Budućnost je neizvjesna; neparan broj je lažna preciznost.
5. Odredite prag odluke sa ljudima. Ako projekcija kaže "Biće završeno za 6 sedmica", razmotrite vrijeme nabavke (kupovina, odobrenje) i odlučite da li ćete danas poduzeti akciju.
6. Ispravno podesite alarm. Vrlo osjetljiv alarm proizvodi buku i zamor alarma; previše labav alarm će propustiti događaj. Dobijte preporuku praga od AI, ali odredite konačni prag uz vlastitu toleranciju rizika.

tri mini kofera

Slučaj 1 — Prosjek sakriven, prikazano p99. Jedan tim je mislio da je njihov API "180 ms u prosjeku, sasvim u redu." Kada sam dao metriku AI-u i zatražio interpretaciju u procentima, ispostavilo se da je p99 6.400 ms — jedan od svakih sto zahtjeva bio je sporiji od 6 sekundi. Osnovni uzrok je bio spor upit baze podataka. Dok je prosek delovao zdravo, manjina je imala užasno iskustvo.

Slučaj 2 — Projekcija upozorena 3 sedmice unaprijed. Administrator je dao podatke o zauzetosti diska dnevnika AI. AI je zaključio nedeljni trend rasta od ~7 GB i predvideo da će po trenutnoj stopi, 90% biti dostignuto u roku od 19 dana, sa optimistično-pesimističkim rasponom od 16-23 dana. Pošto je za isporuku novih diskova bilo potrebno 10 dana, tim je odmah naredio i sprečio ispad pre nego što je do njega došlo.

Slučaj 3 — Povratak iz lažne anomalije. Svake nedjelje uveče se palio nadzorni alarm govoreći da se CPU radi na 95%. Prije panike, inženjer je natjerao AI da podigne osnovnu liniju: ovaj skok je bio planirani rezervni posao koji se dešavao u isto vrijeme svake sedmice, tako da je bio dio norme. To nije bila anomalija; nedostajala je osnovna linija. Prag alarma je ispravljen za taj vremenski period i nepotrebna noćna buđenja su nestala.

Četiri šablona za kopiranje

1) Metrička interpretacija (percentil):

Ispod su metrika vremena odgovora [usluga] (maskirana). Komentirajte mi p50, p95 i p99, a ne prosjek. Šta znači razlika između p99 i p50, na koji problem korisničkog iskustva ukazuje? Nemojte dodavati izmišljene vrijednosti, samo interpretirajte podatke koje vam dajem. Podaci: [metrika]

2) Oduzimanje osnovne linije:

Ispod su zdravi [metrički] podaci za posljednje 4 sedmice. Izdvojite (1) normalni raspon (2) dnevni i sedmični obrazac (npr. noćni minimum, podnevni maksimum) ove metrike. Tada ću dati jednu novu vrijednost; klasificirati ga kao "normalno/oprez/nenormalno" na osnovu ove osnovne linije. Podaci: [istorijska metrika]

3) Projekcija kapaciteta (sa rasponom):

Ispod je zadnjih 8 sedmica podataka o popunjenosti [resource]. (1) Izračunajte sedmičnu prosječnu stopu rasta, (2) navedite sezonske efekte, (3) procijenite vrijeme za dostizanje praga od 90% po trenutnoj stopi, sa OPTIMISTIČNIM i PESIMISTIČNIM rasponima. Navedite jedan datum, dajte raspon i zapišite svoje pretpostavke. Podaci: [vremenska serija]

4) Preporuka za prag alarma:

Moja osnovna linija za [metriku] je [raspon]. Moj cilj je minimizirati lažne uzbune bez propuštanja stvarnih problema. Dajte mi preporuku za (1) upozorenje i (2) kritični prag, opravdavajući svaki i procjenjujući rizik od zamora alarma. Ja ću odrediti konačni prag.

Slaba prompt / Jaka prompt

Slab upit:

Je li moj server spor?

Nema konteksta, nema metrike i osnovne linije. AI niti zna definiciju "sporo" niti ima normalnu vrijednost za usporedbu. Odgovor je prazna pretpostavka.

Snažan upit:

Vaša uloga: stručnjak za planiranje kapaciteta. Ispod je zadnjih 14 dana vremena odgovora p95 i podataka o zahtjevima/sekundi API-ja (maskirani). Moja osnovna linija je 250-400 ms za p95. Recite mi (1) označite dane koji su izašli iz osnovne linije u posljednjih 14 dana, (2) recite mi da li postoji vidljiva veza između vremena odgovora i opterećenja zahtjeva (kao hipoteza), (3) predvidite gdje će p95 otići za 30 dana ako se ovaj trend nastavi. Podaci: [vremenska serija]

Metrički tip

pogrešno merenje

tačno merenje

vrijeme odgovora

Samo prosečno

str.50, str.95, str.99

CPU/memorija

trenutnu vrijednost

Vrhunac + trajni + osnovna linija

rast diska

Današnja popunjenost

Sedmični trend + projekcija

Anomalija

single bounce

Kontinuirano odstupanje od osnovne linije

alarm

Proizvoljni pojedinačni prag

Obrazloženo upozorenje + kritični prag

Uobičajene greške

• Mjerenje svega sa prosjekom. Prosjek krije loše iskustvo nekolicine; Vidi percentil.
• Traženje anomalija bez osnovne linije. Ne možete reći da je vrijednost abnormalna, a da ne znate šta je normalno; Stvorite lažnu uzbunu.
• Zamijeniti sezonalnost za trend. Tretiranje vrhunca kampanje kao trajnog rasta i uzimanje nepotrebnih resursa košta.
• Oslanjajući se na projekciju neparnih brojeva. „Tačno 19 dana“ je lažna preciznost; Koristite optimistično-pesimistički raspon.
• Zaboravljanje vremena za nabavku. Tim koji zajedno ne uzme u obzir prag projekcije i vrijeme kupovine bit će uhvaćen u prekidu.

Oprez: projekcija trenda AI pretpostavlja da će se prošlost nastaviti u budućnosti. Lansiranje novog proizvoda, migracija kupaca ili arhitektonska promjena narušavaju ovu pretpostavku. Vaš je posao da ispravite projekciju sa svojim kontekstom.

Ukratko

Praćenje učinka odgovara na pitanje "da li je sada dobro?" a planiranje kapaciteta odgovara na pitanje "kada nije dovoljno?" AI je moćan partner u tumačenju metrike, uspostavljanju osnovnih linija, označavanju anomalija i projektovanju trendova. Ali prosječna laž - koristite percentil; Bez osnovne linije nema anomalije – prvo uspostavite normalno; odvojiti sezonalnost od trenda; i uzmite projekciju kao raspon, a ne kao jedan broj. Odluke o ulaganju resursa i pragu upozorenja su ljudske, zajedno sa vremenom dovođenja resursa i poslovnim kontekstom.

Zadatak aplikacije

Uzmite zadnjih nekoliko sedmica podataka za resurs (disk, memoriju, vrijeme odziva) iz vlastitih sistema i maskirajte osjetljiva područja. Oduzmite normalni raspon i uzorak pomoću predloška "Bazeline subtraction" iznad. Zatim neka predložak „Projekcija kapaciteta“ predvidi kada ćete dostići prag, uz optimistično-pesimistički raspon. Također, interpretirajte metriku vremena odgovora pomoću šablona "percentil" i pogledajte ima li nešto što prosjek skriva. Zapišite svoje nalaze i radnju koju ćete poduzeti u 5 stavki.

kontrolna lista

• [ ] Da li sam gledao p95/p99 umjesto prosjeka u metrici vremena odgovora?
• [ ] Da li sam uspostavio osnovnu liniju na osnovu zdravih podataka prije traženja anomalija?
• [ ] Da li sam razlikovao sezonsku fluktuaciju od trajnog trenda?
• [ ] Da li sam projekciju uzeo kao optimistično-pesimistički raspon, a ne kao jedan datum?
• [ ] Jesam li procijenio vrijeme izvora zajedno sa pragom projekcije?
• [ ] Da li sam postavio prag alarma na osnovu sopstvene tolerancije rizika, a ne na preporuci veštačke inteligencije?