Kitengo 4 / 11

Uwezo na Ufuatiliaji wa Utendaji: Vipimo vya Kusoma na Kupanga kwa Wakati Ujao

Faida:

  • Uwezo wa kutafsiri vipimo kwa usahihi na usaidizi wa akili bandia kwa kutumia percentile (p95/p99) na msingi badala ya wastani.
  • Uwezo wa kutenganisha msimu kutoka kwa mwenendo na kutoa makadirio ya uwezo kama safu ya matumaini-ya kukata tamaa badala ya nambari moja.
  • Kuelewa kuwa uwekezaji wa rasilimali na maamuzi ya kizingiti cha kengele ni ya kibinadamu, pamoja na wakati wa rasilimali na muktadha wa biashara.

Uwezo na Ufuatiliaji wa Utendaji: Kusoma Vipimo kwa kutumia AI na Kupanga Wakati Ujao

Huwezi kuona afya ya mfumo kwa macho yako mwenyewe; Unaielewa kupitia vipimo. Kipimo ni thamani ya nambari inayotegemea wakati ya sifa inayoweza kupimika ya mfumo: matumizi ya CPU, ukaaji wa kumbukumbu, nafasi isiyo na diski, muda wa kusubiri wa mtandao, maombi kwa sekunde. Ufuatiliaji wa utendaji huendelea kukusanya vipimo hivi na kujibu swali "je, mfumo uko sawa sasa?" Upangaji wa uwezo huenda hatua moja zaidi: Inajibu swali "kwa kiwango hiki, ni lini nitakuwa haitoshi, ni lini ninapaswa kununua rasilimali mpya?" Hapa, AI ni msaidizi mwenye ujuzi wa juu katika kutafsiri milundo ya vipimo, kuashiria hitilafu, kusoma mwenendo na kutoa makadirio ya siku zijazo. Lakini tahadhari moja inashinda zaidi ya yote: AI huchota ruwaza kutoka kwa data ya kihistoria; Wewe ndiwe unayefanya uwekezaji wa rasilimali, kuongeza na kutoa maamuzi ya kiwango cha tahadhari kulingana na muktadha.

Katika kitengo hiki, dhana za ufuatiliaji kama vile msingi (mstari wa tabia ya kawaida), upungufu (mkengeuko kutoka kwa kawaida), percentile (asilimia); Ufafanuzi wa metriki na AI; mwenendo na utabiri wa ukuaji; na utajifunza kuweka kizingiti sahihi cha kengele.

Uongo wa wastani: kwa nini asilimia?

Makosa ya kawaida katika kufuatilia ni kupima kila kitu kwa wastani. Tuseme muda wako wa kujibu ni ms 200 kwa wastani. Inasikika vizuri. Lakini 5% ya watumiaji wanaweza kusubiri kwa sekunde 8; Wastani huficha hii. Ndiyo maana wataalamu hutumia percentile: p95 = "95% ya maombi yako chini ya muda huu." Ikiwa muda wa kujibu p95 ni sekunde 8, mtumiaji mmoja kati ya ishirini ana hali mbaya ya matumizi - wastani hauonyeshi hivyo. Unapotoa vipimo kwa AI, weka wazi ni takwimu gani unataka: "nifasiri p50, p95, na p99, sio wastani." Tabia hii moja inaonyesha shida zilizofichwa.

Kidokezo: Angalia asilimia kwa kila kipimo kinachohusu matumizi ya mtumiaji (muda wa kujibu, muda wa kusubiri); p95/p99 badala ya wastani inakufikisha kwa watu wachache wanaoteseka. Katika vipimo vya rasilimali (CPU, kumbukumbu), angalia maadili ya kilele na endelevu.

Hakuna hitilafu bila msingi

Kabla ya kubaini ikiwa kipimo ni "si cha kawaida," unahitaji kujua "kawaida." Msingi ni aina mbalimbali za tabia za mfumo katika siku za afya: "CPU hii ya huduma ya mchana kwa kawaida huwa 40–60%. Bila msingi, huwezi kujua kama thamani ya 70% ni ya kutisha au ya kawaida. Unaweza kuweka msingi kwa kutoa data ya kihistoria ya afya kwa AI na kusema "toa masafa ya kawaida na muundo wa kila siku/wiki wa kipimo hiki". Kisha unatafsiri data mpya kulingana na msingi huu: "thamani hii iko wapi kwa kawaida?" Tatizo ni mkengeuko muhimu na endelevu kutoka kwa msingi - kuruka mara moja kwa ghafla mara nyingi ni kelele.

Hatua kwa hatua: makadirio ya uwezo

  1. Kusanya historia safi na ya kutosha. Mwelekeo unahitaji angalau wiki chache za data, ikiwezekana kila mwezi. Makadirio yaliyofanywa na data ndogo ni nadhani, sio utabiri.
  2. Tofauti ya msimu. Trafiki hupungua wikendi, huongezeka mwishoni mwa mwezi, na hulipuka wakati wa kampeni. Iambie AI ​​mizunguko hii ili isichanganye ukuaji na mabadiliko ya msimu.
  3. Ondoa mtindo. "Hii diski imekua kwa wastani wa GB ngapi kwa wiki katika wiki 8 zilizopita?" AI huhesabu kiwango cha ukuaji.
  4. Uliza makadirio, weka nafasi nje. "Kwa kiwango hiki, diski itajaa 90% lini?" — lakini uliza masafa yenye matumaini/ya kukata tamaa, si tarehe moja. Wakati ujao hauna uhakika; nambari isiyo ya kawaida ni usahihi wa uwongo.
  5. Amua kizingiti cha uamuzi na watu. Ikiwa makadirio yanasema "Itakamilika baada ya wiki 6", unazingatia wakati wa kupata (kununua, kuidhinisha) na kuamua ikiwa utachukua hatua leo.
  6. Weka kengele kwa usahihi. Kengele nyeti sana hutoa kelele na uchovu wa kengele; pia kengele itakosa tukio. Pata pendekezo la kiwango cha juu kutoka kwa AI, lakini tambua kiwango cha mwisho kwa uvumilivu wako mwenyewe wa hatari.

kesi tatu ndogo

Kesi ya 1 - Wastani umefichwa, p99 ilionyesha. Timu moja ilifikiri API yao ilikuwa "ms 180 kwa wastani, sawa." Nilipolisha vipimo kwa AI na kuomba tafsiri ya asilimia, ilibainika kuwa p99 ilikuwa ms 6,400 - ombi moja kwa kila mia lilikuwa polepole kuliko sekunde 6. Chanzo kikuu kilikuwa swali la polepole la hifadhidata. Ingawa wastani alionekana mwenye afya, wachache walikuwa na uzoefu mbaya.

Kesi ya 2 - Makadirio yameonywa wiki 3 mapema. Msimamizi alitoa data ya umiliki wa diski ya kumbukumbu kwa AI. AI ilikisia mwelekeo wa ukuaji wa kila wiki wa ~ GB 7 na ilikadiria kuwa kwa kiwango cha sasa, 90% itafikiwa ndani ya siku 19, kukiwa na kipindi cha siku 16-23 cha matumaini. Kwa kuwa ilichukua siku 10 kusambaza diski mpya, timu iliamuru mara moja na kuzuia kukatika kabla halijatokea.

Kesi ya 3 - Rudi kutoka kwa makosa ya uwongo. Kengele ya ufuatiliaji ililia kila Jumapili usiku ikisema kwamba CPU inapanda hadi 95%. Kabla ya kuogopa, mhandisi alikuwa na AI kuongeza msingi: kuruka hii ilikuwa kazi iliyopangwa ya chelezo ambayo ilifanyika wakati huo huo kila wiki, kwa hivyo ilikuwa sehemu ya kawaida. Haikuwa hitilafu; msingi haukuwepo. Kiwango cha juu cha kengele kimerekebishwa kwa kipindi hicho na matukio ya kuamka usiku yasiyo ya lazima yametoweka.

Violezo vinne vinavyoweza kunakiliwa

1) Tafsiri ya kipimo (asilimia):

Zifuatazo ni vipimo vya muda wa kujibu [huduma] (zilizowekwa barakoa). Maoni kwangu p50, p95 na p99, sio wastani. Je, tofauti kati ya p99 na p50 inamaanisha nini, inaonyesha tatizo gani la uzoefu wa mtumiaji? Usiongeze maadili yaliyotengenezwa, tafsiri tu data ninayokupa. Data: [metrics]

2) Utoaji wa msingi:

Ifuatayo ni data ya afya [metric] ya wiki 4 zilizopita. Toa (1) masafa ya kawaida (2) muundo wa kila siku na wa wiki (k.m. kupungua kwa usiku, mchana wa juu) wa kipimo hiki. Kisha nitatoa thamani moja mpya; iainishe kama "kawaida/tahadhari/isiyo ya kawaida" kulingana na msingi huu.Data: [kipimo cha kihistoria]

3) Makadirio ya uwezo (pamoja na anuwai):

Ifuatayo ni wiki 8 za mwisho za [rasilimali] ya umiliki wa data. (1) Kokotoa wastani wa kiwango cha ukuaji wa kila wiki, (2) onyesha athari za msimu, (3) kadiria muda wa kufikia kiwango cha juu cha 90% kwa kiwango cha sasa, kwa viwango vya OPTIMISTIC na PESIMISTICAL. Toa tarehe moja, toa masafa, na uandike mawazo yako. Data: [saa mfululizo]

4) Pendekezo la kizingiti cha kengele:

Msingi wangu wa [metric] ni [range]. Lengo langu ni kupunguza kengele za uwongo bila kukosa matatizo halisi. Nipe pendekezo la (1) onyo na (2) kizingiti muhimu, kuhalalisha kila moja na kutathmini hatari ya uchovu wa kengele. Nitaamua kizingiti cha mwisho.

Mwongozo dhaifu / Mwongozo thabiti

Agizo dhaifu:

Je, seva yangu ni polepole?

Hakuna muktadha, hakuna vipimo na hakuna msingi. AI haijui ufafanuzi wa "polepole" wala haina thamani ya kawaida kuilinganisha nayo. Jibu ni nadhani isiyo na maana.

Agizo lenye nguvu:

Jukumu lako: mtaalamu wa kupanga uwezo. Ifuatayo ni siku 14 za mwisho za muda wa majibu ya p95 na maombi/data ya pili ya API (iliyowekwa barakoa). Msingi wangu ni 250-400 ms kwa p95. Niambie (1) weka alama siku ambazo zilitoka kwa msingi katika siku 14 zilizopita, (2) niambie ikiwa kuna uhusiano unaoonekana kati ya muda wa majibu na mzigo wa ombi (kama dhahania), (3) tabiri wapi p95 itaenda katika siku 30 ikiwa mwelekeo huu utaendelea. Data: [saa mfululizo]

Aina ya kipimo

kipimo kibaya

kipimo sahihi

wakati wa majibu

Wastani tu

p50, p95, p99

CPU/kumbukumbu

thamani ya papo hapo

Kilele + endelevu + msingi

ukuaji wa diski

Umiliki wa leo

Mwelekeo wa kila wiki + makadirio

Anomaly

kuruka moja

Mkengeuko unaoendelea kutoka kwa msingi

kengele

Kizingiti cha pekee cha kiholela

Onyo la sababu + kizingiti muhimu

Makosa ya kawaida

  • Kupima kila kitu kwa wastani. Wastani huficha uzoefu mbaya wa wachache; Angalia asilimia.
  • Inatafuta hitilafu bila msingi. Huwezi kusema kwamba thamani ni isiyo ya kawaida bila kujua nini ni kawaida; Unaunda kengele ya uwongo.
  • Kukosea msimu kwa mtindo. Kuchukulia kilele cha kampeni kama ukuaji wa kudumu na kuchukua rasilimali zisizo za lazima kunagharimu pesa.
  • Kutegemea makadirio ya nambari isiyo ya kawaida. "Siku 19 haswa" ni usahihi wa uwongo; Tumia safu ya matumaini-ya kukata tamaa.
  • Kusahau wakati wa kutafuta. Timu ambayo haizingatii kiwango cha juu cha makadirio na wakati wa ununuzi pamoja itapatikana katika kukatizwa.
Tahadhari: Makadirio ya mwenendo wa AI yanachukulia kuwa yaliyopita yataendelea hadi siku zijazo. Uzinduzi mpya wa bidhaa, uhamaji wa wateja, au mabadiliko ya usanifu hutatiza dhana hii. Ni kazi yako kusahihisha makadirio na muktadha wako.

Kwa muhtasari

Ufuatiliaji wa utendaji unajibu swali "ni nzuri sasa?" na kupanga uwezo hujibu swali "wakati haitoshi?" AI ni mshirika madhubuti katika kutafsiri vipimo, kuanzisha misingi, kuripoti hitilafu na makadirio ya mitindo. Lakini wastani wa uongo - tumia percentile; Bila msingi hakuna makosa - anzisha kawaida kwanza; tofauti ya msimu kutoka kwa mwenendo; na uchukue makadirio kama masafa, sio nambari moja. Uwekezaji wa rasilimali na maamuzi ya kiwango cha tahadhari ni ya kibinadamu, pamoja na wakati wa rasilimali na muktadha wa biashara.

Jukumu la maombi

Chukua data ya wiki chache zilizopita ili upate nyenzo (diski, kumbukumbu, muda wa majibu) kutoka kwa mifumo yako mwenyewe na ufunike maeneo nyeti. Ondoa fungu la visanduku na mchoro wa kawaida kwa kiolezo cha "Utoaji wa Msingi" hapo juu. Kisha uwe na kiolezo cha "Makadirio ya Uwezo" ubashiri lini utafikia kiwango cha juu zaidi, ukiwa na masafa ya matumaini-ya kukata tamaa. Pia, fanya kipimo cha muda wako wa majibu kufasiriwe kwa kutumia kiolezo cha "asilimia" na uone ikiwa kuna chochote ambacho wastani kinafichwa. Andika matokeo yako na hatua utakayochukua katika vipengele 5.

orodha ya ukaguzi

  • [ ] Je, niliangalia p95/p99 badala ya wastani katika vipimo vya muda wa kujibu?
  • [ ] Je, nimeanzisha msingi kutoka kwa data yenye afya kabla ya kutafuta hitilafu?
  • [ ] Je, nimetofautisha kushuka kwa thamani kwa msimu na mwenendo wa kudumu?
  • [ ] Je, nilichukulia makadirio kama masafa ya matumaini-ya kukata tamaa badala ya tarehe moja?
  • [ ] Je, nimetathmini muda wa kutafuta pamoja na kizingiti cha makadirio?
  • [ ] Je, niliweka kizingiti cha kengele kulingana na uvumilivu wangu mwenyewe wa hatari na sio pendekezo la AI?