Добивки:
- Способност правилно да се интерпретираат метрика со поддршка за вештачка интелигенција со користење на перцентил (p95/p99) и основна линија наместо просек
- Способност да се оддели сезонската од трендот и да се произведе проекција на капацитетот како оптимистичко-песимистички опсег наместо како единствен број
- Разбирање дека инвестициите во ресурси и одлуките за прагот на аларм се човечки, заедно со времето на испорака на ресурси и деловниот контекст.
Следење на капацитетот и перформансите: Читање метрика со вештачка интелигенција и планирање на иднината
Не можете да го видите здравјето на системот со свои очи; Тоа го разбирате преку метрика. Метриката е временски зависна нумеричка вредност на мерлива карактеристика на системот: користење на процесорот, зафатеност на меморија, слободен простор на дискот, мрежна доцнење, барања во секунда. Следењето на перформансите континуирано ги собира овие метрики и одговара на прашањето „дали системот е во ред сега?“ Планирањето на капацитетите оди чекор понатаму: одговара на прашањето „со ова темпо, кога ќе станам недоволен, кога треба да набавам нови ресурси? Овде, вештачката интелигенција е високо квалификуван асистент во толкувањето купишта метрика, означување на аномалии, читање на трендот и производство на идна проекција. Но, едно предупредување преовладува пред сè: ВИ извлекува обрасци од историски податоци; Вие сте тој што донесува одлуки за инвестирање во ресурси, скалирање и праг на предупредување со контекст.
Во оваа единица, концепти за следење како што се основна линија (линија на нормално однесување), аномалија (отстапување од нормалата), перцентил (процентил); Метричка интерпретација со вештачка интелигенција; прогноза за тренд и раст; и ќе научите да го поставите точниот праг на аларм.
Просекот лаги: зошто перцентил?
Најчеста грешка при следењето е да се измери сè со просек. Да речеме дека вашето време на одговор е во просек 200 ms. Звучи добро. Но, 5% од корисниците може да чекаат 8 секунди; Просекот го крие ова. Затоа професионалците користат перцентил: p95 = „95% од барањата се под овој временски период“. Ако времето на одговор на p95 е 8 секунди, еден од дваесет корисници има страшно искуство - просекот никогаш не го покажува тоа. Кога давате метрика на вештачката интелигенција, бидете јасни која статистика ја сакате: „интерпретирај ми p50, p95 и p99, а не просекот“. Оваа една навика открива скриени проблеми.
Совет: погледнете го перцентилот за секоја метрика што се однесува на корисничкото искуство (време на одговор, латентност); стр. Во метриката на ресурсите (процесорот, меморијата), погледнете ги и врвните и постојаните вредности.
Нема аномалија без основна линија
Пред да можете да препознаете дали метриката е „ненормална“, треба да знаете „нормална“. Основната линија е типичен опсег на однесување на системот во здрави денови: „овој сервисен работен ден напладне CPU обично е 40–60%“. Без основна линија, не можете да знаете дали вредноста од 70% е страшна или нормална. Може да поставите основна линија со давање историски здрави податоци на вештачката интелигенција и велејќи „извлечете го нормалниот опсег и дневната/неделната шема на оваа метрика“. Потоа ги толкувате новите податоци според оваа основна линија: "каде е оваа вредност во нормала?" Аномалија е значително и одржливо отстапување од основната линија - еден ненадеен скок често е бучава.
Чекор по чекор: проекција на капацитетот
- Соберете чиста и соодветна историја. Трендот бара најмалку неколку недели податоци, по можност месечно. Проекцијата направена со малку податоци е претпоставка, а не предвидување.
- Одделна сезона. Сообраќајот опаѓа за време на викендот, се зголемува на крајот на месецот и експлодира за време на кампањата. Кажете ѝ на вештачката интелигенција овие циклуси за да не го помеша растот со сезонските флуктуации.
- Тргнете го трендот. „Колку GB во просек растеше овој диск неделно во последните 8 недели? ВИ ја пресметува стапката на раст.
- Побарајте проекција, распоредете ја. „Со оваа стапка, кога дискот ќе биде полн 90%? — но побарајте оптимистички/песимистички опсег, а не единствен датум. Иднината е неизвесна; непарниот број е лажна прецизност.
- Одредете го прагот на одлучување со луѓето. Ако проекцијата вели „Ќе биде завршено за 6 недели“, го земате предвид времето за набавка (купување, одобрување) и одлучувате дали да преземете акција денес.
- Поставете го алармот правилно. Многу чувствителен аларм произведува бучава и аларм замор; премногу лабав аларм ќе го пропушти настанот. Добијте препорака за праг од вештачката интелигенција, но одредете го конечниот праг со сопствена толеранција на ризик.
три мини футроли
Случај 1 - Просек сокриен, покажа p99. Еден тим мислеше дека нивниот API е „180 ms во просек, добро“. Кога ја нахранив метриката на вештачката интелигенција и побарав интерпретација на перцентилот, се покажа дека p99 е 6.400 ms - едно од сто барања беше побавно од 6 секунди. Главната причина беше бавното барање во базата на податоци. Додека просекот изгледаше здрав, малцинството имаше страшно искуство.
Случај 2 - Проекцијата е предупредена 3 недели однапред. Администратор ги дал податоците за зафатеноста на дневникот на дискот на вештачката интелигенција. Вештачката интелигенција заклучи неделен тренд на раст од ~ 7 GB и предвиде дека со сегашната стапка, 90% ќе се постигне во рок од 19 дена, со оптимистичко-песимистички опсег од 16-23 дена. Бидејќи беа потребни 10 дена за снабдување со нови дискови, тимот веднаш нарача и го спречи прекинот пред да се случи.
Случај 3 - Враќање од лажна аномалија. Алармот за следење се вклучуваше секоја недела навечер велејќи дека процесорот се зголемува до 95%. Пред да паничи, инженерот побарал ВИ да ја подигне основната линија: овој скок беше планирана резервна работа што се случуваше во исто време секоја недела, така што беше дел од нормата. Тоа не беше аномалија; недостасуваше основната линија. Прагот на аларм е коригиран за тој временски период и исчезнаа непотребните ноќни будења.
Четири шаблони за копирање
1) Метричко толкување (процентил):
Подолу се дадени метриките за времето на одговор на [услугата] (маскирани). Коментирајте ми p50, p95 и p99, а не просекот. Што значи разликата помеѓу p99 и p50, на кој проблем со корисничкото искуство укажува? Не додавајте измислени вредности, само толкувајте ги податоците што ви ги давам. Податоци: [метрика]
2) Одземање на основната линија:
Подолу се здравите [метрички] податоци за последните 4 недели. Извлечете го (1) нормалниот опсег (2) дневната и неделната шема (на пр. ноќно ниско, високо пладне) на оваа метрика. Тогаш ќе дадам единствена нова вредност; класифицирајте го како „нормално/внимателно/абнормално“ врз основа на оваа основна линија. Податоци: [историска метрика]
3) Проекција на капацитет (со опсег):
Подолу се дадени податоците за зафатеноста на [ресурси] последните 8 недели. (1) Пресметајте ја неделната просечна стапка на раст, (2) означете ги сезонските ефекти, (3) проценете го времето за достигнување на прагот од 90% со сегашната стапка, со ОПТИМИСТИЧКИ и ПЕСМИСТИЧКИ опсези. Наведете еден датум, наведете опсег и запишете ги вашите претпоставки. Податоци: [временска серија]
4) Препорака за праг на аларм:
Мојата основна линија за [метрика] е [опсег]. Мојата цел е да ги минимизирам лажните аларми без да пропуштам вистински проблеми. Дајте ми препорака за (1) предупредување и (2) критичен праг, оправдувајќи го секој и проценувајќи го ризикот од замор од алармот. Јас ќе го одредам конечниот праг.
Слаб промпт / Силен промпт
Слаба навестување:
Дали мојот сервер е бавен?
Нема контекст, нема метрика и нема основна линија. Вештачката интелигенција ниту ја знае дефиницијата за „бавна“ ниту има нормална вредност со која може да се спореди. Одговорот е неактивен претпоставка.
Моќен потсетник:
Вашата улога: специјалист за планирање капацитет. Подолу се последните 14 дена од времето на одговор на p95 и податоци за барања/секунда на API (маскирани). Мојата основна линија е 250-400 ms за p95. Кажи ми (1) означи ги деновите што излегле од основната линија во последните 14 дена, (2) кажи ми дали има видлива врска помеѓу времето на одговор и оптоварувањето на барањето (како хипотеза), (3) предвиди каде ќе оди p95 за 30 дена ако овој тренд продолжи. Податоци: [временска серија]
Метрички тип
погрешно мерење
точно мерење
време на одговор
Само просечно
p50, p95, p99
Процесор/меморија
моментална вредност
Врв + одржлив + основна линија
раст на дискот
Денешното вселување
Неделен тренд + проекција
Аномалија
единечно отскокнување
Континуирано отстапување од основната линија
аларм
Произволен единствен праг
Аргументирано предупредување + критичен праг
Вообичаени грешки
- Мерење на сè со просек. Просекот го крие лошото искуство на малкумина; Видете перцентил.
- Барање аномалии без основна линија. Не можете да кажете дека вредноста е ненормална без да знаете што е нормално; Вие создавате лажен аларм.
- Погрешно сезонско за тренд. Третирањето на врвот на кампањата како постојан раст и преземањето непотребни ресурси чини пари.
- Потпирајќи се на проекција на непарни броеви. „Точно 19 дена“ е лажна прецизност; Користете го оптимистичко-песимистичкиот опсег.
- Заборавајќи го времето за набавка. Тимот што нема да го земе предвид прагот на проекција и времето за купување заедно ќе биде фатен во прекин.
Внимание: проекцијата на трендот на вештачката интелигенција претпоставува дека минатото ќе продолжи и во иднината. Лансирањето на нов производ, миграцијата на клиентите или архитектонската промена ја нарушува оваа претпоставка. Ваша задача е да ја поправите проекцијата со вашиот контекст.
Сумирано
Мониторингот на перформансите одговара на прашањето „дали е добро сега? а планирањето на капацитетите одговара на прашањето „кога не е доволно?“ Вештачката интелигенција е моќен партнер во толкувањето на метрика, воспоставувањето основни линии, означувањето на аномалии и проектирањето трендови. Но, просечната лаги - користете перцентил; Без основна линија нема аномалија - прво воспоставете го нормалното; одделете ја сезонската од трендот; и земете ја проекцијата како опсег, а не како еден број. Инвестициите во ресурси и одлуките за прагот на алармирање се човечки, заедно со времето на испорака на ресурси и деловниот контекст.
Задача за апликација
Земете ги последните неколку недели податоци за ресурс (диск, меморија, време на одговор) од вашите сопствени системи и маскирајте ги чувствителните области. Одземете го нормалниот опсег и шема со шаблонот „Одземање на основната линија“ погоре. Потоа нека шаблонот „Проекција на капацитет“ предвиди кога ќе достигнете праг, со оптимистичко-песимистички опсег. Исто така, интерпретирајте ја вашата метрика за време на одговор со помош на шаблонот „процентил“ и проверете дали има нешто што го крие просекот. Запишете ги вашите наоди и дејството што ќе го преземете во 5 ставки.
листа за проверка
- [ ] Дали погледнав во p95/p99 наместо просечни метрика за време на одговор?
- [ ] Дали воспоставив основна линија од здрави податоци пред да барам аномалии?
- [ ] Дали ги разликував сезонските флуктуации од постојаните трендови?
- [ ] Дали проекцијата ја сфатив како оптимистичко-песимистички опсег наместо како единствен датум?
- [ ] Дали го проценив времето на набавка заедно со прагот на проекција?
- [ ] Дали го поставив прагот на алармот врз основа на мојата сопствена толеранција на ризик, а не на препорака за вештачка интелигенција?