Lợi nhuận:
- Khả năng diễn giải các số liệu một cách chính xác với sự hỗ trợ của trí tuệ nhân tạo bằng cách sử dụng phần trăm (p95/p99) và đường cơ sở thay vì mức trung bình
- Khả năng tách tính thời vụ khỏi xu hướng và đưa ra dự báo năng lực dưới dạng phạm vi lạc quan-bi quan thay vì một con số duy nhất
- Hiểu rằng các quyết định về đầu tư nguồn lực và ngưỡng cảnh báo đều thuộc về con người, cùng với thời gian cung cấp nguồn lực và bối cảnh kinh doanh.
Giám sát năng lực và hiệu suất: Đọc số liệu bằng AI và lập kế hoạch cho tương lai
Bạn không thể tận mắt nhìn thấy tình trạng của một hệ thống; Bạn hiểu nó thông qua các số liệu. Số liệu là giá trị số phụ thuộc vào thời gian của một đặc tính có thể đo lường được của hệ thống: mức sử dụng CPU, mức chiếm dụng bộ nhớ, dung lượng trống trên ổ đĩa, độ trễ mạng, số yêu cầu mỗi giây. Giám sát hiệu suất liên tục thu thập các số liệu này và trả lời câu hỏi "hệ thống hiện tại có ổn không?" Việc lập kế hoạch năng lực tiến thêm một bước nữa: Nó trả lời câu hỏi "với tốc độ này, khi nào tôi sẽ không đủ năng lực, khi nào tôi nên mua tài nguyên mới?" Ở đây, AI là một trợ lý có tay nghề cao trong việc diễn giải hàng loạt số liệu, đánh dấu các điểm bất thường, đọc xu hướng và đưa ra dự báo trong tương lai. Nhưng có một điều cần lưu ý hơn hết: AI trích xuất các mẫu từ dữ liệu lịch sử; Bạn là người đưa ra các quyết định về đầu tư tài nguyên, mở rộng quy mô và ngưỡng cảnh báo tùy theo ngữ cảnh.
Trong đơn vị này, các khái niệm giám sát như đường cơ sở (đường hành vi bình thường), sự bất thường (độ lệch so với bình thường), phần trăm (percentile); Giải thích số liệu với AI; dự báo xu hướng và tăng trưởng; và bạn sẽ học cách đặt ngưỡng báo động chính xác.
Lời nói dối trung bình: tại sao lại là phần trăm?
Sai lầm phổ biến nhất trong việc theo dõi là đo lường mọi thứ bằng mức trung bình. Giả sử thời gian phản hồi của bạn trung bình là 200 ms. Nghe có vẻ hay đấy. Nhưng 5% người dùng có thể đợi 8 giây; Mức trung bình che giấu điều này. Đó là lý do tại sao các chuyên gia sử dụng phân vị: p95 = "95% yêu cầu nằm dưới khoảng thời gian này." Nếu thời gian phản hồi của p95 là 8 giây thì cứ 20 người dùng thì có 1 người đang có trải nghiệm tồi tệ - mức trung bình không bao giờ cho thấy điều đó. Khi đưa ra số liệu cho AI, hãy nêu rõ thống kê nào bạn muốn: "giải thích p50, p95 và p99 cho tôi, không phải mức trung bình." Thói quen này bộc lộ những vấn đề tiềm ẩn.
Mẹo: Xem phân vị cho mọi số liệu liên quan đến trải nghiệm người dùng (thời gian phản hồi, độ trễ); p95/p99 thay vì mức trung bình sẽ đưa bạn đến với nhóm thiểu số thực sự đau khổ. Trong số liệu tài nguyên (CPU, bộ nhớ), hãy xem xét cả giá trị cao nhất và giá trị duy trì.
Không có sự bất thường nếu không có đường cơ sở
Trước khi có thể biết liệu một số liệu có “bất thường” hay không, bạn cần biết “bình thường”. Đường cơ sở là phạm vi hành vi điển hình của hệ thống vào những ngày khỏe mạnh: "CPU buổi trưa các ngày trong tuần của dịch vụ này thường là 40–60%". Nếu không có đường cơ sở, bạn không thể biết giá trị 70% là đáng sợ hay bình thường. Bạn có thể đặt đường cơ sở bằng cách cung cấp dữ liệu lành mạnh trong quá khứ cho AI và nói "trích xuất phạm vi bình thường và mô hình hàng ngày/hàng tuần của số liệu này". Sau đó, bạn diễn giải dữ liệu mới theo đường cơ sở này: "giá trị này ở đâu là bình thường?" Sự bất thường là sự sai lệch đáng kể và kéo dài so với đường cơ sở — một bước nhảy đột ngột thường gây ra tiếng ồn.
Từng bước: dự báo năng lực
- Thu thập bệnh sử rõ ràng và đầy đủ. Một xu hướng cần ít nhất một vài tuần dữ liệu, tốt nhất là hàng tháng. Phép chiếu được thực hiện với ít dữ liệu là phỏng đoán chứ không phải dự đoán.
- Tính thời vụ riêng biệt. Traffic giảm vào cuối tuần, tăng vào cuối tháng và bùng nổ trong thời gian diễn ra chiến dịch. Nói cho AI biết những chu kỳ này để nó không nhầm lẫn giữa tăng trưởng với biến động theo mùa.
- Đi theo xu hướng. "Trung bình ổ đĩa này đã tăng bao nhiêu GB mỗi tuần trong 8 tuần qua?" AI tính toán tốc độ tăng trưởng.
- Yêu cầu chiếu, giãn nó ra. "Với tốc độ này, khi nào đĩa sẽ đầy 90%?" - nhưng hãy yêu cầu một phạm vi lạc quan/bi quan chứ không phải một ngày nào đó. Tương lai là không chắc chắn; số lẻ là độ chính xác sai.
- Xác định ngưỡng quyết định với mọi người. Nếu dự đoán cho biết "Nó sẽ hoàn thành sau 6 tuần", bạn hãy xem xét thời gian tìm nguồn cung ứng (mua hàng, phê duyệt) và quyết định có nên hành động ngay hôm nay hay không.
- Đặt báo thức chính xác. Báo động rất nhạy tạo ra tiếng ồn và báo động mệt mỏi; quá lỏng báo động sẽ bỏ lỡ sự kiện. Nhận đề xuất ngưỡng từ AI, nhưng hãy xác định ngưỡng cuối cùng bằng mức độ chấp nhận rủi ro của riêng bạn.
ba trường hợp nhỏ
Trường hợp 1 - Ẩn trung bình, p99 hiển thị. Một nhóm cho rằng API của họ "trung bình là 180 mili giây, vừa đủ". Khi tôi cung cấp số liệu cho AI và yêu cầu giải thích phần trăm, hóa ra p99 là 6.400 mili giây - cứ một trăm yêu cầu thì có một yêu cầu chậm hơn 6 giây. Nguyên nhân cốt lõi là do truy vấn cơ sở dữ liệu chậm. Trong khi người bình thường có vẻ khỏe mạnh thì thiểu số lại phải trải qua một trải nghiệm khủng khiếp.
Trường hợp 2 - Dự đoán được cảnh báo trước 3 tuần. Quản trị viên đã cung cấp dữ liệu chiếm dụng đĩa nhật ký cho AI. AI suy ra xu hướng tăng trưởng hàng tuần là ~7 GB và dự đoán rằng với tốc độ hiện tại, sẽ đạt được 90% trong vòng 19 ngày, với phạm vi lạc quan-bi quan là 16–23 ngày. Vì phải mất 10 ngày để cung cấp đĩa mới nên nhóm đã đặt hàng ngay lập tức và ngăn chặn tình trạng ngừng hoạt động trước khi nó xảy ra.
Trường hợp 3 - Trở về từ dị thường sai. Một cảnh báo giám sát đã vang lên vào mỗi tối Chủ nhật cho biết CPU đang tăng tới 95%. Trước khi hoảng sợ, kỹ sư đã yêu cầu AI nâng cao mức cơ bản: bước nhảy này là một công việc dự phòng đã được lên kế hoạch diễn ra vào cùng một thời điểm hàng tuần nên nó là một phần của tiêu chuẩn. Đó không phải là một điều bất thường; đường cơ sở đã bị thiếu. Ngưỡng báo động đã được sửa trong khoảng thời gian đó và những lần thức giấc ban đêm không cần thiết đã không còn nữa.
Bốn mẫu có thể sao chép
1) Giải thích số liệu (phân vị):
Dưới đây là số liệu về thời gian phản hồi của [dịch vụ] (được che giấu). Nhận xét với tôi p50, p95 và p99, không phải mức trung bình. Sự khác biệt giữa p99 và p50 có nghĩa là gì, nó chỉ ra vấn đề gì về trải nghiệm người dùng? Đừng thêm các giá trị giả tạo, chỉ diễn giải dữ liệu tôi cung cấp cho bạn. Dữ liệu: [số liệu]
2) Phép trừ đường cơ sở:
Dưới đây là dữ liệu [số liệu] lành mạnh trong 4 tuần qua. Trích xuất (1) phạm vi bình thường (2) mô hình hàng ngày và hàng tuần (ví dụ: mức thấp nhất vào ban đêm, mức cao nhất vào buổi trưa) của số liệu này. Sau đó tôi sẽ đưa ra một giá trị mới; phân loại nó là "bình thường/thận trọng/bất thường" dựa trên đường cơ sở này. Dữ liệu: [số liệu lịch sử]
3) Dự báo công suất (có phạm vi):
Dưới đây là dữ liệu về tỷ lệ lấp đầy của [tài nguyên] trong 8 tuần qua. (1) Tính tốc độ tăng trưởng trung bình hàng tuần, (2) chỉ ra tác động theo mùa, (3) ước tính thời gian đạt ngưỡng 90% ở tốc độ hiện tại, với phạm vi OPTIMISTIC và PESIMISTICAL. Đưa ra một ngày cụ thể, đưa ra phạm vi và viết ra các giả định của bạn. Dữ liệu: [chuỗi thời gian]
4) Khuyến nghị về ngưỡng báo động:
Đường cơ sở của tôi cho [số liệu] là [phạm vi]. Mục tiêu của tôi là giảm thiểu cảnh báo sai mà không bỏ sót các vấn đề thực tế. Hãy cho tôi đề xuất về (1) cảnh báo và (2) ngưỡng tới hạn, biện minh cho từng ngưỡng và đánh giá nguy cơ mệt mỏi khi cảnh báo. Tôi sẽ xác định ngưỡng cuối cùng.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Máy chủ của tôi có chậm không?
Không có bối cảnh, không có số liệu và không có đường cơ sở. AI không biết định nghĩa "chậm" cũng như không có giá trị bình thường để so sánh. Câu trả lời là một phỏng đoán nhàn rỗi.
Lời nhắc mạnh mẽ:
Vai trò của bạn: chuyên gia hoạch định năng lực. Dưới đây là 14 ngày qua về thời gian phản hồi p95 và dữ liệu yêu cầu/giây của API (được che). Đường cơ sở của tôi là 250-400 ms cho p95. Hãy cho tôi biết (1) đánh dấu những ngày vượt quá mức cơ bản trong 14 ngày qua, (2) cho tôi biết liệu có mối quan hệ rõ ràng giữa thời gian phản hồi và tải yêu cầu (dưới dạng giả thuyết), (3) dự đoán p95 sẽ đi đến đâu sau 30 ngày nếu xu hướng này tiếp tục. Dữ liệu: [chuỗi thời gian]
Loại số liệu
đo sai
đo lường chính xác
thời gian đáp ứng
Chỉ ở mức trung bình
p50, p95, p99
CPU/bộ nhớ
giá trị tức thời
Đỉnh + duy trì + đường cơ sở
tăng trưởng đĩa đệm
Công suất phòng ngày hôm nay
Xu hướng hàng tuần + dự báo
sự bất thường
cú nảy đơn
Độ lệch liên tục so với đường cơ sở
báo động
Ngưỡng đơn tùy ý
Cảnh báo hợp lý + ngưỡng quan trọng
Những lỗi thường gặp
- Đo lường mọi thứ với mức trung bình. Người trung bình che giấu trải nghiệm tồi tệ của số ít; Xem phần trăm.
- Tìm kiếm sự bất thường mà không có đường cơ sở. Bạn không thể nói rằng một giá trị là bất thường nếu không biết thế nào là bình thường; Bạn tạo ra một báo động sai.
- Nhầm lẫn tính thời vụ với một xu hướng. Coi thời kỳ đỉnh cao của chiến dịch là sự tăng trưởng lâu dài và việc sử dụng các nguồn lực không cần thiết sẽ tốn kém tiền bạc.
- Dựa vào phép chiếu số lẻ. “Chính xác là 19 ngày” là độ chính xác sai; Sử dụng phạm vi lạc quan-bi quan.
- Quên thời gian tìm nguồn cung ứng. Nhóm không xem xét ngưỡng dự kiến và mua thời gian cùng nhau sẽ bị gián đoạn.
Thận trọng: Dự báo xu hướng của AI giả định rằng quá khứ sẽ tiếp diễn trong tương lai. Việc ra mắt sản phẩm mới, sự di chuyển của khách hàng hoặc thay đổi kiến trúc sẽ phá vỡ giả định này. Công việc của bạn là điều chỉnh phép chiếu phù hợp với ngữ cảnh của bạn.
Tóm lại
Giám sát hiệu suất trả lời câu hỏi "hiện tại nó có tốt không?" và hoạch định năng lực trả lời câu hỏi “khi nào là chưa đủ?” AI là đối tác mạnh mẽ trong việc giải thích các số liệu, thiết lập đường cơ sở, đánh dấu các điểm bất thường và dự đoán xu hướng. Nhưng lời nói dối trung bình - hãy sử dụng phần trăm; Không có đường cơ sở thì không có bất thường - trước tiên hãy thiết lập mức bình thường; tách tính thời vụ khỏi xu hướng; và lấy hình chiếu dưới dạng một phạm vi chứ không phải một số. Các quyết định về đầu tư nguồn lực và ngưỡng cảnh báo đều thuộc về con người, cùng với thời gian thực hiện nguồn lực và bối cảnh kinh doanh.
Nhiệm vụ ứng dụng
Lấy dữ liệu trong vài tuần qua về tài nguyên (đĩa, bộ nhớ, thời gian phản hồi) từ hệ thống của riêng bạn và che giấu các khu vực nhạy cảm. Trừ phạm vi và mẫu thông thường bằng mẫu "Phép trừ đường cơ sở" ở trên. Sau đó, dùng mẫu "Dự báo năng lực" dự đoán thời điểm bạn sẽ đạt đến ngưỡng, với phạm vi lạc quan-bi quan. Ngoài ra, hãy giải thích số liệu về thời gian phản hồi của bạn bằng cách sử dụng mẫu "phần trăm" và xem liệu có điều gì mà mức trung bình đang ẩn giấu hay không. Viết ra những phát hiện của bạn và hành động bạn sẽ thực hiện trong 5 mục.
danh sách kiểm tra
- [ ] Tôi đã xem xét p95/p99 thay vì mức trung bình trong số liệu thời gian phản hồi chưa?
- [ ] Tôi đã thiết lập đường cơ sở từ dữ liệu lành mạnh trước khi tìm kiếm điểm bất thường chưa?
- [ ] Tôi đã phân biệt được biến động theo mùa với xu hướng cố định chưa?
- [ ] Tôi có coi dự đoán là phạm vi lạc quan-bi quan thay vì một ngày duy nhất không?
- [ ] Tôi đã đánh giá thời gian tìm nguồn cung ứng cùng với ngưỡng dự kiến chưa?
- [ ] Tôi có đặt ngưỡng cảnh báo dựa trên mức độ chấp nhận rủi ro của riêng mình chứ không phải dựa trên khuyến nghị của AI không?