Lợi nhuận:
- Khả năng hiểu vòng đời của một sự cố (phát hiện, phân loại, giảm thiểu, giải quyết, khám nghiệm tử thi), các chỉ số MTTD/MTTR và nguyên tắc 'giảm thiểu trước, điều tra sau'
- Khả năng sử dụng AI để thu hẹp các giả thuyết tại thời điểm xảy ra sự cố và tạo ra bản phác thảo khám nghiệm tử thi vô tội, xác thực từng nguyên nhân gốc rễ bằng dữ liệu
- Khả năng áp dụng kỷ luật viết bằng ngôn ngữ không đổ lỗi cho việc khám nghiệm tử thi và chia sẻ dữ liệu sự kiện bằng cách che giấu nó.
Mọi hệ thống cuối cùng đều bị phá vỡ. Sự khác biệt là cách các đội giỏi chuẩn bị cho sự kiện không thể tránh khỏi này và cách họ học hỏi. Sự cố là một sự kiện bất ngờ làm gián đoạn hoặc có nguy cơ làm gián đoạn dịch vụ: sự cố dịch vụ, thời gian phản hồi tăng vọt, mất dữ liệu. Quản lý sự cố có nghĩa là phát hiện, giảm nhẹ, giải quyết sự cố nhanh nhất có thể và sau đó rút kinh nghiệm từ đó. Đây là nguyên tắc thúc đẩy các chuyên gia DevOps và SRE (Kỹ thuật độ tin cậy của trang web) cả ngày lẫn đêm.
Hai số liệu quan trọng đo lường chất lượng của sự kiện: MTTD (Thời gian trung bình để phát hiện) và MTTR (Thời gian trung bình để phục hồi). Mục tiêu là thu nhỏ cả hai. AI bổ sung hai giá trị lớn ở đây: nhanh chóng tóm tắt nhật ký và số liệu tại thời điểm diễn ra sự kiện để thu hẹp nguyên nhân gốc rễ có thể xảy ra và nhanh chóng soạn thảo bản khám nghiệm tử thi (báo cáo điều tra sau sự kiện) sau sự kiện. Nhưng các quyết định về diễn biến của sự kiện - tắt dịch vụ nào, khôi phục, nói gì với khách hàng - là của bạn.
Vòng đời của một sự kiện
- Phát hiện: Có âm thanh báo động hoặc có khiếu nại của khách hàng. Càng sớm càng tốt.
- Triage: Nó nghiêm trọng đến mức nào? Tên miền là gì? Mức độ nghiêm trọng được chỉ định—thường là SEV1 (quan trọng nhất, toàn bộ hệ thống) đến SEV4 (nhỏ).
- Tập hợp đội phản ứng của bạn. Trong các sự cố nghiêm trọng, người chỉ huy sự cố sẽ đảm nhận việc phối hợp.
- Giảm thiểu: Trước tiên hãy cầm máu - thường là khôi phục hoặc che cờ. Bạn sẽ tìm ra nguyên nhân gốc rễ sau này.
- Giải quyết: Áp dụng bản sửa lỗi vĩnh viễn.
- Tìm hiểu (sau khám nghiệm tử thi): Chuyện gì đã xảy ra, tại sao nó lại xảy ra, làm cách nào để ngăn chặn nó xảy ra lần nữa?
Mẹo: Một trong những sai lầm đắt giá nhất vào thời điểm xảy ra sự việc là trì hoãn việc cầm máu vì “trước tiên hãy tìm hiểu nguyên nhân gốc rễ chính xác”. Quy tắc: giảm đầu tiên (khôi phục/khôi phục dịch vụ), sau đó hỏi. Quay trở lại một phiên bản nổi tiếng thường là cách giảm thiểu nhanh nhất.
Văn hóa khám nghiệm tử thi không có tội
Cốt lõi của những đội ngũ lành mạnh là văn hóa khám nghiệm tử thi vô tội vạ: mục tiêu không phải là “ai đã làm điều đó” mà là “hệ thống và quy trình nào đã cho phép xảy ra sai lầm này?” là câu hỏi. Người ta giấu lỗi nếu biết mình sẽ bị trừng phạt; Lỗi ẩn được lặp lại. Khám nghiệm tử thi không phải là báo cáo buộc tội mà là tài liệu học tập.
Một bản khám nghiệm tử thi tốt bao gồm: bản tóm tắt, tác động (có bao nhiêu người dùng, trong bao lâu, bao nhiêu tiền), dòng thời gian, (các) nguyên nhân cốt lõi, điều gì đã diễn ra tốt/xấu và các mục hành động—các biện pháp cụ thể, mỗi mục có chủ sở hữu và ngày tháng.
Thận trọng: Khi viết bản khám nghiệm tử thi bằng AI, hãy nhớ loại bỏ ngôn ngữ buộc tội (cụ thể là “người X đã mắc lỗi”). Đồng thời che dấu ID khách hàng, IP nội bộ và bí mật khi cung cấp dữ liệu sự kiện cho AI — các bản khám nghiệm tử thi thường được chia sẻ rộng rãi.
Phân tích nguyên nhân gốc rễ: 5 Whys và AI
Một kỹ thuật cổ điển là "5 Whys": hỏi "tại sao?" đến một vấn đề. Bằng cách hỏi đi hỏi lại, bạn sẽ đi từ triệu chứng hời hợt đến căn nguyên thực sự. "Dịch vụ bị lỗi. Tại sao? Hết bộ nhớ. Tại sao? Có rò rỉ. Tại sao? Một bản cập nhật thư viện..." AI nhanh chóng xây dựng chuỗi này và đề xuất các nhánh có thể có — nhưng bạn phải xác minh từng "lý do" bằng dữ liệu của mình; AI cũng có thể xây dựng một chuỗi hợp lý nhưng sai lầm.
Bảng mức độ nghiêm trọng
Cấp độ
tác động
ví dụ
sự can thiệp
SEV1
Toàn bộ hệ thống/tổn thất kinh doanh nghiêm trọng
Thanh toán bị giảm hoàn toàn
Ngay lập tức, toàn đội, người chỉ huy
SEV2
Rối loạn chức năng chính
Đăng nhập không thành công
Hỗ trợ nhanh chóng, theo yêu cầu
SEV3
Hiệu ứng một phần/hạn chế
Báo cáo bị trì hoãn
trong giờ làm việc
SEV4
nhỏ/mỹ phẩm
lỗi đánh máy
hàng đợi công việc bình thường
ba trường hợp nhỏ
Trường hợp 1 - MTTR từ 45 phút đến 8 phút. Dịch vụ thanh toán bị lỗi. Kỹ sư đang làm nhiệm vụ đã cung cấp nhật ký đeo mặt nạ và thông tin triển khai lần cuối cho AI và hỏi "Điều gì có khả năng kích hoạt nhất trong 20 phút qua?" anh ấy hỏi. AI cho thấy sự sụp đổ bắt đầu vào cùng thời điểm với lần triển khai cuối cùng. Người kỹ sư ngay lập tức quay lại phiên bản đó; Dịch vụ trở lại sau 8 phút. Nguyên nhân cốt lõi (lỗi nhóm kết nối trong phiên bản mới) sau đó đã được điều tra một cách thuận tiện.
Trường hợp 2—bản phác thảo sau khi chết trong 20 phút. Sau SEV2, cả nhóm mệt mỏi và không còn sức để viết báo cáo; thường thì báo cáo bị trì hoãn hàng tuần. Lần này, họ đưa ra dòng thời gian và ghi chú sự việc cho AI và tạo ra bản phác thảo khám nghiệm tử thi không có tội phạm. AI đã tạo ra một khuôn khổ gọn gàng cho các mục tác động, dòng thời gian và hành động; Nhóm đã điền thông tin thực tế vào đó và xuất bản nó sau 20 phút. Bài học không bị mất.
Trường hợp 3 - sai nguyên nhân gốc bị bắt. Trong một trường hợp, AI cho biết "gây ra tình trạng quá tải cơ sở dữ liệu" và điều đó có vẻ hợp lý. Nhưng kỹ sư đã xác nhận các số liệu: tải cơ sở dữ liệu vẫn bình thường vào thời điểm xảy ra sự cố. Nguyên nhân thực sự là do sự cố DNS bên ngoài. Giả thuyết ban đầu về AI rất linh hoạt nhưng sai lầm; Việc xác thực dữ liệu đã ngăn chặn việc xuất bản báo cáo với kết luận không chính xác.
Bốn mẫu có thể sao chép
1) Phân loại nhanh tại thời điểm xảy ra sự cố:
Chúng tôi đang trải qua một sự kiện sản xuất. Các triệu chứng bị che giấu: [ TRIỆU CHỨNG ]. Thay đổi lần cuối: [ TRIỂN KHAI/THAY ĐỔI CUỐI CÙNG]. Hãy cung cấp cho tôi:(1) 3 giả thuyết nguyên nhân gốc rễ có khả năng xảy ra nhất theo thứ tự xác suất, (2) lệnh/số liệu sẽ xác minh từng giả thuyết trong 1 phút, (3) bước giảm thiểu AN TOÀN nhanh nhất (ví dụ: khôi phục). Nói đúng ra; Nói rằng tôi phải xác minh từng giả thuyết.
2) Phác họa tử thi vô tội:
Viết một bản phác thảo khám nghiệm tử thi vô tội từ các ghi chú sự việc dưới đây. Các phần: Tóm tắt, Tác động (người dùng/thời lượng/chi phí), Dòng thời gian, (Các) nguyên nhân gốc rễ, Điều gì đã diễn ra tốt đẹp, Điều gì đã xảy ra không tốt, các mục Hành động (mỗi mục có chủ sở hữu + trường ngày). Tập trung vào việc đặt tên, quy trình và hệ thống. Ghi chú: [MẶT NẠ]
3) Phân tích 5 Tại sao:
Xây dựng chuỗi "5 Tại sao", bắt đầu bằng triệu chứng sau: [ TRIỆU CHỨNG]. Hiển thị xem có nhiều hơn một nhánh có thể có ở mỗi bước hay không. Bên cạnh mỗi câu hỏi "tại sao", hãy viết bằng chứng (log/số liệu) mà tôi sẽ xem xét để xác minh nó. Cuối cùng, đánh dấu những bước chưa được xác minh.
4) Tạo các mục có thể hành động:
Theo nguyên nhân cốt lõi này, hãy đề xuất các mục có thể hành động để ngăn chặn sự kiện tương tự tái diễn. Phân loại từng hạng mục theo: (a) phòng ngừa, phát hiện hoặc giảm thiểu, (b) nỗ lực ước tính, (c) tác động. Sắp xếp theo tỷ lệ tác động/nỗ lực cao nhất. Nguyên nhân sâu xa: [X]
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: "Dịch vụ đã gặp sự cố, tôi phải làm sao?"
Kết quả: không có bối cảnh; AI có thể đưa ra các khuyến nghị chung không phù hợp với trường hợp của bạn và thậm chí có thể đưa ra nguyên nhân gốc rễ rõ ràng.
Strong: "Dịch vụ thanh toán sản xuất đã đưa ra 5xx trong 5 phút. Lần triển khai cuối cùng là 6 phút trước. Đưa ra 3 giả thuyết nguyên nhân gốc rễ có khả năng xảy ra nhất theo thứ tự xác suất, ra lệnh sẽ xác minh từng giả thuyết đó và đề xuất biện pháp giảm thiểu an toàn nhanh nhất. Đừng cụ thể, hãy nói rằng tôi cần xác minh."
Sự khác biệt: lời nhắc thứ hai đưa ra triệu chứng, thời gian và thay đổi cuối cùng; nó yêu cầu giả thuyết + xác minh + rút gọn và giữ cho AI không chính xác.
Những lỗi thường gặp
- Tìm kiếm nguyên nhân gốc rễ chính xác trước khi giảm nhẹ. Nó trì hoãn việc cầm máu và tăng MTTR.
- Công bố giả thuyết đầu tiên về AI mà không xác minh nó. Chất lỏng nhưng gốc sai gây rò rỉ vào báo cáo.
- Ngôn ngữ buộc tội. Việc khám nghiệm tử thi được viết ẩn danh sẽ tạo điều kiện cho việc che giấu và lặp lại lỗi.
- Báo cáo định hướng hành động không có dấu đầu dòng. Một đề xuất không có chủ sở hữu và ngày tháng sẽ không bao giờ được thực hiện.
- Chia sẻ dữ liệu sự kiện mà không che giấu nó. Postmortem đến với đông đảo khán giả; dữ liệu bí mật/cá nhân bị rò rỉ.
- Không chuẩn bị trước đường dẫn rollback. Nếu việc đảo ngược không thực tế thì quá trình giảm sẽ bị chậm lại.
Tóm lại
Quản lý sự cố là việc nhanh chóng phát hiện, giảm thiểu, giải quyết và rút kinh nghiệm từ những sự kiện không thể tránh khỏi; MTTD và MTTR là những số liệu chính. Nguyên tắc vàng là "giảm thiểu trước, điều tra sau" và quay lại phiên bản đã biết rõ thường là cách giảm thiểu nhanh nhất. AI có tác dụng vô giá trong việc tóm tắt nhật ký tại thời điểm diễn ra sự kiện, thu hẹp các giả thuyết và tạo ra các bản phác thảo khám nghiệm tử thi vô tội sau sự kiện - nhưng bạn có trách nhiệm xác thực từng giả thuyết nguyên nhân gốc rễ bằng dữ liệu, loại bỏ ngôn ngữ đổ lỗi và che giấu dữ liệu sự kiện.
Nhiệm vụ ứng dụng
Hãy xem xét một sự kiện trong quá khứ (hoặc hư cấu). (1) Yêu cầu AI tạo ra các giả thuyết và các bước xác minh bằng mẫu “phân loại nhanh tại hiện trường”; Lưu ý giả thuyết nào có thể được xác nhận bởi dữ liệu. (2) Phác thảo một bản báo cáo bằng cách sử dụng mẫu “bản phác thảo khám nghiệm tử thi không phạm tội” và điền vào đó các dữ kiện. (3) Xác định ít nhất hai mục có thể xử lý và chỉ định chủ sở hữu cũng như ngày tháng cho mỗi mục.
danh sách kiểm tra
- [ ] Vào thời điểm xảy ra sự việc, lần đầu tiên tôi nghĩ đến việc giảm nhẹ (rollback/shutdown) và để lại nguyên nhân gốc rễ cho sau này.
- [ ] Tôi đã xác minh mọi giả thuyết về nguyên nhân cốt lõi của AI bằng nhật ký/số liệu.
- [ ] Tôi viết nó bằng ngôn ngữ không đổ lỗi cho khám nghiệm tử thi, tập trung vào quy trình và hệ thống.
- [ ] Tôi đã chỉ định cho mỗi mục có thể thực hiện được một chủ sở hữu và ngày tháng.
- [ ] Tôi đã che giấu bí mật và thông tin cá nhân khỏi dữ liệu sự kiện mà tôi đã cung cấp cho AI.
- [ ] Tôi đã chỉ định mức độ nghiêm trọng chính xác theo tác động.