Κέρδη:
- Βρείτε γρήγορα σήμα σε θόρυβο χρησιμοποιώντας τεχνητή νοημοσύνη για τη σύνοψη, την ομαδοποίηση και τα αρχεία καταγραφής χρονοδιαγράμματος
- Ικανότητα διαχωρισμού συσχέτισης και αιτιότητας και αντιμετώπισης των προτάσεων της βασικής αιτίας της τεχνητής νοημοσύνης ως υποθέσεις που πρέπει να επαληθευτούν
- Ικανότητα να φτάσετε στην πραγματική βασική αιτία χρησιμοποιώντας τη μέθοδο «5 Γιατί» με τεχνητή νοημοσύνη και υποστηρίζοντας κάθε βήμα με πραγματικά στοιχεία
Ανάλυση καταγραφής και ανάλυση ρίζας αιτίας: Εύρεση του σήματος στο θόρυβο με AI
Όταν ένα σύστημα κολλάει, το πρώτο μέρος που κοιτάτε είναι τα αρχεία καταγραφής. Το αρχείο καταγραφής είναι μια ροή κειμένου που διατηρεί ένα αρχείο με χρονική σήμανση "τι έκανα, τι συνέβη, τι χάλασε" ενός συστήματος ή μιας εφαρμογής. Αλλά μια σύγχρονη υποδομή παράγει εκατομμύρια σειρές κορμών ανά ώρα. δεν είναι μια θάλασσα πληροφοριών, αλλά συχνά ένας ωκεανός θορύβου. Η ανάλυση καταγραφής είναι η τέχνη της εύρεσης του σημαντικού σήματος (σφάλμα, ανωμαλία, μοτίβο) σε αυτόν τον θόρυβο. Η διαδικασία απάντησης στην ερώτηση «ποια ήταν η πραγματική αιτία» μετά από ένα συμβάν ονομάζεται ανάλυση βασικής αιτίας (RCA - Root Cause Analysis). Εδώ, η τεχνητή νοημοσύνη είναι πολύ ισχυρή στο να συνοψίζει χιλιάδες γραμμές ανά δευτερόλεπτο, να εξάγει μοτίβα, να καθορίζει χρονοδιαγράμματα και να καταγράφει πιθανές αιτίες. Αλλά μια λέξη προσοχής: Η τεχνητή νοημοσύνη δημιουργεί πιθανές αιτίες. Είσαι αυτός που επαληθεύει στο σύστημα ποιο είναι πραγματικό και παίρνεις την απόφαση.
Σε αυτή την ενότητα θα μάθετε πώς να συνοψίζετε με σιγουριά τα αρχεία καταγραφής με AI, πώς να δημιουργείτε ένα χρονοδιάγραμμα ενός συμβάντος, πώς να διαφοροποιείτε τη συσχέτιση (αλλάζει μαζί) και την αιτιότητα (το ένα προκαλεί το άλλο) και πώς να εκτελείτε μια μέθοδο RCA όπως τα "5 Γιατί" με AI.
Γιατί η συσχέτιση δεν είναι αιτιότητα;
Αυτή είναι η πιο κρίσιμη ιδέα αυτής της μονάδας. Ακριβώς επειδή δύο γεγονότα συμβαίνουν ταυτόχρονα, το ένα δεν προκαλεί το άλλο. Η CPU και η κίνηση δικτύου ενός διακομιστή ενδέχεται να αυξηθούν ταυτόχρονα. αλλά το ένα δεν είναι αποτέλεσμα του άλλου, και τα δύο μπορεί να είναι αποτέλεσμα ενός τρίτου συμβάντος (για παράδειγμα, η έναρξη μιας ομαδικής εργασίας). Όταν η τεχνητή νοημοσύνη βλέπει τις μετρήσεις να αλλάζουν μαζί, υποθέτει ότι «πιθανώς το Χ προκάλεσε το Υ». Αυτό είναι ένα σημείο εκκίνησης, όχι ένα συμπέρασμα. Για να επαληθεύσετε την αιτιότητα, πρέπει είτε να απομονώσετε τη μεταβλητή (να ενεργοποιήσετε το X στο περιβάλλον δοκιμής και να δείτε εάν το Y συμβαίνει) είτε να αποδείξετε τον μηχανισμό (να δείξετε τα τεχνικά μέσα με τα οποία το X παράγει το Y).
Προσοχή: Πάρτε την πρόταση του AI "αυτό μάλλον το προκάλεσε" ως υπόθεση, όχι ως εύρημα. Στο RCA, η λανθασμένη βασική αιτία οδηγεί σε εσφαλμένη διόρθωση και επανάληψη του συμβάντος. Βρήκατε τον πρώτο ύποπτο, όχι την αιτία. Η δουλειά ξεκινά από εκεί.
Βήμα προς βήμα: Ανάλυση αρχείων καταγραφής με AI
- Περιορίστε το πεδίο εφαρμογής. Δώστε το παράθυρο συμβάντος, όχι ολόκληρο το αρχείο καταγραφής: "η εκδήλωση ξεκίνησε στις 14:05, κρίσιμη από τις 14:00–14:20". Πείτε στο AI το σχετικό χρονικό διάστημα και την υπηρεσία.
- Μάσκα. Τα αρχεία καταγραφής περιέχουν εσωτερική IP, όνομα κεντρικού υπολογιστή, χρήστη και διακριτικό. Καλύψτε τα (10.x.x.x, host-A, user1, REDACTED) και μετά εξάγετε.
- Αίτημα περίληψης και ομαδοποίησης. "Ομαδοποιήστε αυτό το αρχείο καταγραφής κατά σοβαρότητα, μετρήστε τα επαναλαμβανόμενα σφάλματα, βρείτε τη χρονική σήμανση του πρώτου σφάλματος." Ζητήστε τη δομή, όχι το ακατέργαστο κούτσουρο.
- Ρυθμίστε ένα χρονοδιάγραμμα. "Ταξινομήστε αυτά τα γεγονότα με χρονική σειρά και δείξτε τι ακολουθεί." Η εύρεση του πρώτου ντόμινο είναι ο δρόμος προς τη βασική αιτία.
- Ζητήστε υποθέσεις, όχι αποδείξεις. "Καταγράψτε τις πιθανές βασικές αιτίες με σειρά πιθανότητας και δώστε μου μια εντολή επαλήθευσης για να εκτελεστεί στο σύστημα για καθεμία." Ζητήστε τη διάγνωση, όχι το αποτέλεσμα.
- Επαλήθευση στο σύστημα. Ελέγξτε κάθε υπόθεση με διαγνωστικές εντολές μόνο για ανάγνωση (log grep, ερώτημα κατάστασης, μέτρηση). Εξαλείψτε μέχρι να υπάρξει μόνο μία επιβεβαιωμένη βασική αιτία.
5 Μέθοδος γιατί
Το κλασικό και ισχυρό εργαλείο της RCA είναι τα "5 Γιατί": ξεκινώντας με ένα σύμπτωμα και ρωτώντας "γιατί;" πέντε φορές. Ρωτώντας, φτάνουμε στη βασική αιτία κάτω από το σύμπτωμα της επιφάνειας. Παράδειγμα: "Ο ιστότοπος κατέρρευσε. Γιατί; Η εφαρμογή πέθανε επειδή τελείωσε η μνήμη της. Γιατί; Ένα ερώτημα κατανάλωσε όλη τη μνήμη. Γιατί; Το ερώτημα δεν χρησιμοποίησε ευρετήριο. Γιατί; Το ευρετήριο διαγράφηκε στην τελευταία έκδοση. Γιατί; Αυτό δεν παρατηρήθηκε στον έλεγχο της αλλαγής." Η βασική αιτία δεν είναι η επιφάνεια "κατάρρευση ιστότοπου" αλλά "αδύναμη διαδικασία ελέγχου αλλαγών". Η τεχνητή νοημοσύνη θα ήταν ένας καλός συνεργάτης για την οικοδόμηση αυτής της αλυσίδας — αλλά πρέπει να υποστηρίξετε κάθε βήμα «γιατί» με πραγματικά στοιχεία, διαφορετικά η τεχνητή νοημοσύνη μπορεί να βρει μια εύλογη αλλά ψευδή αλυσίδα.
τρεις μίνι θήκες
Περίπτωση 1 — 40.000 γραμμές, 3 λεπτά. Ένας διαχειριστής είχε αρχίσει να σαρώνει με μη αυτόματο τρόπο 40.000 γραμμές αρχείων καταγραφής εφαρμογών κατά τη διάρκεια μιας διακοπής κατά τη διάρκεια της νύχτας. Έδωσε το σχετικό τμήμα 20 λεπτών του καλυμμένου αρχείου καταγραφής στο AI και ζήτησε περίληψη και ομαδοποίηση. Το AI επισήμανε το πρώτο σφάλμα OutOfMemory στις 02:14, αμέσως μετά τα αυξημένα σφάλματα χρονικού ορίου. Ο μηχανικός έλαβε το φύλλο χρόνου σε 3 λεπτά. επιβεβαίωσε την αρχική διάγνωση στον δικό της μετρικό πίνακα.
Περίπτωση 2 — Επιστροφή από λάθος βασική αιτία. Μια ομάδα θεώρησε ότι η πρώτη υπόθεση του AI («τα αρχεία καταγραφής γέμισαν τον δίσκο») ήταν σωστή και διέγραψε τα αρχεία καταγραφής. Όμως το περιστατικό επαναλήφθηκε την επόμενη μέρα. Στον δεύτερο γύρο, εφάρμοσαν τα "5 Γιατί" με πειθαρχία: ο πραγματικός λόγος ήταν ότι ένα σφάλμα εφαρμογής έγραφε εκατοντάδες core dumps ανά δευτερόλεπτο. Η πρώτη υπόθεση ήταν η συσχέτιση. Ο πραγματικός λόγος ήταν διαφορετικός. Η αποδοχή χωρίς επαλήθευση είχε παράσχει μια μόνο ημέρα αναστολή.
Περίπτωση 3 — Το χρονοδιάγραμμα βρήκε τον ένοχο. Υπήρχαν αρχεία καταγραφής δεκάδων συσκευών κατά τη διάρκεια μιας διαλείπουσας διακοπής δικτύου. Ο μηχανικός έδωσε τα καλυμμένα αρχεία καταγραφής στο AI και του έβαλε να δημιουργήσει ένα ενοποιημένο χρονοδιάγραμμα. Το γράφημα έδειξε ότι κάθε διακοπή ξεκίνησε ακριβώς 30 δευτερόλεπτα μετά από ένα μήνυμα ελέγχου υγείας του διακόπτη πλεονασμού. Αυτή η συσχέτιση ήταν μια ισχυρή ένδειξη. Η ομάδα επαλήθευσε το σφάλμα υλικολογισμικού του κλειδιού στη συσκευή και το αντικατέστησε.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Σύνοψη και ομαδοποίηση ημερολογίου:
Παρακάτω είναι το καλυμμένο αρχείο καταγραφής για [υπηρεσία] από τις 14:00 έως τις 14:20. Πείτε μου: (1) ομαδοποιήστε και μετρήστε τις γραμμές κατά σοβαρότητα (ΣΦΑΛΜΑ/ΠΡΟΕΙΔΟΠΟΙΗΣΗ/ΠΛΗΡΟΦΟΡΙΕΣ), (2) αναφέρετε τα κορυφαία 5 επαναλαμβανόμενα μοτίβα σφαλμάτων, (3) βρείτε τη χρονική σήμανση του πρώτου ΣΦΑΛΜΑΤΟΣ. Μην ξαναγράψετε το ακατέργαστο αρχείο καταγραφής, απλώς δώστε μια δομημένη περίληψη. Προσθήκη κατασκευασμένης γραμμής. Καταγραφή: [μασκαρισμένο αρχείο καταγραφής]
2) Ρύθμιση χρονοδιαγράμματος:
Τακτοποιήσαμε τις ακόλουθες κρυφές εγγραφές συμβάντων σε μια ενιαία γραμμή χρόνου (χρονοσήμανση + πηγή + συμβάν). Δείξτε τι ακολουθεί και σημειώστε το συμβάν που φαίνεται να είναι το πρώτο έναυσμα. Σημειώστε ότι πρόκειται για ΥΠΟΘΕΣΗ και η αιτιότητα πρέπει να επαληθευτεί. Ηχογραφήσεις: [μασκοφόροι εγγραφές]
3) 5 λόγοι για τους οποίους συνεργάτης RCA:
Ο ρόλος σας: Διαμεσολαβητής RCA. Σύμπτωμα: [σύμπτωμα]. Κάντε τα "5 Γιατί" μαζί μου: ένα "γιατί;" σε κάθε βήμα. Ρωτήστε, θα απαντήσω με τα στοιχεία που έχω, εσείς κάντε την επόμενη ερώτηση. Εάν τα στοιχεία μου είναι αδύναμα, προειδοποιήστε με και πείτε μου ποια δεδομένα πρέπει να συλλέξω. Μην δηλώνετε μια βασική αιτία χωρίς στοιχεία.
4) Υπόθεση + εντολή επαλήθευσης:
Καταγράψτε τις πιθανές βασικές αιτίες για αυτό το σύμπτωμα [σύμπτωμα] με σειρά πιθανότητας. Για κάθε λόγο: (α) τι υποπτεύεστε, (β) δώστε μου μια εντολή επαλήθευσης ΜΟΝΟ ΑΝΑΓΝΩΣΗΣ για να εκτελεστεί στο σύστημά μου (χωρίς διαγραφή/αλλαγή). Εξηγήστε ποιο αποτέλεσμα επιβεβαιώνει ή καταρρίπτει την υπόθεση.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Τι συμβαίνει με αυτό το αρχείο καταγραφής; [10.000 γραμμές ακατέργαστου κορμού]
Αυτό προτρέπει τόσο τη διαρροή ευαίσθητων δεδομένων χωρίς κάλυψη και αφήνει το AI χωρίς πλαίσιο. Η τεχνητή νοημοσύνη μπορεί να σκοντάψει σε μια τυχαία γραμμή και να δώσει έναν επιφανειακό ή ακόμα και επινοημένο λόγο.
Ισχυρή προτροπή:
Ο ρόλος σας: ανώτερος SRE. Συμβάν: η υπηρεσία πληρωμών έδωσε σφάλμα 50% μεταξύ 02:10-02:25. Παρακάτω είναι το καλυμμένο αρχείο καταγραφής αυτού του παραθύρου. Δώστε μου (1) τη σύνοψη ομαδοποιημένη κατά σοβαρότητα, (2) τη χρονική σήμανση του πρώτου σφάλματος, (3) τις πιθανές βασικές αιτίες κατά σειρά πιθανότητας και μια εντολή επαλήθευσης μόνο για ανάγνωση για το καθένα. Σημειώστε τους ισχυρισμούς αιτιότητας ως υποθέσεις. Μητρώο: [μασκοφόρο ημερολόγιο]
βήμα
Σκοπός
Ο ρόλος της AI
ο ρόλος του ανθρώπου
Περίληψη/ομαδοποίηση
μειώστε τον θόρυβο
Διαμόρφωση χιλιάδων σειρών
Προσδιορίστε το πεδίο εφαρμογής και τη μάσκα
χρονοδιάγραμμα
Βρίσκοντας το πρώτο ντόμινο
ταξινόμηση συμβάντων
Επικύρωση γραμματοσήμων
δημιουργία υποθέσεων
ταξινομώντας τους υπόπτους
απαριθμήστε τις δυνατότητες
φιλτράρισμα ανά πλαίσιο
επαλήθευση
βρείτε τον πραγματικό λόγο
Πρόταση διαγνωστικής εντολής
Εκτελέστε την εντολή και σχολιάστε την
απόφαση
Επιλέγοντας να διορθώσετε
προσφέρουν επιλογές
Πάρτε την απόφαση και επιβεβαιώστε
Συνήθη λάθη
- Λανθασμένη συσχέτιση για αιτιότητα. Η αποδοχή δύο μετρήσεων που αλλάζουν μαζί ως "η μία προκάλεσε την άλλη" προκαλεί λανθασμένη διόρθωση.
- Επικόλληση του ακατέργαστου κορμού χωρίς μάσκα. Η παροχή του αρχείου καταγραφής που περιέχει IP, διακριτικό και χρήστη σε ένα ανοιχτό εργαλείο αποτελεί παραβίαση ασφαλείας.
- Δήλωση της πρώτης υπόθεσης ως βασικής αιτίας. Η αποδοχή της πρώτης πρότασης του AI χωρίς να την επαληθεύσετε είναι μια πρόσκληση για επανάληψη του γεγονότος.
- Εξαγωγή ολόκληρου του αρχείου καταγραφής. Το τεράστιο αρχείο καταγραφής χωρίς πλαίσιο συνδέει το AI σε μια τυχαία γραμμή. Σύμπτυξη στο παράθυρο συμβάντος.
- 5 Λόγοι Χωρίς Αποδείξεις. Εάν δεν δημιουργήσετε αντίγραφα ασφαλείας για κάθε βήμα «γιατί» με πραγματικά δεδομένα, θα καταλήξετε με μια αληθοφανή αλλά κατασκευασμένη αλυσίδα.
Συμβουλή: Προτού τερματίσετε μια RCA, ρωτήστε "εάν αυτή η βασική αιτία διορθωθεί, δεν θα συμβεί ξανά;" Κάντε την ερώτηση. Εάν η απάντηση είναι "ίσως", δεν έχετε φτάσει ακόμα στη βασική αιτία. Ρωτήστε ένα άλλο «γιατί».
Συνοπτικά
Η ανάλυση καταγραφής αφορά την εύρεση του σήματος σε έναν ωκεανό θορύβου. Η τεχνητή νοημοσύνη συνοψίζει και δομεί αυτόν τον ωκεανό σε δευτερόλεπτα, καθορίζει ένα χρονοδιάγραμμα και δημιουργεί υποθέσεις. Αλλά η συσχέτιση δεν είναι αιτιότητα: η αιτία που προτείνει η AI είναι μια αρχική υποψία, όχι ένα εύρημα μέχρι να επιβεβαιωθεί. Συμπτύξτε το αρχείο καταγραφής στο παράθυρο συμβάντος, καλύψτε το, ζητήστε τη δομή, σκάψτε βαθιά με τα "5 Γιατί" και δοκιμάστε κάθε υπόθεση στο σύστημα με εντολές μόνο για ανάγνωση. Είστε αυτός που βρίσκει τη βασική αιτία και επιβεβαιώνει τη διόρθωση. Το AI είναι ο σύντροφός σας.
Εργασία εφαρμογής
Πάρτε τα αρχεία καταγραφής ενός προηγούμενου συμβάντος (ή ενός δοκιμαστικού συμβάντος), συμπτύξτε το στο παράθυρο συμβάντος και καλύψτε τυχόν ευαίσθητες περιοχές. Ζητήστε μια σύνοψη και ένα χρονοδιάγραμμα από την τεχνητή νοημοσύνη με τα πρότυπα "Σύνοψη καταγραφής" και "Χρονολόγιο" παραπάνω. Στη συνέχεια, μετακινηθείτε από το σύμπτωμα στη βασική αιτία με το πρότυπο "5 Reasons RCA partner". Γράψτε τα δικά σας στοιχεία για κάθε βήμα. Τέλος, ελέγξτε την αρχική υπόθεση του AI με μια εντολή επαλήθευσης και καταγράψτε εάν επιβεβαιώνεται ή διαψεύδεται. Συνοψίστε τη διαδικασία σε 6 στοιχεία.
λίστα ελέγχου
- [ ] Έχω συμπτύξει το αρχείο καταγραφής στο παράθυρο συμβάντων και έχω καλύψει ευαίσθητες περιοχές;
- [ ] Ζήτησα από το AI μια δομημένη περίληψη και χρονοδιάγραμμα, όχι ένα ακατέργαστο αρχείο καταγραφής;
- [ ] Έχω επισημάνει τους ισχυρισμούς αιτιότητας του AI ως υποθέσεις;
- [ ] Έχω δοκιμάσει κάθε υπόθεση στο σύστημα με μια εντολή επαλήθευσης μόνο για ανάγνωση;
- [ ] Έχω υποστηρίξει κάθε βήμα των «5 Γιατί» με πραγματικά στοιχεία;
- [ ] Αμφισβήτησα και πήρα την απόφαση εάν η βασική αιτία θα απέτρεπε πραγματικά το συμβάν;