Nyereség:
- Lehetőség a nagy naplókiíratok összegzésére azáltal, hogy maszkolja és szűri őket mesterséges intelligenciára, és létrehozhat egy idővonalat
- Képes az MI által felállított időbeli összefüggéseket hipotézisként értékelni, nem ok-okozati összefüggésként
- Képes a kiváltó ok hipotézisének mérőszámokkal és kóddal való érvényesítésére, valamint egy posztmortem vázlat elkészítésére
Amikor egy szoftver éles környezetben fut (élő környezetben), csak a nyomkövetések, metrikák és naplók (az alkalmazás által futás közben előállított időbélyegzett naplósorok) árulják el, hogy mit csinál. Az incidensre adott válasz legstresszesebb és legidőkritikusabb pillanata, ha egy kimaradás során több ezer, néha millió naplósorból értelmes jelzést kapunk. Itt a mesterséges intelligencia segítőkész lehet hatalmas szövegek összefoglalásában, minták kinyerésében és hipotézisek generálásában – mindaddig, amíg tiszteletben tartja az adatvédelmi és ellenőrzési korlátokat.
Ebben az egységben megtanuljuk a mesterséges intelligencia használatát a megfigyelhetőség kontextusában – az a képesség, hogy megértsük a rendszer belső állapotát a külső kimenetei alapján: jelentés kinyerése a naplózajból, a hiba idővonalának megállapítása, ismétlődő minták keresése és a halál utáni vázlat. Kritikus figyelmeztetés: a nyers termelési naplók gyakran tartalmaznak személyes adatokat és titkokat; ha véletlenül beledugják őket egy mesterséges intelligencia eszközbe, az súlyos jogsértés.
Miért nehezek a naplók, miért hasznos a mesterséges intelligencia?
A naplók három okból nehezek: a hangerő (túl sok van), a zaj (sok sor nem releváns) és a rendetlenség (egy esemény szétszórva van a különböző szolgáltatások naplóiban). Az emberi szem elfárad ebben a kupacban, és kihagyja a fontos sort.
A mesterséges intelligencia jó abban, hogy összefoglalja a nagy szövegtömböket, megszámolja az ismétlődő mintákat, és megkérdezi: „Mi változott közvetlenül a hibarobbanás előtt?” Erőteljes az olyan időbeli kapcsolatok kialakításában, mint a Azonban két korlát van. Az első a kontextusablak: a modellbe illeszthető naplók száma korlátozott, ezért először szűrni és mintavételezni kell. Másodszor, az érvényesítés: az AI kimondása, hogy „itt van a kiváltó ok”, egy hipotézis; Ne hozzon döntést anélkül, hogy azt mérőszámokkal és kóddal erősítené meg.
Figyelem: A nyers termelési naplók tartalmazhatnak IP-címet, e-mail-címet, tokent, munkamenet-azonosítót és néha nyílt titkosságot. Maszkolja le őket, mielőtt betáplálja őket az AI-ba, vagy csak a vállalat által jóváhagyott, adatbiztonságos eszközöket használjon. Ezt a témát elmélyítjük a 10. fejezetben.
Lépésről lépésre: A naplótól a kiváltó okig
- Szűkítse az időablakot. Határozza meg az esemény kezdetének perceit; Azt az ablakot vizsgálja, ne az egész napot.
- Szűrje ki a zajt. Kigyomlálja az ismert ismétlődő, ártalmatlan vonalakat; Koncentráljon a hibára (ERROR), a figyelmeztetésre (WARN) és az első eltérési pillanatra.
- Maszkolja az érzékeny adatokat. Tisztítsa meg a személyes adatokat és titkokat, mielőtt átadná őket az MI-nek.
- Hozzon létre egy összefoglalót és idővonalat. Kérje meg az MI-t, hogy foglalja össze az eseményt kronológiában („először ez, aztán az”).
- Érvényesítse a hipotézist metrikákkal és kóddal. Az AI által megjelölt ok; Erősítse meg az irányítópulttal, a vonatkozó kóddal és a telepítési idővonallal, ha van ilyen.
- Írd le a tanultakat. Készítsen halotti vázlatot, és sorolja fel a megelőző intézkedéseket.
Három mini tok
1. eset – 40 000 sor 5 percben összefoglalva. Egy fizetési szolgálat 12 percig időszakos hibát jelentett. A csapat a maszkolt naplók megfelelő 20 perces ablakát (mintegy 40 000 sor, mintavétellel) betáplálta az MI-be, és létrehozta az idővonalat. A modell kimutatta, hogy a hibaüzenet egybeesett azzal a pillanattal, amikor egy függőségi szolgáltatás válaszideje 200 ms-ról 8 másodpercre nőtt. A csapat ezt megerősítette a műszerfalon, és 10 percen belül leszűkítette az okot.
2. eset – Félrevezető összefüggés. Egy másik incidensben a mesterséges intelligencia azt hibáztatta, hogy a hibák "egy időben" történtek a cron (ütemezett feladat) futtatásával. Amikor a csapat ellenőrizte a mutatókat, látták, hogy a cron az esemény előtt végzett; Az összefüggés a véletlen volt. A valódi ok egy memóriazavar volt. Tanulság: Az AI által megállapított időbeli korreláció nyom, nem bizonyíték.
3. eset – A postmortem felgyorsult. Egy kimaradás után a csapat a (maszkolt) üzenet átiratát és az idővonalat az eseménycsatornából a mesterséges intelligencia felé továbbította, és elkészítette a halál utáni vázlatot: összefoglaló, hatás, idővonal, kiváltó ok, cselekvések. A humán szerkesztő kijavította a tényeket, és kinevezte az akciótulajdonosokat. A dokumentum, amely általában 2 órát vesz igénybe, körülbelül 40 perc alatt készült el, egységesebb szerkezettel.
Négy másolható sablon
Napló összefoglaló és idővonal (maszkolt naplóval):
Alább látható a maszkolt gyártási napló eseményablakja.1) Öntse az eseményt egy kronológiai idővonalba (jelölje meg az első eltérés pillanatát).2) Számolja meg és csoportosítsa a leggyakrabban ismétlődő hiba/figyelmeztetés típusokat.3) "Mi változott közvetlenül előtte?" Sorolja fel a kérdésre jelölt eseményeket. Ezek hipotézisek; Jelölje be, hogy "ellenőrizni kell". {{naplók}}
Hiba minta kibontása:
Keresse meg az ismétlődő hibamintákat ezekben a naplósorokban. Minden mintához: mintasor (maszkolt), becsült forrás és lehetséges jelentés. Gyűjtsd össze a ritka, de kritikus egyedi hibákat egy külön „figyelem” listában.{{logs}}
Strukturált lekérdezés/szűrő generálása:
A {{naplóeszköz: grep/jq/Kibana KQL/CloudWatch Insights}} esetén írjon egy lekérdezést, amely megfelel a következő feltételnek: {{pl. 5xx hiba az elmúlt 15 percben, X felhasználó kivételével}}. Magyarázza meg a lekérdezést; Győződjön meg róla, hogy nem Ön találja ki a domain neveket, kérdezzen, ha nem biztos benne.
Halál utáni vázlat:
Írjon egy postmortem vázlatot a következő (maszkolt) esemény idővonaláról: Összegzés / Hatás (időtartam, felhasználó érintett) / Idővonal / Kiváltó ok / Mi sikerült jól / Műveletek (hagyja üresen a tulajdonos mezőt mindegyiknél). NE használj vádló nyelvezetet; Legyen tényszerű és proaktív.{{timeline}}
Gyenge felszólítás / Erős felszólítás
Gyenge: "Nézd meg ezeket a rönköket, mi a baj?" (Az egész nap nyers naplója, személyes adatokkal, célozatlanul.)
Erős: "Alul látható a maszkolt gyártási napló 14:02 és 14:20 között (5xxs-re szűrve). Ebben az ablakban keresse meg a hibarobbanás pillanatát, számolja meg a leggyakoribb hibatípust, és sorolja fel a közvetlenül a robbanás előtti 60 másodpercben megjelenő eltéréseket; jelölje meg mindegyiket "ellenőrizendő hipotézisként".
Erőteljes változat; Szűkíti az időablakot, szűri és maszkolja a naplót, egyértelmű kérdést tesz fel, és már a kezdetektől megállapítja, hogy a kimenet egy hipotézis.
Quest
Az AI erős
Limit / ellenőrzés
Nagy napló összefoglaló
Igen, gyorsan
Előfordulhat mintavételi veszteség
Időbeli kapcsolat kialakítása
tippeket generál
Korreláció ≠ okozati összefüggés
Lekérdezés/szűrő generálása
jó tervezet
Valódiak a domain nevek?
Halál utáni vázlat
Szerkezet és nyelv
Az eseteket ember igazolja
A korreláció nem okozati összefüggés
A naplóelemzés leggyakoribb buktatója az „egyszerre történt, ezért” tévedés. A mesterséges intelligencia ugyanolyan könnyen, ha nem könnyebben esik ebbe a csapdába, mint az emberek; mert úgy gondolja, hogy a szövegben az egyidejűség erős jelzés. Azt mondani, hogy az egyik esemény valójában egy másikhoz vezet; időzítés, mechanizmus és lehetőség szerint megismételhetőség szükséges. Minden ok-okozati összefüggésre vonatkozóan, amelyet a mesterséges intelligencia megállapít, azt kérdezzük, hogy „milyen egyéb bizonyítékok erősítik meg ezt?” Teszteld a kérdéssel.
Tipp: Amikor bejelentkezik az AI-ba, a szövegkiírás helyett, ha lehetséges, először nyomtasson lekérdezést/szűrőt, és futtassa azt járművében; Így csökkentheti az érzékeny adatokat, és szétválaszthatja a modell kontextusablakát az igazán fontos sorokra.
Gyakori hibák
- Nyers, maszkolás nélküli napló beillesztése. Személyes adatok és titkok nyilvánosságra hozatala; a magánélet súlyos megsértése.
- Egyszerre adjuk az egész napot. Túllépi a környezeti ablakot, a jel zajba fullad.
- Az ok-okozati összefüggés összetévesztése. A mesterséges intelligencia által létrehozott időviszony egy nyom, nem pedig bizonyíték.
- Egy kitalált domain névvel rendelkező lekérdezésre támaszkodva. A modell javasolhat olyan naplómezőnevet, amely nem létezik; ellenőrizze a kapcsolási rajzzal.
- A postmortem közzététele ellenőrzés nélkül. A tényeket és a hatásszámokat emberileg meg kell erősíteni.
Összefoglalva
A mesterséges intelligencia hatékony eszköz a hangerő és a zaj legyőzésére a naplóelemzésben: nagy átiratok összegzésére, idővonalak megállapítására, minták kinyerésére és halál utáni vázlatok készítésére. De ne feledje a három korlátot: ne exportáljon bizalmas adatokat anélkül, hogy elfedné őket, szűrje le és vegyen mintát belőlük, hogy illeszkedjen a kontextusablakba, és minden oksági állítást mérőszámokkal és kóddal ellenőrizzen. A korreláció nem okozati összefüggés; Az AI nyomokat ad, a döntést bizonyítékokkal hozod meg.
Pályázati feladat
Válasszon ki egy 15–20 perces időtartamot egy esemény- vagy tesztkörnyezeti naplóból. Először takarja el a személyes adatokat és titkokat (vagy készítsen szintetikus naplót). Ezután vegye ki az időrendet és a leggyakoribb hibatípusokat az AI-ból a „naplóösszegzés és idővonal” sablon segítségével. Próbálja meg ellenőrizni a mesterséges intelligencia által felállított kiváltó ok-hipotézist egy metrikával vagy kódrészlettel: bevált-e a hipotézis, vagy félrevezető összefüggés volt? Egy mondatban írja le a megállapításait.
ellenőrző lista
- [ ] Elfedem a személyes adatokat és titkokat, mielőtt átadnám a naplót az MI-nek.
- [ ] Az elemzést szűk időablakra redukálom és szűröm.
- [ ] Az AI által felállított időbeli összefüggéseket hipotézisnek tekintem, nem ok-okozati összefüggésnek.
- [ ] A kiváltó okokra vonatkozó követelést mérőszámokkal és kóddal igazolom.
- [ ] Megerősítem, hogy az általam generált lekérdezések/szűrők domain nevei valódiak.
- [ ] Emberileg igazolom a halál utáni vázlatban szereplő tényeket és számadatokat.