Jednotka 2 / 11

Log a SIEM analýza: Oddelenie udalosti od hluku pomocou umelej inteligencie

zisky:

  • Pochopte, že umelá inteligencia sumarizuje a zoskupuje tisíce riadkov denníka, vytvára časovú os a zvýrazňuje podozrivé vzory, ale analytik rozhodne, že udalosť je skutočný útok pomocou surového denníka.
  • Schopnosť použiť základnú líniu (normálne správanie) pri vyhodnocovaní alarmu SIEM a ako eliminovať falošne pozitívne výsledky bez kontextu a ako anomáliu nemožno interpretovať
  • Schopnosť získať návyk overovať reťazec udalostí vytvorených umelou inteligenciou v surovom denníku a odstraňovať falošné korelácie

Bezpečnostný analytik trávi väčšinu dňa čítaním denníkov. Protokol je riadok textu, ktorý označuje, čo sa stalo v systéme: kto sa kedy prihlásil, ku ktorému súboru sa pristupovalo, ktoré pripojenie bolo odmietnuté. Problém nie je v tom, že by bolo málo polena, ale v tom, že je ho toľko, že sa dusí. Stredne veľká organizácia vyprodukuje denne stovky miliónov liniek guľatiny. V tejto hromade je stopou skutočného útoku ihla v kope sena. SIEM (Security Information and Event Management – ​​systém, ktorý zhromažďuje a porovnáva záznamy z rôznych zdrojov v jednom centre a vytvára alarmy založené na pravidlách) je tu na to, aby našiel túto ihlu; ale väčšina alarmov, ktoré SIEM generuje, sú tiež falošne pozitívne (márne alarmy, ktoré v skutočnosti nie sú hrozbami). Skutočnou úlohou analytika je extrahovať skutočný signál z tohto šumu.

Umelá inteligencia je silným pomocníkom pri tomto triedení. Dokáže prečítať tisíce riadkov protokolu za sekundy a zhrnúť ich v ľudskom jazyku, zoskupiť opakujúce sa vzorce, opísať reťazec udalostí ako „najprv sa stalo toto, potom tamto“ a vysvetliť, prečo sa alarm javí podozrivý. AI však nevie, čo záznam znamená v kontexte inštitúcie: „prístup o 3:00“ je útok v jednej inštitúcii, nočná zmena normálna v inej. Umelá inteligencia teda zhrnie a označí protokol, ale analytik rozhodne, či je udalosť skutočným útokom, a overí to pomocou surového protokolu.

Kroky analýzy denníka

Tu je návod, ako spustiť podrobnú analýzu denníka/SIEM s AI:

  1. Zbierajte a anonymizujte. Odstráňte príslušný fragment denníka; nahradiť skutočné adresy IP, používateľské mená, interné názvy hostiteľov zástupnými symbolmi (USER_A, IC_IP_1). Nikdy neexportujte nespracované údaje do externého nástroja.
  2. Uveďte kontext. Povedzte AI zdroj denníka (firewall, denník udalostí systému Windows, webový server), aké je normálne správanie a čo hľadáte. Analýza denníka bez kontextu je zavádzajúca.
  3. Sumarizujte a agregujte. Požiadajte AI, aby zoskupilo tisíce riadkov podľa typov udalostí, extrahovalo počty výskytov a vytvorilo časovú os.
  4. Nechajte nahlásiť podozrivé vzory. Zvýraznite vzory ako „jedno úspešné prihlásenie po neúspešných prihláseniach“, „veľa prístupov k súborom v krátkom časovom období“, „sieťové pripojenie patriace neznámemu procesu“.
  5. Overte si surovými dôkazmi. Nájdite a potvrďte každý vzor, ​​ktorý AI ​​označí v skutočných riadkoch denníka. Naskenujte si tiež oblasti, ktoré AI chýbajú.
  6. Rozhodnutie a registrácia. Vyhláste skutočnú udalosť ako analytik, otvorte lístok a zdokumentujte, že AI je iba akcelerátor.

Niekoľko pojmov: Zdroj denníka je systém, ktorý vytvára denník. Korelácia spája udalosti z rôznych zdrojov a dáva im zmysel (prihlásenie do siete VPN + prístup k súborom + prenos údajov = možný únik). Základná línia je mierou normálneho správania systému; Anomália má zmysel len vo vzťahu k základnej línii. UEBA (User and Entity Behavior Analytics) je prístup založený na AI, ktorý sa učí normálne správanie každého používateľa a označuje odchýlku.

porovnávacia tabuľka

Prístup

ako to funguje

silná stránka

slabosť

SIEM založený na pravidlách

Opravené pravidlá „ak-potom“.

Prehľadné, vysvetliteľné

Zmeškaný neznámy útok, veľa falošných poplachov

Detekcia založená na podpise

Zodpovedá známemu zlému vzoru

Rýchlo na známu hrozbu

Slepý voči novému/zmenenému útoku

Anomália/UEBA (AI)

Nájde odchýlku od normálu

Dokáže zachytiť nepoznané

Anomália = neútočiť; riziko falošných poplachov

Sumarizácia s AI

Sumarizuje jazyk prihlásenia

Rýchlosť, čitateľnosť

Bez kontextu, riziko halucinácií

Analytik (človek)

Komentáre s kontextom

rozhodnutie, zodpovednosť

Pomaly, unaví sa, neškáluje sa

Správne nastavenie nie je vybrať si jedno, ale vrstviť: SIEM a podpis zhruba odfiltrujú šum, AI zhrnie a zvýrazňuje, analytik overuje a rozhoduje.

tri mini prípady

Prípad 1 — 50 000 riadkov, 6 minút. Analytik anonymizuje 50 000 riadkov prístupových protokolov z webového servera do AI. Umelá inteligencia dedukuje, že jedna externá IP prehľadávala/správca smerovala s 12 000 požiadavkami za 3 hodiny, vyskúšala 480 rôznych parametrov a dostala 200 odpovedí 3-krát. Analytik nájde tieto 3 úspešné požiadavky v surovom protokole, overí, že ide o skutočný útok na výpočet cesty, a zablokuje IP. Prečítanie 50 000 riadkov rukou by trvalo hodiny; Súhrn to skrátil na 6 minút, ale bolo to rozhodnutie analytika.

Prípad 2 – Vymyslená korelácia. Ďalší analytik hovorí AI: „Popíšte reťazec útokov v tomto denníku. Umelá inteligencia vytvára plynulý príbeh: „O 2:11 používateľ USER_B zvýšil oprávnenie a exportoval údaje.“ Analytik otvorí nespracovaný protokol predtým, ako ho zapíše do správy; zatiaľ čo v protokole nie je ani eskalácia privilégií, ani prenos údajov – model zapadá do „príbehu útoku“ typický reťazec udalostí. Analytik extrahuje tvrdenie. Lekcia: Každý reťazec, ktorý AI povie, by mal byť overený v denníku.

Prípad 3 – Falošná pozitívna nočná zmena. Model UEBA označuje používateľa pristupujúceho k 900 súborom o 3:00 ako „vysoko rizikovú anomáliu“. Analytik skontroluje kontext: používateľ je operátor zálohovania a táto úloha sa spúšťa každú noc o 03:00; Na základnú čiaru sa nehľadelo. Alarm je falošne pozitívny. Analytik nastaví pravidlo a pridá tento operátor do zoznamu výnimiek. Anomália nie je vždy útokom; Bez kontextu je alarm hluk.

Slabá výzva / Silná výzva

Slabá výzva:

Preskúmajte tento protokol a povedzte mi, či došlo k útoku.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Táto výzva obsahuje skutočnú adresu IP a používateľa (porušenie ochrany osobných údajov), nehovorí o zdroji denníka a normálnom správaní, nežiada od AI dôkazy a falošne pozitívne hodnotenie. AI vás môže vyviesť z omylu jedinou vetou, „áno, je tu útok“.

Výkonná výzva:

Vaša úloha: Asistent analytika SOC pri príprave NÁVRHU analýzy. Nerozhodujte sa, nevyhlasujte útok. Toto je anonymizovaný prístupový denník webového servera (adresy IP a používatelia sú maskovaní). Normálna premávka: 100 – 300 požiadaviek/hodinu počas pracovnej doby, väčšinou cesty /produkty a /vozíky. Vaša úloha: (1) zoskupiť udalosti podľa typu a zdroja, uviesť počet výskytov, (2) vzory príznakov, ktoré sa odchyľujú od základnej línie, (3) ukázať pre každý príznak, na ktorých riadkoch protokolu je založený, (4) zapísať pravdepodobnosť falošne pozitívneho výsledku pre každý a prečo. Fiting line/IOC vloženie; Označte „[analytik overiť]“, kde si nie ste istý.[anonymný záznam tu]

Silné tvrdenie obmedzuje úlohu, poskytuje kontext a základnú líniu a vyžaduje zapojenie sa do dôkazov a hodnotenia falošne pozitívnych výsledkov.

Kopírovateľné šablóny výziev

ŠABLONA ZHRNUTIA ZÁZNAMUNasledujúca anonymná [zdroj denníka: napr. Zhrňte protokol [firewall]: (1) zoskupte podľa typov udalostí a uveďte počet výskytov každej skupiny, (2) extrahujte počet jedinečných zdrojov/cieľov, (3) vytvorte časovú os (prvá a posledná udalosť, hodiny špičky), (4) uveďte 5 významných anomálií s dôkazovou čiarou. Rozhodovanie; len v súhrne. Denník: [prilepiť]

KORELAČNÁ ŠABLÓNA Korelujte anonymné udalosti v čase a entite a vytvorte možný reťazec udalostí; ALE pre každý krok uveďte, na ktorom riadku denníka je založený, a krok, ktorý nemá žiadny základ, označte ako „[žiadny základ – musí sa overiť]“. Napíšte aj alternatívne dobre mienené vysvetlenie. Udalosti: [prilepiť]

ŠABLÓNA NA ODSTRAŇOVANIE FALOŠNÝCH POZITÍV Pre tento alarm vygenerujte aspoň 3 dobre mienené (falošne pozitívne) vysvetlenia pre interpretáciu útoku a zapíšte si, aké ďalšie záznamy/dôkazy potrebujem na overenie každého z nich. Potom určte, ktoré ďalšie dôkazy sú v prospech útoku a ktoré sú proti. Budík: [prilepiť]

ŠABLÓNA EXTRAKCIE ČASOVEJ osi: Z týchto anonymných denníkov sa extrahuje jedna chronologická časová os: každý riadok vo formáte [čas] [entita] [udalosť] [zdrojový denník]. Pridanie udalosti bez časovej pečiatky. Nevyrovnávajte medzery; Ak chýba, napíšte „[chýba]“. Denníky: [prilepiť]

Časté chyby

  • Analýza bez kontextu. Komentáre bez uvedenia zdroja denníka a normálneho správania (základná hodnota) sú zavádzajúce; „anomália“ nadobúda význam s kontextom.
  • Neoveruje reťazec vytvorený AI. Model dokáže spojiť bežné udalosti s príbehom útoku; Potvrďte každý krok v surovom denníku.
  • Zámena anomálie za útok. Znak UEBA je hypotéza; Eliminujte nevinné príčiny ako zálohovanie, údržba, nový softvér.
  • Export nespracovaných údajov bez maskovania. Skutočná IP/používateľ/hostiteľ je porušením KVKK aj darom pre sieťovú mapu pre útočníka.
  • Neverte negatívnemu súhrnu a prestaňte prehliadať. Spustite svoj vlastný systematický dotaz (kritické typy incidentov, nové IOC), aj keď AI povie „nič dôležité“.
Tip: Keď má AI sumarizovať protokol, vždy požiadajte o „zobraziť čiaru dôkazov“. Neberte vážne žiadne zistenie bez dôkazov; Toto jedno pravidlo eliminuje väčšinu halucinácií.
Upozornenie: Zrušenie výstrahy SIEM len preto, že AI povedala „falošne pozitívne“, by mohlo zakryť skutočný útok. Nezávisle tiež skontrolujte alarm, ktorý AI ​​nazýva „nedôležitým“; Rozhodnutie o ukončení patrí analytikovi a je zaznamenané.

V súhrne

Podstatou log a SIEM analýzy je extrahovať skutočný signál z obrovskej hromady šumu. Pri tomto triedení AI sumarizuje protokol v sekundách, zoskupuje vzory, vytvára časovú os a zvýrazní podozrivého – nepozná však inštitucionálny kontext a môže si vymyslieť udalosti. Správne nastavenie je teda vrstvené: pravidlo/podpis zhruba preosieva, AI ​​sumarizuje a označí, analytik overí pomocou surového protokolu a urobí rozhodnutie. Chránia vás tri princípy: kontext (žiadna anomália sa neinterpretuje bez základnej línie), dôkazy (každý nález je viazaný na nespracovaný záznamový riadok), nezávislá kontrola (skenuje sa aj to, čo AI ​​nazýva „čistou“ oblasťou). A vždy pracujte anonymne.

Aplikačná úloha

Vezmite vzorový fragment denníka (buď anonymizovaný z vášho vlastného systému alebo zo vzorovej množiny údajov). Najprv to zhrňte do AI pomocou šablóny „Súhrn denníka“. Potom použite šablónu „Falošne pozitívna eliminácia“ pre každý z troch najvýznamnejších nálezov a overte si každý nález v surovom denníku. Nakoniec si všimnite rozdiely medzi zhrnutím AI a vašim hrubým čítaním: Čo AI uniklo, čo vymyslela, čo bolo správne?

kontrolný zoznam

  • [ ] denník som anonymizoval; maskovaná skutočná IP/používateľ/hostiteľ.
  • [ ] Dal som AI zdroj denníka a normálne správanie (základný stav).
  • [ ] Požiadal som o záznamový riadok pre každý nález a overil som ho v surovom denníku.
  • [ ] Potvrdil som každý krok v reťazci udalostí, ktoré vytvorila AI, čím som odstránil výmysel.
  • [ ] Pre každý alarm som zvažoval aspoň jedno falošne pozitívne vysvetlenie.
  • [ ] Skenoval som aj oblasti, ktoré AI ​​nazýva „čisté/nedôležité“.
  • [ ] Ako analytik som urobil rozhodnutie a záznam incidentu; Zdokumentoval som AI ako urýchľovač.