Jednotka 2 / 11

Log a SIEM analýza: Oddělení události od hluku pomocí umělé inteligence

zisky:

  • Pochopte, že umělá inteligence shrnuje a seskupuje tisíce řádků protokolu, vytváří časovou osu a zvýrazní podezřelé vzorce, ale analytik rozhodne, že událost je skutečný útok pomocí surového protokolu.
  • Schopnost použít základní linii (normální chování) při vyhodnocování poplachu SIEM a jak eliminovat falešně pozitivní výsledky bez kontextu a jak nelze anomálii interpretovat
  • Schopnost získat návyk ověřovat řetězec událostí vytvořený umělou inteligencí v surovém protokolu a odstraňovat falešné korelace

Bezpečnostní analytik tráví většinu dne čtením protokolů. Protokol je řádek textu, který označuje, co se v systému stalo: kdo se kdy přihlásil, ke kterému souboru byl přistupován, které připojení bylo odmítnuto. Problém není v tom, že by bylo málo polena, ale v tom, že je ho tolik, že se dusí. Středně velká organizace produkuje stovky milionů kmenových řad denně. V této hromadě je stopou skutečného útoku jehla v kupce sena. SIEM (Security Information and Event Management – ​​systém, který shromažďuje a koreluje protokoly z různých zdrojů v jednom centru a vytváří alarmy založené na pravidlech), je zde, aby tuto jehlu našel; ale většina alarmů, které SIEM generuje, jsou také falešně pozitivní (marné alarmy, které ve skutečnosti nejsou hrozbami). Skutečným úkolem analytika je extrahovat skutečný signál z tohoto šumu.

Umělá inteligence je při tomto třídění mocným pomocníkem. Dokáže přečíst tisíce řádků protokolu během sekund a shrnout je v lidské řeči, seskupit opakující se vzorce, popsat řetězec událostí jako „nejprve se stalo to, pak tamto“ a vysvětlit, proč se alarm zdá podezřelý. Umělá inteligence však neví, co protokol v kontextu instituce znamená: „přístup ve 3:00“ je útok v jedné instituci, normální noční směna v jiné. Umělá inteligence tedy protokol shrne a označí, ale analytik rozhodne, zda je událost skutečným útokem, a ověří ji pomocí surového protokolu.

Kroky analýzy logu

Zde je návod, jak spustíte podrobnou analýzu protokolu/SIEM pomocí AI:

  1. Sbírejte a anonymizujte. Odstraňte příslušný fragment protokolu; nahraďte skutečné adresy IP, uživatelská jména, interní názvy hostitelů zástupnými symboly (USER_A, IC_IP_1). Nikdy neexportujte nezpracovaná data do externího nástroje.
  2. Uveďte kontext. Sdělte AI zdroj protokolu (firewall, protokol událostí Windows, webový server), jaké je normální chování a co hledáte. Analýza protokolu bez kontextu je zavádějící.
  3. Shrňte a agregujte. Požádejte AI, aby seskupila tisíce řádků podle typů událostí, extrahovala počty výskytů a vytvořila časovou osu.
  4. Nechte označit podezřelé vzory. Zvýrazněte vzory jako „jedno úspěšné přihlášení po neúspěšných přihlášeních“, „mnoho přístupů k souboru v krátkém časovém období“, „síťové připojení patřící neznámému procesu“.
  5. Ověřte pomocí hrubých důkazů. Najděte a potvrďte každý vzor, ​​který AI ​​označí ve skutečných řádcích protokolu. Prohlédněte si také oblasti, které AI chybí.
  6. Rozhodnutí a registrace. Deklarujte skutečnou událost jako analytik, otevřete tiket a zdokumentujte, že AI je pouze akcelerátor.

Několik pojmů: Zdroj protokolu je systém, který protokol vytváří. Korelace spojuje události z různých zdrojů a dává jim smysl (přihlášení k VPN + přístup k souboru + přenos dat = možný únik). Základní čára je mírou normálního chování systému; Anomálie má smysl pouze ve vztahu k základní linii. UEBA (User and Entity Behavior Analytics) je přístup založený na AI, který se učí normální chování každého uživatele a označuje odchylku.

srovnávací graf

Přístup

Jak to funguje

silná stránka

slabost

SIEM založený na pravidlech

Opravena pravidla „když-pak“.

Transparentní, srozumitelné

Chybí neznámý útok, spousta falešných poplachů

Detekce na základě podpisu

Odpovídá známému špatnému vzoru

Rychle na známou hrozbu

Slepý vůči novému/změněnému útoku

Anomálie/UEBA (AI)

Najde odchylku od normálu

Dokáže zachytit neznámé

Anomálie = neútočit; riziko falešných poplachů

Shrnutí s AI

Shrnuje jazyk přihlášení

Rychlost, čitelnost

Bez kontextu, riziko halucinací

Analytik (člověk)

Komentáře s kontextem

rozhodnutí, zodpovědnost

Pomalý, unaví se, neškáluje

Správné nastavení není vybrat jedno, ale vrstvit: SIEM a podpis zhruba odfiltrují šum, AI shrnuje a zvýrazňuje, analytik ověřuje a rozhoduje.

tři mini pouzdra

Případ 1 — 50 000 řádků, 6 minut. Analytik anonymizuje 50 000 řádků přístupových protokolů z webového serveru do AI. AI ​​odvozuje, že jedna externí IP prolezla / admin trasy s 12 000 požadavky za 3 hodiny, vyzkoušela 480 různých parametrů a třikrát obdržela 200 odpovědí. Analytik najde tyto 3 úspěšné požadavky v surovém protokolu, ověří, že se jedná o skutečný útok s výčtem cesty, a zablokuje IP. Přečíst 50 000 řádků rukou by trvalo hodiny; Souhrn to zkrátil na 6 minut, ale bylo to rozhodnutí analytika.

Případ 2 – Vymyšlená korelace. Jiný analytik říká AI: "Popište řetězec útoků v tomto protokolu." Umělá inteligence vytváří plynulý příběh: "V 02:11 uživatel USER_B zvýšil oprávnění a exportoval data." Analytik otevře nezpracovaný protokol, než jej zapíše do zprávy; zatímco v protokolu nedochází ani k eskalaci oprávnění, ani k přenosu dat – model zapadá do „příběhu útoku“ typický řetězec událostí. Analytik vyjme tvrzení. Lekce: Každý řetězec, který AI sdělí, by měl být ověřen v protokolu.

Případ 3 – Noční směna falešně pozitivní. Model UEBA označí uživatele přistupujícího k 900 souborům ve 3 hodiny ráno jako „vysoko rizikovou anomálii“. Analytik zkontroluje kontext: uživatel je záložní operátor a tato úloha se spouští každou noc ve 3:00; Na základní čáru se nehledělo. Alarm je falešně pozitivní. Analytik nastaví pravidlo a přidá tento operátor do seznamu výjimek. Anomálie není vždy útok; Bez kontextu je alarm hluk.

Slabá výzva / Silná výzva

Slabá výzva:

Prozkoumejte tento protokol a řekněte mi, zda došlo k útoku.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Tato výzva obsahuje skutečnou IP a uživatele (porušení soukromí), nesděluje zdroji protokolu a normálnímu chování, nepožaduje od AI důkazy a falešně pozitivní hodnocení. Umělá inteligence vás může vyvést z omylu jedinou větou: „ano, došlo k útoku“.

Výkonná výzva:

Vaše role: Asistent analytika SOC připravující NÁVRH analýzy. Nerozhodujte se, nevyhlašujte útok. Toto je anonymizovaný přístupový protokol webového serveru (adresy IP a uživatelé jsou maskováni). Normální provoz: 100–300 požadavků/hodinu během pracovní doby, většinou trasy /produkt a /vozík. Váš úkol: (1) seskupovat události podle typu a zdroje, uvést počet výskytů, (2) vzory příznaků, které se odchylují od základní linie, (3) ukázat pro každý příznak, na kterých řádcích protokolu je založen, (4) zapsat pravděpodobnost falešně pozitivního pro každý a proč. Fiting line/vložení IOC; Označte "[analytik ověřit]", kde si nejste jisti.[anonymní log zde]

Silné tvrzení omezuje roli, poskytuje kontext a základní linii a vyžaduje zapojení do důkazů a hodnocení falešně pozitivních výsledků.

Kopírovatelné šablony výzev

ŠABLONA SHRNUTÍ LOGU Následující anonymní [zdroj protokolu: např. Shrňte protokol [firewallu]: (1) seskupte podle typů událostí a uveďte počet výskytů každé skupiny, (2) extrahujte počet jedinečných zdrojů/cílů, (3) vytvořte časovou osu (první a poslední událost, špičky), (4) uveďte 5 významných anomálií s linií důkazů. rozhodování; jen v souhrnu. Log: [vložit]

KORELAČNÍ ŠABLONA Korelujte anonymní události v čase a entitě a sestavte možný řetězec událostí; ALE u každého kroku uveďte, na kterém řádku logu je založen, a krok, který nemá žádný základ, označte jako „[žádný základ – nutno ověřit]“. Napište také alternativní dobře míněné vysvětlení. Události: [vložit]

ŠABLONA PRO ODSTRANĚNÍ FALNĚ POZITIVNÍHO POZITIVNÍHO U tohoto alarmu vygenerujte alespoň 3 dobře míněná (falešně pozitivní) vysvětlení pro interpretaci útoku a zapište si, jaký další protokol/důkazy musím pro ověření každého z nich nahlédnout. Poté určete, které další důkazy svědčí ve prospěch útoku a které jsou proti. Alarm: [vložit]

ŠABLONA EXTRAKCE ČASOVÉ OSY: Z těchto anonymních protokolů je extrahována jedna chronologická časová osa: každý řádek ve formátu [čas] [entita] [událost] [zdrojový protokol]. Přidání události bez časového razítka. Nedoplňujte mezery; Pokud chybí, napište „[chybí]“. Protokoly: [vložit]

Časté chyby

  • Analýza bez kontextu. Komentáře bez uvedení zdroje protokolu a normálního chování (základní hodnota) jsou zavádějící; „anomálie“ získává význam s kontextem.
  • Neověřuje se řetězec vytvořený AI. Model dokáže spojit běžné události s příběhem útoku; Potvrďte každý krok v surovém protokolu.
  • Záměna anomálie za útok. Znak UEBA je hypotéza; Odstraňte nevinné příčiny, jako je zálohování, údržba, nový software.
  • Export nezpracovaných dat bez maskování. Skutečná IP/uživatel/hostitel je jak porušením KVKK, tak darem síťové mapy útočníkovi.
  • Nevěřte negativnímu shrnutí a přestaňte procházet. Spusťte svůj vlastní systematický dotaz (kritické typy incidentů, nové IOC), i když AI neřekne „nic důležitého“.
Tip: Když má AI shrnout protokol, vždy požádejte o „ukázat linii důkazů“. Neberte vážně žádný nález bez řady důkazů; Toto jedno pravidlo eliminuje většinu halucinací.
Upozornění: Odmítnutí výstrahy SIEM jen proto, že AI řekla „falešně pozitivní“, by mohlo zakrýt skutečný útok. Nezávisle také zkontrolujte alarm, který AI ​​nazve „nedůležitým“; Rozhodnutí o uzavření patří analytikovi a je zaznamenáno.

V souhrnu

Podstatou log a SIEM analýzy je extrahovat skutečný signál z obrovské hromady šumu. Při tomto třídění AI shrnuje protokol v sekundách, seskupuje vzory, stanoví časovou osu a zvýrazní podezřelého – ale nezná institucionální kontext a může události vymýšlet. Správné nastavení je tedy vrstvené: pravidlo/podpis zhruba protřídí, AI ​​shrne a označí, analytik ověří pomocí surového protokolu a rozhodne. Chrání vás tři principy: kontext (žádná anomálie není interpretována bez základní linie), důkazy (každý nález je spojen s nezpracovaným logem), nezávislá kontrola (skenuje se také to, co AI nazývá „čistou“ oblastí). A vždy pracovat anonymně.

Aplikační úkol

Vezměte ukázkový fragment protokolu (buď anonymizovaný z vašeho vlastního systému nebo ze vzorové sady dat). Nejprve to shrňte do AI pomocí šablony „Souhrn protokolu“. Poté použijte šablonu „False Positive Elimination“ pro každý ze tří nejvýznamnějších nálezů a ověřte si každý nález v surovém protokolu. Nakonec si povšimněte rozdílů mezi shrnutím AI a vaším hrubým čtením: Co AI vynechala, co vymyslela, co udělala správně?

kontrolní seznam

  • [ ] Protokol jsem anonymizoval; maskovaná skutečná IP/uživatel/hostitel.
  • [ ] Dal jsem AI ​​zdroj protokolu a normální chování (základ).
  • [ ] Vyžádal jsem si řádek protokolu důkazů pro každý nález a ověřil jsem ho v surovém protokolu.
  • [ ] Potvrdil jsem každý krok v řetězci událostí, které vytvořila AI, čímž jsem zaplevelil výmysly.
  • [ ] Zvažoval jsem alespoň jedno falešně pozitivní vysvětlení pro každý alarm.
  • [ ] Skenoval jsem také oblasti, které AI ​​označuje jako „čisté/nedůležité“.
  • [ ] Jako analytik jsem učinil rozhodnutí a záznam incidentu; Zdokumentoval jsem AI jako akcelerátor.