Log i SIEM analiza: odvajanje događaja od buke pomoću umjetne inteligencije

Dobici:

• Shvatite da umjetna inteligencija sažima i grupiše hiljade redova dnevnika, uspostavlja vremensku liniju i ističe sumnjive obrasce, ali analitičar odlučuje da je događaj pravi napad sa sirovim dnevnikom
• Sposobnost primjene osnovne linije (normalno ponašanje) prilikom procjene SIEM alarma i kako eliminirati lažne pozitivne rezultate bez konteksta i kako se anomalija ne može protumačiti
• Sposobnost stjecanja navike provjere lanca događaja koji je uspostavila umjetna inteligencija u sirovom dnevniku i uklanjanja lažnih korelacija

Sigurnosni analitičar većinu svog dana provodi čitajući dnevnike. Dnevnik je red teksta koji označava vremenske oznake šta se dogodilo na sistemu: ko se kada prijavio, kojoj datoteci je pristupljeno, koja je veza odbijena. Nije problem u tome što je balvana premalo, nego što ga ima toliko da se guši. Organizacija srednje veličine proizvodi stotine miliona redova dnevnika dnevno. U ovoj gomili, trag pravog napada je igla u plastu sijena. SIEM (Sigurnosne informacije i upravljanje događajima – sistem koji prikuplja i povezuje evidencije iz različitih izvora u jednom centru i proizvodi alarme zasnovane na pravilima) je tu da pronađe ovu iglu; ali većina alarma koje SIEM generiše također su lažno pozitivni (uzaludni alarmi koji zapravo nisu prijetnje). Pravi posao analitičara je da izvuče pravi signal iz ove buke.

Umjetna inteligencija je moćna pomoć u ovom sortiranju. Može pročitati hiljade redova dnevnika u sekundi i sažeti ih ljudskim jezikom, grupirati obrasce koji se ponavljaju, opisati lanac događaja kao "prvo se dogodilo ovo, pa ono" i objasniti zašto se alarm čini sumnjivim. Ali AI ne zna šta dnevnik znači u kontekstu institucije: „pristup u 3 ujutro“ je napad u jednoj instituciji, normalna noćna smjena u drugoj. Dakle, AI sažima i označava zapisnik, ali analitičar odlučuje da li je događaj pravi napad i provjerava ga pomoću neobrađenog dnevnika.

Koraci analize dnevnika

Evo kako izvodite korak-po-korak log/SIEM analizu sa AI:

1. Prikupite i anonimizirajte. Uklonite relevantni fragment dnevnika; zamijenite stvarne IP adrese, korisnička imena, interna imena hostova sa rezerviranim mjestima (USER_A, IC_IP_1). Nikada ne izvozite neobrađene podatke u eksterni alat.
2. Dajte kontekst. Recite AI izvor evidencije (firewall, Windows evidencija događaja, web server), kakvo je normalno ponašanje i šta tražite. Analiza dnevnika bez konteksta je obmanjujuća.
3. Sumirajte i agregirajte. Zamolite AI da grupiše hiljade redova prema tipovima događaja, izdvoji broj pojavljivanja i kreira vremensku liniju.
4. Označite sumnjive obrasce. Istaknite obrasce kao što su "jedna uspješna prijava nakon neuspješnih prijava", "mnogo pristupa datotekama u kratkom vremenskom periodu", "mrežna veza koja pripada nepoznatom procesu".
5. Potvrdite sirovim dokazima. Pronađite i potvrdite svaki obrazac koji AI označi u stvarnim redovima dnevnika. Također skenirajte za sebe područja koja AI propuštaju.
6. Odluka i registracija. Deklarirajte stvarni događaj kao analitičar, otvorite kartu i dokumentirajte da je AI samo akcelerator.

Nekoliko pojmova: Izvor dnevnika je sistem koji proizvodi dnevnik. Korelacija je spajanje događaja iz različitih izvora i njihovo osmišljavanje (VPN prijava + pristup datoteci + prijenos podataka = moguće curenje). Osnovna linija je mjera normalnog ponašanja sistema; Anomalija ima smisla samo u odnosu na osnovnu liniju. UEBA (User and Entity Behavior Analytics) je pristup zasnovan na umjetnoj inteligenciji koji uči normalno ponašanje svakog korisnika i označava odstupanje.

uporedni grafikon

Pristup

Kako to funkcionira

jaka tačka

slabost

SIEM zasnovan na pravilima

Fiksna pravila "ako-onda".

Transparentno, objasnjivo

Promaši nepoznati napad, puno lažnih pozitivnih rezultata

Detekcija zasnovana na potpisu

Odgovara poznatom lošem uzorku

Brzo na poznatu pretnju

Slijepi za novi/promijenjeni napad

Anomalija/UEBA (AI)

Pronalazi odstupanje od normale

Može uhvatiti nepoznato

Anomalija = ne napada; rizik od lažnih pozitivnih rezultata

Rezimiranje sa AI

Sažima jezik za prijavu

Brzina, čitljivost

Bez konteksta, rizik od halucinacija

analitičar (ljud)

Komentari s kontekstom

odluka, odgovornost

Sporo, umara se, ne skalira

Prava postavka nije da odaberete jednu, već da slojevite: SIEM i potpis grubo filtriraju šum, AI sažima i ističe, analitičar provjerava i odlučuje.

tri mini kofera

Slučaj 1 — 50.000 redova, 6 minuta. Analitičar anonimizira 50.000 linija pristupnih dnevnika sa web servera na AI. AI zaključuje da je jedna eksterna IP adresa indeksirala /admin rute sa 12.000 zahtjeva u 3 sata, isprobala 480 različitih parametara i dobila 200 odgovora 3 puta. Analitičar pronalazi ova 3 uspješna zahtjeva u sirovom dnevniku, potvrđuje da je to pravi napad nabrajanja putanje i blokira IP. Ručno čitanje 50.000 redova trajalo bi satima; Sažetak je skratio na 6 minuta, ali to je bila odluka analitičara.

Slučaj 2 — Izmišljena korelacija. Drugi analitičar kaže AI: "opišite lanac napada u ovom dnevniku." AI konstruiše fluidnu priču: "U 02:11, USER_B je povećao privilegiju i izvezao podatke." Analitičar otvara neobrađeni dnevnik pre nego što ga upiše u izveštaj; dok u dnevniku nema ni eskalacije privilegija ni prijenosa podataka — model se uklapa u tipičan lanac događaja u „priču o napadu“. Analitičar izdvaja tvrdnju. Lekcija: Svaki lanac koji AI kaže treba da bude verifikovan u dnevniku.

Slučaj 3 — Noćna smjena lažno pozitivan. UEBA model označava korisnika koji pristupa 900 datotekama u 3 sata ujutro kao "anomaliju visokog rizika". Analitičar provjerava kontekst: korisnik je rezervni operater i ovaj posao se izvodi u 03:00 svake noći; Osnovna linija nije gledana. Alarm je lažno pozitivan. Analitičar postavlja pravilo i dodaje ovaj operator na listu izuzetaka. Anomalija nije uvijek napad; Bez konteksta, alarm je buka.

Slaba prompt / Jaka prompt

Slab upit:

Pregledajte ovaj dnevnik, recite mi da li ima napada.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Ovaj prompt sadrži pravi IP i korisnika (kršenje privatnosti), ne govori o izvoru dnevnika i normalnom ponašanju, ne traži od AI dokaze i lažno pozitivnu procjenu. AI vas može obmanuti jednom rečenicom: "da, postoji napad."

Snažan upit:

Vaša uloga: Pomoćnik analitičara SOC-a u pripremi analize DRAFT. Nemojte odlučivati, ne proglašavajte napad. Ovo je anonimni pristupni dnevnik web servera (IP-ovi i korisnici su maskirani). Normalan promet: 100-300 zahtjeva/sat tokom radnog vremena, uglavnom /proizvod i /cart rute. Vaš zadatak: (1) grupisati događaje po tipu i izvoru, dati broj pojavljivanja, (2) obrasce zastavica koji odstupaju od osnovne linije, (3) pokazati za svaku zastavicu na kojim se linijama dnevnika zasniva, (4) zapišite vjerovatnoću lažno pozitivnog za svaki i zašto. Montažna linija/IOC umetanje; Označite "[analyst verify]" tamo gdje niste sigurni.[anonimni dnevnik ovdje]

Jaka tvrdnja ograničava ulogu, pruža kontekst i osnovnu liniju i zahtijeva angažman s dokazima i procjenu lažnih pozitivnih rezultata.

Predlošci upita koji se mogu kopirati

PREDLOZAK SAŽETKA DNEVNIKA Sljedeći anonimni [izvor dnevnika: npr. Sažmite evidenciju [firewall]: (1) grupišite po tipovima događaja i navedite broj pojavljivanja svake grupe, (2) izdvojite broj jedinstvenih izvora/cilja, (3) uspostavite vremensku liniju (prvi-poslednji događaj, vršni sati), (4) navedite 5 istaknutih anomalija sa linijom dokaza. donošenje odluka; samo u sažetku. Dnevnik: [zalijepi]

KORELACIJSKI PREDLOZAK Korelirajte anonimne događaje tokom vremena i entiteta i konstruirajte mogući lanac događaja; ALI, za svaki korak naznačite na kojoj se liniji dnevnika zasniva i označite korak koji nema osnovu kao "[bez osnove - mora se provjeriti]". Napišite i alternativno dobronamjerno objašnjenje. Događaji: [zalijepi]

LAŽNO POZITIVNI ŠABLONA ZA ELIMINISANJE Za ovaj alarm, generirajte najmanje 3 dobronamjerna (lažno pozitivna) objašnjenja za tumačenje napada i zapišite koji dodatni dnevnik/dokaze trebam pogledati da bih provjerio svaki od njih. Zatim odredite koji dodatni dokazi idu u prilog napadu, a koji protiv njega. Alarm: [zalijepi]

PREDLOZAK ZA IZVAĐIVANJE VREMENSKOG TRAKA: Jedna hronološka vremenska linija se izdvaja iz ovih anonimnih dnevnika: svaki red u formatu [vrijeme] [entitet] [događaj] [izvorni dnevnik]. Dodavanje događaja bez vremenske oznake. Nemojte nadoknađivati ​​praznine; Ako nedostaje, napišite "[nedostaje]". Dnevnici: [zalijepi]

Uobičajene greške

• Analiza bez konteksta. Komentari napravljeni bez pominjanja izvora dnevnika i normalnog ponašanja (osnovna linija) su obmanjujući; "anomalija" dobija značenje sa kontekstom.
• Ne provjerava lanac koji je uspostavila AI. Model može povezati obične događaje sa pričom o napadu; Potvrdite svaki korak u neobrađenom dnevniku.
• Mijenjanje anomalije za napad. Znak UEBA-e je hipoteza; Uklonite nedužne uzroke kao što su sigurnosna kopija, održavanje, novi softver.
• Izvoz sirovih podataka bez maskiranja. Pravi IP/korisnik/host je i kršenje KVKK-a i poklon mrežne mape napadaču.
• Ne vjerujte negativnom sažetku i prestanite s pregledavanjem. Pokrenite sopstveni sistematski upit (tipovi kritičnih incidenata, novi MOK) čak i ako AI kaže "ništa važno".

Savjet: Uvijek tražite "pokažite liniju dokaza" kada AI sažima zapisnik. Ne uzimajte ozbiljno nijedan nalaz bez niza dokaza; Ovo jedno pravilo uklanja većinu halucinacija.

Oprez: Odbacivanje SIEM upozorenja samo zato što je AI rekla da bi "lažno pozitivan" mogao prikriti pravi napad. Također samostalno provjerite alarm koji AI naziva "nevažnim"; Odluka o zatvaranju pripada analitičaru i evidentira se.

Ukratko

Suština log i SIEM analize je da se izvuče pravi signal iz ogromne gomile šuma. U ovom sortiranju, AI sažima zapisnik u sekundama, grupiše obrasce, uspostavlja vremensku liniju i ističe osumnjičenog – ali ne poznaje institucionalni kontekst i može izmisliti događaje. Dakle, ispravna postavka je slojevita: pravilo/potpis se grubo prosejava, AI sažima i označava, analitičar verifikuje sa sirovim zapisnikom i donosi odluku. Tri principa vas štite: kontekst (bez anomalije koja se tumači bez osnovne linije), dokaz (svaki nalaz je vezan za neobrađenu liniju dnevnika), nezavisna kontrola (takođe se skenira ono što AI naziva "čistom" područjem). I uvijek radite anonimno.

Zadatak aplikacije

Uzmite uzorak fragmenta dnevnika (bilo anonimiziran iz vašeg vlastitog sistema ili iz uzorka skupa podataka). Prvo, sumirajte ga u AI sa šablonom "Log Summarization". Zatim primijenite predložak “Lažno pozitivno eliminiranje” za svaki od tri najistaknutija nalaza i provjerite svaki nalaz u neobrađenom dnevniku. Na kraju, obratite pažnju na razlike između sažetka AI i vašeg sirovog čitanja: Šta je AI propustio, šta je napravio, šta je ispravno?

kontrolna lista

• [ ] Anonimizirao sam dnevnik; pravi IP/korisnik/host maskiran.
• [ ] Dao sam AI izvor evidencije i normalno ponašanje (osnovno).
• [ ] Zatražio sam liniju evidencije dokaza za svaki nalaz i verifikovao to u neobrađenom dnevniku.
• [ ] Potvrdio sam svaki korak u lancu događaja koji je uspostavila AI, iskorijenivši izmišljotinu.
• [ ] Razmotrio sam barem jedno lažno pozitivno objašnjenje za svaki alarm.
• [ ] Također sam skenirao područja koja AI naziva "čisto/nevažno".
• [ ] Kao analitičar, donio sam odluku i zapisnik o incidentu; Dokumentirao sam AI kao akcelerator.