Jedinica 2 / 11

Log i SIEM analiza: Odvajanje događaja od buke pomoću umjetne inteligencije

Dobici:

  • Shvatite da umjetna inteligencija sažima i klasterira tisuće redaka dnevnika, uspostavlja vremensku crtu i ističe sumnjive obrasce, ali analitičar odlučuje da je događaj pravi napad s neobrađenim dnevnikom
  • Sposobnost primjene osnovne vrijednosti (normalnog ponašanja) pri procjeni SIEM alarma i kako eliminirati lažne pozitivne rezultate bez konteksta i kako se anomalija ne može protumačiti
  • Sposobnost stjecanja navike provjere lanca događaja koje je uspostavila umjetna inteligencija u neobrađenom dnevniku i uklanjanja lažnih korelacija

Sigurnosni analitičar većinu svog dana provodi čitajući dnevnike. Dnevnik je redak teksta koji označava vremenske oznake onoga što se dogodilo u sustavu: tko se kada prijavio, kojoj je datoteci pristupljeno, koja je veza odbijena. Nije problem što je balvana premalo, problem je što ga ima toliko da se guši. Organizacija srednje veličine proizvodi stotine milijuna redaka dnevnika dnevno. U ovoj hrpi trag pravog napada je igla u plastu sijena. SIEM (Sigurnosne informacije i upravljanje događajima - sustav koji prikuplja i povezuje zapise iz različitih izvora u jednom centru i proizvodi alarme temeljene na pravilima) je tu da pronađe ovu iglu; ali većina alarma koje SIEM generira također su lažno pozitivni (beskorisni alarmi koji zapravo nisu prijetnje). Pravi posao analitičara je izvući pravi signal iz ove buke.

Umjetna inteligencija moćna je pomoć u ovom sortiranju. Može pročitati tisuće redaka dnevnika u sekundi i sažeti ih ljudskim jezikom, grupirati ponavljajuće obrasce, opisati lanac događaja kao "prvo se dogodilo ovo, zatim ono" i objasniti zašto se alarm čini sumnjivim. Ali umjetna inteligencija ne zna što dnevnik znači u kontekstu ustanove: "pristup u 3 ujutro" je napad u jednoj instituciji, noćna smjena normalna u drugoj. Dakle, umjetna inteligencija sažima i označava zapisnik, ali analitičar odlučuje je li događaj pravi napad i provjerava ga neobrađenim zapisnikom.

Koraci analize dnevnika

Evo kako možete pokrenuti korak-po-korak analizu dnevnika/SIEM-a pomoću umjetne inteligencije:

  1. Prikupiti i anonimizirati. Uklonite relevantni fragment dnevnika; zamijenite stvarne IP adrese, korisnička imena, interna imena hostova rezerviranim mjestima (USER_A, IC_IP_1). Nikada ne izvozite neobrađene podatke takve kakvi jesu u vanjski alat.
  2. Dajte kontekst. Recite umjetnoj inteligenciji izvor dnevnika (vatrozid, Windows dnevnik događaja, web poslužitelj), kakvo je normalno ponašanje i što tražite. Analiza dnevnika bez konteksta dovodi u zabludu.
  3. Sažmi i agregiraj. Zatražite od umjetne inteligencije da grupira tisuće redaka po vrstama događaja, izdvoji brojeve pojavljivanja i stvori vremensku traku.
  4. Označite sumnjive uzorke. Istaknite uzorke kao što su "jedna uspješna prijava nakon neuspješnih prijava", "mnogo pristupa datotekama u kratkom vremenskom razdoblju", "mrežna veza pripada nepoznatom procesu".
  5. Potvrdite neobrađenim dokazima. Pronađite i potvrdite svaki uzorak koji AI označava u stvarnim recima dnevnika. Također sami skenirajte područja koja AI propušta.
  6. Odluka i registracija. Objavite stvarni događaj kao analitičar, otvorite kartu i dokumentirajte da je AI samo akcelerator.

Nekoliko pojmova: Izvor dnevnika je sustav koji proizvodi dnevnik. Korelacija je spajanje događaja iz različitih izvora i davanje smisla za njih (VPN prijava + pristup datoteci + prijenos podataka = moguće curenje). Osnovna vrijednost je mjera normalnog ponašanja sustava; Anomalija ima smisla samo u odnosu na osnovnu liniju. UEBA (Analitika ponašanja korisnika i entiteta) pristup je temeljen na umjetnoj inteligenciji koji uči normalno ponašanje svakog korisnika i označava odstupanja.

usporedna tablica

pristup

Kako radi

jaka točka

slabost

SIEM temeljen na pravilima

Fiksna pravila "ako-onda".

Transparentno, objašnjivo

Propušta nepoznati napad, puno lažno pozitivnih

Detekcija temeljena na potpisu

Odgovara poznatom lošem uzorku

Brzi na poznatu prijetnju

Slijepi za novi/promijenjeni napad

Anomalija/UEBA (AI)

Nalazi odstupanje od normale

Može uhvatiti nepoznato

Anomalija = nije napad; rizik od lažno pozitivnih rezultata

Sažimanje s AI

Sažima dnevnik na jeziku

Brzina, čitljivost

Bez konteksta, opasnost od halucinacije

Analitičar (ljudski)

Komentari s kontekstom

odluka, odgovornost

Spor, umara se, nema kamenca

Prava postavka nije odabrati jednu, već slojevito: SIEM i potpis grubo filtriraju šum, AI sažima i ističe, analitičar provjerava i odlučuje.

tri mini kućišta

Slučaj 1 — 50 000 redaka, 6 minuta. Analitičar anonimizira 50 000 redaka zapisa pristupa s web poslužitelja na AI. AI zaključuje da je jedan vanjski IP indeksirao /admin rute s 12 000 zahtjeva u 3 sata, isprobao 480 različitih parametara i primio 200 odgovora 3 puta. Analitičar pronalazi ova 3 uspješna zahtjeva u neobrađenom zapisniku, potvrđuje da se radi o stvarnom napadu nabrajanja puta i blokira IP. Ručno čitanje 50 000 redaka trajalo bi satima; Sažetak je skratio na 6 minuta, ali to je bila odluka analitičara.

Slučaj 2 — Izmišljena korelacija. Drugi analitičar kaže AI, "opišite lanac napada u ovom dnevniku." AI konstruira fluidnu priču: "U 02:11, USER_B je povećao privilegiju i izvezao podatke." Analitičar otvara neobrađeni dnevnik prije nego što ga upiše u izvješće; dok u dnevniku nema ni eskalacije privilegija niti prijenosa podataka — model uklapa tipičan lanac događaja u "priču o napadu". Analitičar izvlači tvrdnju. Lekcija: Svaki lanac koji AI kaže treba provjeriti u dnevniku.

Slučaj 3 — noćna smjena lažno pozitivna. UEBA model označava korisnika koji pristupa 900 datoteka u 3 sata ujutro kao "anomaliju visokog rizika". Analitičar provjerava kontekst: korisnik je rezervni operater i ovaj se posao izvodi u 03:00 svake noći; Osnovna linija nije gledana. Alarm je lažno pozitivan. Analitičar postavlja pravilo i dodaje ovaj operator na popis izuzetaka. Anomalija nije uvijek napad; Bez konteksta, alarm je buka.

Slab upit / Jak upit

Slab upit:

Pregledajte ovaj dnevnik, recite mi da li postoji napad.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Ovaj upit sadrži pravi IP i korisnika (kršenje privatnosti), ne govori izvor dnevnika i normalno ponašanje, ne traži AI dokaze i lažno pozitivnu ocjenu. AI vas može dovesti u zabludu jednom rečenicom, "da, postoji napad."

Snažan upit:

Vaša uloga: Pomoćnik analitičara SOC-a priprema DRAFT analize. Ne odluči, ne proglašavaj napad. Ovo je anonimni accesslog web poslužitelja (IP i korisnici su maskirani). Normalan promet: 100-300 zahtjeva/sat tijekom radnog vremena, uglavnom rute /product i /cart. Vaš zadatak: (1) klasterirajte događaje prema vrsti i izvoru, navedite broj pojavljivanja, (2) uzorke zastavica koji odstupaju od osnovne linije, (3) pokažite za svaku oznaku na kojim se redovima dnevnika temelji, (4) zapišite vjerojatnost lažno pozitivnog za svaki i zašto. Montažna linija/IOC umetanje; Označite "[analyst verify]" tamo gdje niste sigurni [anonimni zapis ovdje]

Jaka tvrdnja ograničava ulogu, pruža kontekst i polaznu vrijednost te zahtijeva angažman s dokazima i procjenu lažno pozitivnih rezultata.

Predlošci upita koji se mogu kopirati

PREDLOŽAK SAŽETKA DNEVNIKA Sljedeći anonimni [izvor dnevnika: npr. Sažmite dnevnik [vatrozida]: (1) grupirajte po vrstama događaja i navedite broj pojavljivanja svake grupe, (2) izdvojite broj jedinstvenih izvora/ciljeva, (3) uspostavite vremensku crtu (prvi-posljednji događaj, sati najvećeg opterećenja), (4) navedite 5 istaknutih anomalija s linijom dokaza. Odlučivanje; samo u sažetku. Dnevnik: [zalijepi]

PREDLOŽAK KORELACIJEKorelirajte anonimne događaje kroz vrijeme i entitet i konstruirajte mogući lanac događaja; ALI, za svaki korak navedite na kojem se retku dnevnika temelji i označite korak koji nema osnovu kao "[nema osnove - mora se provjeriti]". Napišite i alternativno dobronamjerno objašnjenje. Događaji: [zalijepi]

LAŽNO POZITIVAN PREDLOG ELIMINACIJE Za ovaj alarm, generirajte najmanje 3 dobronamjerna (lažno pozitivna) objašnjenja za tumačenje napada i zapišite koje dodatne zapise/dokaze trebam pogledati kako bih potvrdio svako od njih. Zatim utvrdite koji dodatni dokazi idu u prilog napadu, a koji protiv njega. Alarm: [zalijepi]

PREDLOŽAK IZVLAČIVANJA VREMENSKE TRAKE: Jedna kronološka vremenska traka izdvaja se iz ovih anonimnih dnevnika: svaki redak u formatu [vrijeme] [entitet] [događaj] [izvorni zapisnik]. Dodavanje događaja bez vremenske oznake. Nemojte nadoknađivati ​​praznine; Ako nedostaje, napišite "[nedostaje]". Dnevnici: [zalijepi]

Uobičajene greške

  • Analiza bez konteksta. Komentari bez spominjanja izvora dnevnika i normalnog ponašanja (osnovne vrijednosti) dovode u zabludu; "anomalija" dobiva značenje s kontekstom.
  • Ne provjerava lanac koji je uspostavila AI. Model može povezati obične događaje s pričom o napadu; Potvrdite svaki korak u neobrađenom zapisniku.
  • Miješajući anomaliju s napadom. Znak UEBA je hipoteza; Uklonite nedužne uzroke kao što su sigurnosno kopiranje, održavanje, novi softver.
  • Izvoz neobrađenih podataka bez maskiranja. Pravi IP/korisnik/domaćin je i kršenje KVKK-a i dar mrežne mape napadaču.
  • Ne vjerujte negativnom sažetku i prestanite pregledavati. Pokrenite vlastiti sustavni upit (vrste kritičnih incidenata, novi IOC-ovi) čak i ako AI ​​kaže "ništa važno".
Savjet: uvijek tražite "pokaži liniju dokaza" kada AI sažima zapisnik. Ne shvaćajte ozbiljno nijedan nalaz bez dokaza; Ovo jedno pravilo uklanja većinu halucinacija.
Oprez: odbacivanje upozorenja SIEM-a samo zato što je AI rekla "lažno pozitivno" moglo bi prikrivati ​​pravi napad. Također neovisno provjerite alarm koji AI naziva "nevažnim"; Odluka o zatvaranju pripada analitičaru i bilježi se.

Ukratko

Bit log i SIEM analize je izdvajanje stvarnog signala iz ogromne hrpe šuma. U ovom razvrstavanju, umjetna inteligencija sažima zapisnik u sekundama, grupira uzorke, uspostavlja vremensku crtu i ističe osumnjičenika — ali ne poznaje institucionalni kontekst i može izmisliti događaje. Dakle, ispravna postavka je slojevita: pravilo/potpis grubo prosijava, AI sažima i označava, analitičar provjerava neobrađenim zapisnikom i donosi odluku. Tri principa vas štite: kontekst (nema anomalija koje se tumače bez osnovne vrijednosti), dokaz (svaki nalaz vezan je za neobrađenu liniju dnevnika), neovisna kontrola (ono što umjetna inteligencija naziva "čistim" područjem također se skenira). I uvijek raditi anonimno.

Zadatak aplikacije

Uzmite ogledni fragment dnevnika (bilo anonimiziran iz vlastitog sustava ili iz uzorka skupa podataka). Najprije ga sažmite u AI pomoću predloška "Log Summarization". Zatim primijenite predložak "False Positive Elimination" za svaki od tri najznačajnija nalaza i sami provjerite svaki nalaz u neobrađenom dnevniku. Na kraju, obratite pažnju na razlike između sažetka umjetne inteligencije i vašeg neobrađenog očitanja: Što je umjetna inteligencija propustila, što je nadoknadila, što je učinila kako treba?

popis za provjeru

  • [ ] Anonimizirao sam dnevnik; pravi IP/korisnik/host maskiran.
  • [ ] Dao sam AI izvor dnevnika i normalno ponašanje (osnovnu liniju).
  • [ ] Zatražio sam redak dnevnika dokaza za svaki nalaz i potvrdio ga u neobrađenom dnevniku.
  • [ ] Potvrdio sam svaki korak u lancu događaja koji je uspostavio AI, uklanjajući izmišljotinu.
  • [ ] Razmotrio sam barem jedno lažno pozitivno objašnjenje za svaki alarm.
  • [ ] Također sam skenirao područja koja AI naziva "čistim/nevažnim".
  • [ ] Kao analitičar, donio sam odluku i zapisnik o incidentu; Dokumentirao sam AI kao akcelerator.