Unitate 2 / 11

Jurnal și analiza SIEM: Separarea evenimentului de zgomot cu inteligență artificială

Câștiguri:

  • Înțelegeți că inteligența artificială rezumă și grupează mii de linii de jurnal, stabilește o linie de timp și evidențiază modele suspecte, dar analistul decide că evenimentul este un atac real cu jurnalul brut.
  • Abilitatea de a aplica linia de bază (comportament normal) atunci când se evaluează o alarmă SIEM și cum să elimine fals pozitive fără context și cum anomalia nu poate fi interpretată
  • Abilitatea de a dobândi obiceiul de a verifica lanțul de evenimente stabilit de inteligența artificială în jurnalul brut și de a elimina corelațiile false

Un analist de securitate își petrece cea mai mare parte a zilei citind jurnalele. Un jurnal este o linie de text care marchează timp ce sa întâmplat pe un sistem: cine s-a conectat când, ce fișier a fost accesat, ce conexiune a fost respinsă. Problema nu este că există prea puțin buștean, ci că este atât de mult încât este sufocant. O organizație de dimensiuni medii produce sute de milioane de linii de jurnal pe zi. În această grămadă, urma unui atac adevărat este acul din carul de fân. SIEM (Security Information and Event Management - sistemul care colectează și corelează jurnalele din diferite surse într-un singur centru și produce alarme bazate pe reguli) este acolo pentru a găsi acest ac; dar majoritatea alarmelor pe care SIEM le generează sunt și false pozitive (alarme inutile care nu sunt de fapt amenințări). Adevărata sarcină a analistului este să extragă semnalul real din acest zgomot.

Inteligența artificială este un ajutor puternic în această sortare. Poate citi mii de linii de jurnal în secunde și le poate rezuma în limbajul uman, poate grupa modele recurente, poate descrie un lanț de evenimente ca „mai întâi s-a întâmplat asta, apoi aia” și să explice de ce o alarmă pare suspectă. Dar AI nu știe ce înseamnă jurnalul în contextul instituției: „accesul la 3 dimineața” este un atac într-o instituție, un schimb de noapte normal în alta. Deci AI rezumă și semnalează jurnalul, dar analistul decide dacă un eveniment este un atac real și îl verifică cu jurnalul brut.

Etapele analizei jurnalului

Iată cum rulați o analiză jurnal/SIEM pas cu pas cu AI:

  1. Colectați și anonimizați. Îndepărtați fragmentul de jurnal relevant; înlocuiți IP-urile reale, numele de utilizator, numele de gazdă interne cu substituenți (USER_A, IC_IP_1). Nu exportați niciodată datele brute așa cum sunt într-un instrument extern.
  2. Dați contextul. Spuneți AI sursa jurnalului (firewall, jurnal de evenimente Windows, server web), care este comportamentul normal și ce căutați. Analiza jurnalelor fără context este înșelătoare.
  3. Rezumați și agregați. Cereți AI să grupeze mii de rânduri după tipuri de evenimente, să extragă numărul de apariții și să creeze o cronologie.
  4. Au semnalate modele suspecte. Evidențiați modele precum „o conectare reușită după conectări nereușite”, „mai multe accesări la fișiere într-o perioadă scurtă de timp”, „conexiune la rețea aparținând unui proces necunoscut”.
  5. Verificați cu dovezi brute. Găsiți și confirmați fiecare model pe care AI îl semnalează în liniile de jurnal efective. De asemenea, scanați pentru dvs. zonele pe care AI le ratează.
  6. Decizie și înregistrare. Declarați evenimentul real ca analist, deschideți un bilet și documentați că AI ​​este doar un accelerator.

Câțiva termeni: Sursa jurnalului este sistemul care produce jurnalul. Corelația reunește evenimente din diferite surse și le dă sens (autentificare VPN + acces la fișiere + transfer de date = posibilă scurgere). O linie de bază este o măsură a comportamentului normal al unui sistem; Anomalia are sens doar în raport cu linia de bază. UEBA (User and Entity Behavior Analytics) este o abordare bazată pe inteligență artificială care învață comportamentul normal al fiecărui utilizator și semnalează abaterea.

diagrama de comparatie

Abordare

Cum funcționează

punct forte

slăbiciune

SIEM bazat pe reguli

S-au corectat regulile „dacă-atunci”.

Transparent, explicabil

A ratat atacul necunoscut, o mulțime de rezultate false pozitive

Detectare bazată pe semnătură

Se potrivește cu modelul rău cunoscut

Rapid pe amenințarea cunoscută

Orb la atacul nou/modificat

Anomalie/UEBA (AI)

Găsește abaterea de la normal

Poate captura necunoscutul

Anomalie = nu atac; riscul de fals pozitive

Rezumat cu AI

Rezumă limba de conectare

Viteză, lizibilitate

Fără context, risc de halucinație

analist (uman)

Comentarii cu context

decizie, responsabilitate

Încet, obosește, nu crește

Configurația corectă nu este să alegeți una, ci să stratificați: SIEM și semnătura filtrează aproximativ zgomotul, AI rezumă și evidențiază, analistul verifică și decide.

trei mini cutii

Cazul 1 — 50.000 de linii, 6 minute. Un analist anonimizează 50.000 de linii de jurnale de acces de la un server web la AI. AI deduce că un singur IP extern a accesat cu crawlere/rute de administrare cu 12.000 de solicitări în 3 ore, a încercat 480 de parametri diferiți și a primit 200 de răspunsuri de 3 ori. Analistul găsește aceste 3 solicitări reușite în jurnalul brut, verifică că este un atac real de enumerare a căilor și blochează IP-ul. Citirea manuală a 50.000 de rânduri ar dura ore; Rezumatul a redus-o la 6 minute, dar a fost decizia analistului.

Cazul 2 – Corelație inventată. Un alt analist îi spune AI: „descrieți lanțul de atac în acest jurnal”. AI construiește o poveste fluidă: „La 02:11, USER_B a ridicat privilegiul și a exportat datele”. Analistul deschide jurnalul brut înainte de a-l scrie în raport; în timp ce în jurnal nu există nici escaladarea privilegiilor, nici transferul de date - modelul încadrează un lanț tipic de evenimente în „povestea atacurilor”. Analistul extrage afirmația. Lecție: Fiecare lanț pe care îl spune AI ar trebui verificat în jurnal.

Cazul 3 — Schimb de noapte fals pozitiv. Un model UEBA semnalează un utilizator care accesează 900 de fișiere la ora 3 a.m. ca o „anomalie cu risc ridicat”. Analistul verifică contextul: utilizatorul este un operator de rezervă și acest job rulează la ora 03:00 în fiecare noapte; Linia de bază nu a fost analizată. Alarma este un fals pozitiv. Analistul stabilește regula și adaugă acest operator la lista de excepții. Anomalia nu este întotdeauna un atac; Fără context, alarma este zgomot.

Prompt slab / Prompt puternic

Prompt slab:

Examinați acest jurnal, spuneți-mi dacă există un atac.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Acest prompt conține IP-ul real și utilizatorul (încălcarea confidențialității), nu spune sursa jurnalului și comportamentul normal, nu solicită AI-ului dovezi și evaluare fals pozitivă. AI te poate induce în eroare cu o singură propoziție, „da, există un atac”.

Solicitare puternică:

Rolul dumneavoastră: Asistent al analistului SOC care pregătește DRAFT de analiză. Nu te decide, nu declara un atac. Acesta este un jurnal de acces anonim al unui server web (IP-urile și utilizatorii sunt mascați). Trafic normal: 100-300 de solicitări/oră în timpul programului de lucru, majoritatea rutelor /produs și /cărucior. Sarcina dvs.: (1) grupați evenimente după tip și sursă, dați numărul de apariții, (2) modele de semnalizare care se abat de la linia de bază, (3) arată pentru fiecare semnalizare pe ce linii de jurnal se bazează, (4) notați probabilitatea unui fals pozitiv pentru fiecare și de ce. Linie de montaj/inserție IOC; Marcați „[verificarea analistului]” acolo unde nu sunteți sigur.[log anonim aici]

Afirmația puternică limitează rolul, oferă context și linie de referință și necesită implicarea cu dovezi și evaluarea fals pozitive.

Șabloane de prompt copiabile

ȘABLAN REZUMAT Jurnalul Următorul [sursă jurnal: de ex. Rezumați jurnalul [firewall]: (1) grupați după tipuri de evenimente și dați numărul de apariții ale fiecărui grup, (2) extrageți numărul de surse/ținte unice, (3) stabiliți o cronologie (primul-ultimul eveniment, ore de vârf), (4) enumerați cele 5 anomalii proeminente cu o linie de evidență. Luarea deciziilor; doar in rezumat. Jurnal: [paste]

MODEL DE CORELAȚIE Corelați evenimente anonime în timp și entitate și construiți un posibil lanț de evenimente; DAR, pentru fiecare pas, indicați pe ce linie de jurnal se bazează și marcați pasul care nu are bază ca „[fără bază - trebuie verificat]”. Scrieți și o explicație alternativă bine intenționată. Evenimente: [paste]

MODEL DE ELIMINAREA FALS POZITIV Pentru această alarmă, generați cel puțin 3 explicații bine intenționate (fals pozitive) pentru interpretarea atacului și notați ce log/dovezi suplimentare trebuie să mă uit pentru a le verifica pe fiecare. Apoi determinați ce dovezi suplimentare sunt în favoarea atacului și care sunt împotriva acestuia. Alarmă: [paste]

Șablon de extracție a cronologiei: din aceste jurnale anonime este extrasă o singură linie cronologică: fiecare linie în formatul [ora] [entitate] [eveniment] [jurnal sursă]. Adăugarea unui eveniment fără marcaj de timp. Nu compensa golurile; Dacă lipsește, scrieți „[lipsă]”. Jurnale: [paste]

Greșeli comune

  • Analiză fără context. Comentariile făcute fără a menționa sursa jurnalului și comportamentul normal (de referință) sunt înșelătoare; „anomalie” capătă sens odată cu contextul.
  • Neverificarea lanțului stabilit de AI. Modelul poate conecta evenimente obișnuite la o poveste de atac; Confirmați fiecare pas din jurnalul brut.
  • A confunda o anomalie cu un atac. Semnul UEBA este o ipoteză; Eliminați cauzele inocente precum backup, întreținere, software nou.
  • Exportarea datelor brute fără mascare. Adevărata IP/utilizator/gazdă este atât o încălcare KVKK, cât și un cadou al unei hărți de rețea pentru atacator.
  • Nu aveți încredere în rezumatul negativ și opriți navigarea. Rulați propria interogare sistematică (tipuri de incidente critice, noi IOC) chiar dacă AI spune „nimic important”.
Sfat: cereți întotdeauna să „afișați linia dovezilor” atunci când AI-ul rezumă jurnalul. Nu lua în serios nicio constatare fără o linie de probă; Această singură regulă elimină majoritatea halucinațiilor.
Atenție: respingerea unei alerte SIEM doar pentru că AI a spus „fals pozitiv” ar putea acoperi un atac real. De asemenea, verificați independent alarma pe care AI o numește „neimportantă”; Decizia de închidere aparține analistului și este înregistrată.

Pe scurt

Esența analizei log și SIEM este extragerea semnalului real dintr-un morman imens de zgomot. În această sortare, AI rezumă jurnalul în secunde, grupează modele, stabilește o linie de timp și evidențiază suspectul - dar nu cunoaște contextul instituțional și poate inventa evenimente. Deci configurația corectă este stratificată: regula/semnătura se cerne aproximativ, AI-ul rezumă și semnalează, analistul verifică cu jurnalul brut și ia o decizie. Trei principii te protejează: contextul (nicio anomalie interpretată fără linia de bază), dovezi (fiecare constatare este legată de linia de jurnal brut), control independent (este scanat și ceea ce AI numește zona „curată”). Și lucrează întotdeauna anonim.

Sarcina de aplicare

Luați un fragment de jurnal de probă (fie anonimizat din propriul sistem, fie dintr-un set de date eșantion). Mai întâi, rezumați-l la AI cu șablonul „Rezumat jurnal”. Apoi aplicați șablonul „Eliminare fals pozitivă” pentru fiecare dintre cele mai notabile trei constatări și verificați fiecare descoperire în jurnalul brut. În cele din urmă, rețineți diferențele dintre rezumatul AI și lectura dvs. brută: Ce a ratat AI ​​, ce a inventat, ce a făcut corect?

lista de verificare

  • [ ] Am anonimizat jurnalul; IP real/utilizator/gazdă mascat.
  • [ ] Am dat AI sursa jurnalului și comportamentul normal (linia de bază).
  • [ ] Am solicitat o linie de jurnal de dovezi pentru fiecare constatare și am verificat-o în jurnalul brut.
  • [ ] Am confirmat fiecare pas al lanțului de evenimente stabilit de AI, eliminând fabricația.
  • [ ] Am luat în considerare cel puțin o explicație fals pozitivă pentru fiecare alarmă.
  • [ ] Am scanat și zonele pe care AI le numește „curat/neimportant”.
  • [ ] În calitate de analist, am luat decizia și înregistrarea incidentului; Am documentat AI ca un accelerator.