Vienetas 2 / 11

Žurnalo ir SIEM analizė: įvykio atskyrimas nuo triukšmo naudojant dirbtinį intelektą

Pelnas:

  • Supraskite, kad dirbtinis intelektas apibendrina ir sugrupuoja tūkstančius žurnalo eilučių, nustato laiko juostą ir išryškina įtartinus modelius, tačiau analitikas nusprendžia, kad įvykis yra tikra ataka naudojant neapdorotą žurnalą.
  • Galimybė taikyti pradinę padėtį (įprastą elgesį) vertinant SIEM aliarmą ir kaip pašalinti klaidingus teigiamus duomenis be konteksto ir kaip anomalija negali būti interpretuojama
  • Gebėjimas įgyti įprotį patikrinti dirbtinio intelekto sukurtą įvykių grandinę neapdorotame žurnale ir pašalinti netikras koreliacijas

Saugumo analitikas didžiąją dienos dalį praleidžia skaitydamas žurnalus. Žurnalas yra teksto eilutė, kurioje laiko žyma, kas atsitiko sistemoje: kas kada prisijungė, koks failas buvo pasiektas, kuris ryšys buvo atmestas. Problema ne ta, kad per mažai rąsto, o ta, kad jo tiek daug, kad dūsta. Vidutinio dydžio organizacija per dieną pagamina šimtus milijonų rąstų eilučių. Šioje krūvoje tikro puolimo pėdsakas – adata šieno kupetoje. SIEM (saugumo informacijos ir įvykių valdymas – sistema, kuri renka ir koreliuoja žurnalus iš skirtingų šaltinių viename centre ir sukuria taisyklėmis pagrįstus pavojaus signalus) yra tam, kad būtų galima rasti šią adatą; tačiau dauguma SIEM generuojamų pavojaus signalų taip pat yra klaidingi teigiami (nenaudingi pavojaus signalai, kurie iš tikrųjų nėra grėsmės). Tikrasis analitiko darbas yra išgauti tikrą signalą iš šio triukšmo.

Dirbtinis intelektas yra galinga šio rūšiavimo pagalba. Jis gali per kelias sekundes nuskaityti tūkstančius žurnalo eilučių ir apibendrinti jas žmonių kalba, sugrupuoti pasikartojančius modelius, apibūdinti įvykių grandinę kaip „pirma atsitiko tai, tada aną“ ir paaiškinti, kodėl pavojaus signalas atrodo įtartinas. Tačiau AI nežino, ką žurnalas reiškia įstaigos kontekste: „prieiga 3 val. ryto“ yra išpuolis vienoje įstaigoje, naktinė pamaina – įprasta kitoje. Taigi AI apibendrina ir pažymi žurnalą, tačiau analitikas nusprendžia, ar įvykis yra tikra ataka, ir patikrina jį naudodamas neapdorotą žurnalą.

Žurnalo analizės žingsniai

Štai kaip paleidžiate žingsnis po žingsnio žurnalo / SIEM analizę naudodami AI:

  1. Rinkti ir anonimizuoti. Pašalinkite atitinkamą žurnalo fragmentą; pakeisti faktinius IP adresus, naudotojų vardus, vidinius pagrindinio kompiuterio pavadinimus vietos rezervavimo ženklais (USER_A, IC_IP_1). Niekada neeksportuokite neapdorotų duomenų į išorinį įrankį.
  2. Pateikite kontekstą. Pasakykite AI žurnalo šaltinį (ugniasienė, „Windows“ įvykių žurnalas, žiniatinklio serveris), kaip elgiasi įprastai ir ko ieškote. Žurnalo analizė be konteksto yra klaidinanti.
  3. Apibendrinkite ir apibendrinkite. Paprašykite AI sugrupuoti tūkstančius eilučių pagal įvykių tipus, išgauti įvykių skaičių ir sukurti laiko juostą.
  4. Pažymėti įtartini raštai. Paryškinkite tokius modelius kaip „vienas sėkmingas prisijungimas po nesėkmingų prisijungimų“, „daug failų prieiga per trumpą laiką“, „nežinomam procesui priklausantis tinklo ryšys“.
  5. Patvirtinkite neapdorotais įrodymais. Raskite ir patvirtinkite kiekvieną šabloną, kurį AI žymi tikrosiose žurnalo eilutėse. Taip pat patys nuskaitykite sritis, kurių AI praleidžia.
  6. Sprendimas ir registracija. Paskelbkite tikrąjį įvykį kaip analitikas, atidarykite bilietą ir dokumentuokite, kad AI yra tik greitintuvas.

Keletas terminų: žurnalo šaltinis yra žurnalą gaminanti sistema. Koreliacija yra įvykių iš skirtingų šaltinių sujungimas ir jų įprasminimas (VPN prisijungimas + prieiga prie failų + duomenų perdavimas = galimas nutekėjimas). Bazinė linija yra normalios sistemos elgsenos matas; Anomalija turi prasmę tik palyginti su pradine linija. UEBA (vartotojų ir subjektų elgesio analizė) yra dirbtiniu intelektu pagrįstas metodas, kuris išmoksta įprastą kiekvieno vartotojo elgesį ir pažymi nukrypimus.

palyginimo diagrama

Prieiga

Kaip tai veikia

stiprioji vieta

silpnumas

Taisyklėmis pagrįstas SIEM

Ištaisytos „jei-tada“ taisyklės

Skaidrus, paaiškinamas

Praleidžia nežinomą ataką, daug klaidingų teigiamų rezultatų

Parašo aptikimas

Atitinka žinomą blogą modelį

Greitai esant žinomai grėsmei

Aklas naujai / pakeistai atakai

Anomalija / UEBA (AI)

Nustato nukrypimą nuo normos

Gali užfiksuoti nežinomybę

Anomalija = nepulti; klaidingų teigiamų rezultatų rizika

Apibendrinimas su AI

Apibendrina prisijungimo kalbą

Greitis, skaitomumas

Nėra konteksto, haliucinacijų rizika

Analitikas (žmogus)

Komentarai su kontekstu

sprendimas, atsakomybė

Lėtas, pavargsta, nesumažėja

Tinkama sąranka yra ne pasirinkti vieną, o sluoksniuoti: SIEM ir parašas apytiksliai išfiltruoja triukšmą, AI apibendrina ir pabrėžia, analitikas patikrina ir nusprendžia.

trys mini dėklai

1 atvejis – 50 000 eilučių, 6 minutės. Analitikas anonimizuoja 50 000 prieigos žurnalų eilučių iš žiniatinklio serverio į AI. AI daro išvadą, kad vienas išorinis IP apžiūrėjo / administratoriaus maršrutus su 12 000 užklausų per 3 valandas, išbandė 480 skirtingų parametrų ir 3 kartus gavo 200 atsakymų. Analitikas randa šias 3 sėkmingas užklausas neapdorotame žurnale, patikrina, ar tai tikra kelio surašymo ataka, ir blokuoja IP. 50 000 eilučių skaitymas ranka užtruktų valandas; Santrauka sutrumpėjo iki 6 minučių, tačiau tai buvo analitiko sprendimas.

2 atvejis – išgalvota koreliacija. Kitas analitikas sako AI: „apibūdinkite atakos grandinę šiame žurnale“. AI sukuria sklandžią istoriją: „02:11 USER_B padidino privilegiją ir eksportavo duomenis“. Analitikas atidaro neapdorotą žurnalą prieš įrašydamas jį į ataskaitą; kadangi žurnale nėra nei privilegijų eskalavimo, nei duomenų perdavimo – modelis pritaiko tipišką įvykių grandinę į „puolimo istoriją“. Analitikas ištraukia teiginį. Pamoka: kiekviena grandinė, kurią pasakoja AI, turėtų būti patikrinta žurnale.

3 atvejis – naktinė pamaina klaidingai teigiama. UEBA modelis pažymi, kad vartotojas, pasiekiantis 900 failų 3 val., yra „didelės rizikos anomalija“. Analitikas patikrina kontekstą: vartotojas yra atsarginis operatorius ir šis darbas vyksta 03:00 kiekvieną naktį; Į pradinę padėtį nebuvo žiūrima. Signalas yra klaidingai teigiamas. Analitikas nustato taisyklę ir įtraukia šį operatorių į išimčių sąrašą. Anomalija ne visada yra priepuolis; Be konteksto signalas yra triukšmas.

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Išnagrinėkite šį žurnalą, pasakykite man, ar yra ataka.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

Šiame raginime yra tikrasis IP ir naudotojas (privatumo pažeidimas), nenurodomas žurnalo šaltinis ir įprastas elgesys, nereikalaujama AI įrodymų ir klaidingai teigiamo įvertinimo. AI gali jus suklaidinti vienu sakiniu: „Taip, yra ataka“.

Galingas raginimas:

Jūsų vaidmuo: SOC analitiko asistentas, rengiantis analizės JUODRAŠTĄ. Neapsispręsk, neskelbk puolimo. Tai anoniminis žiniatinklio serverio prieigos žurnalas (IP ir vartotojai yra užmaskuoti). Įprastas srautas: 100-300 užklausų per valandą darbo valandomis, daugiausia /prekių ir /krepšelių maršrutai. Jūsų užduotis: (1) sugrupuokite įvykius pagal tipą ir šaltinį, nurodykite įvykių skaičių, (2) vėliavėlių šablonus, kurie nukrypsta nuo pradinės linijos, (3) kiekvienai vėliavai parodykite, kuriomis žurnalo eilutėmis ji pagrįsta, (4) užrašykite klaidingo teigiamo tikimybę ir kodėl. Tvirtinimo linija/IOC įterpimas; Pažymėkite „[analitikas patvirtina]“, kur nesate tikri.[anoniminis prisijunkite čia]

Tvirtas teiginys apriboja vaidmenį, pateikia kontekstą ir pradinį tašką ir reikalauja įsitraukti į įrodymus bei įvertinti klaidingus teigiamus rezultatus.

Kopijuojami raginimo šablonai

LOG SUMMARY TEMPLATEŠis anoniminis [žurnalo šaltinis: pvz. Apibendrinkite [ugniasienės] žurnalą: (1) sugrupuokite pagal įvykių tipus ir nurodykite kiekvienos grupės įvykių skaičių, (2) išskirkite unikalių šaltinių / taikinių skaičių, (3) nustatykite laiko juostą (pirmasis paskutinis įvykis, piko valandos), (4) išvardykite 5 ryškias anomalijas su įrodymų linija. Sprendimų priėmimas; tik apibendrinant. Žurnalas: [įklijuoti]

KORELIACIJOS ŠABLONAS koreliuokite anoniminius įvykius laikui bėgant ir subjektą bei sukurkite galimą įvykių grandinę; BET kiekvienam žingsniui nurodykite, kuria žurnalo eilute jis pagrįstas, o žingsnį, kuris neturi jokio pagrindo, pažymėkite kaip „[nėra pagrindo – reikia patikrinti]“. Taip pat parašykite alternatyvų gerai apgalvotą paaiškinimą. Įvykiai: [įklijuoti]

KLAIDA TEIGIAMO PAŠALINIMO ŠABLONAS Šiam aliarmui sugeneruokite bent 3 gerai apgalvotus (klaidingus teigiamus) atakos aiškinimo paaiškinimus ir užsirašykite, į kokius papildomus žurnalus/įrodymus turiu žiūrėti, kad patikrinčiau kiekvieną iš jų. Tada nustatykite, kurie papildomi įrodymai yra už išpuolį, o kurie prieš jį. Signalizacija: [įklijuoti]

LAIKO JUOSTOS IŠGAVIMO ŠABLONIS: iš šių anoniminių žurnalų išgaunama viena chronologinė laiko juosta: kiekviena eilutė formatu [laikas] [esinys] [įvykis] [šaltinio žurnalas]. Įvykio pridėjimas be laiko žymos. Neuždenkite spragų; Jei trūksta, parašykite „[trūksta]“. Žurnalai: [įklijuoti]

Dažnos klaidos

  • Analizė be konteksto. Komentarai, pateikti nenurodant žurnalo šaltinio ir įprasto elgesio (pradinės padėties), yra klaidinantys; „anomalija“ prasmę įgyja kartu su kontekstu.
  • Nepatikrinama AI nustatytos grandinės. Modelis gali susieti įprastus įvykius su atakos istorija; Patvirtinkite kiekvieną neapdoroto žurnalo veiksmą.
  • Anomaliją supainioti su ataka. UEBA ženklas yra hipotezė; Pašalinkite nekaltas priežastis, pvz., atsarginę kopiją, priežiūrą, naują programinę įrangą.
  • Neapdorotų duomenų eksportavimas be maskavimo. Tikrasis IP / vartotojas / pagrindinis kompiuteris yra ir KVKK pažeidimas, ir tinklo žemėlapio dovana užpuolikui.
  • Nepasitikėkite neigiama santrauka ir nustokite naršyti. Vykdykite savo sisteminę užklausą (kritinių incidentų tipai, nauji IOC), net jei AI sako „nieko svarbaus“.
Patarimas: visada paprašykite „rodyti įrodymų liniją“, kai AI apibendrina žurnalą. Nežiūrėkite rimtai į bet kokį radinį be įrodymų; Ši taisyklė pašalina daugumą haliucinacijų.
Atsargiai: SIEM įspėjimo atmetimas vien todėl, kad AI pasakė „klaidingai teigiamas“, gali būti paslėpta tikra ataka. Taip pat savarankiškai patikrinkite aliarmą, kurį AI vadina „nesvarbiu“; Sprendimas dėl uždarymo priklauso analitikui ir yra įrašomas.

Apibendrinant

Log ir SIEM analizės esmė yra išgauti tikrą signalą iš didžiulės triukšmo krūvos. Atlikdamas šį rūšiavimą, AI apibendrina žurnalą sekundėmis, sugrupuoja šablonus, nustato laiko juostą ir išryškina įtariamąjį, bet nežino institucinio konteksto ir gali sugalvoti įvykius. Taigi teisinga sąranka yra daugiasluoksnė: taisyklė / parašas apytiksliai persijoja, AI apibendrina ir pažymi, analitikas patikrina neapdorotą žurnalą ir priima sprendimą. Jus saugo trys principai: kontekstas (jokios anomalijos aiškinamos be pradinės linijos), įrodymai (kiekviena išvada susieta su neapdorota žurnalo linija), nepriklausoma kontrolė (taip pat nuskaitoma tai, ką AI vadina „švaria“ sritimi). Ir visada dirba anonimiškai.

Taikymo užduotis

Paimkite žurnalo fragmento pavyzdį (anoniminį iš jūsų sistemos arba iš pavyzdinių duomenų rinkinio). Pirmiausia apibendrinkite jį į AI naudodami šabloną „Žurnalo suvestinė“. Tada pritaikykite šabloną „Klaidingai teigiamas pašalinimas“ kiekvienam iš trijų svarbiausių radinių ir patikrinkite kiekvieną atradimą neapdorotame žurnale. Galiausiai atkreipkite dėmesį į skirtumus tarp AI santraukos ir neapdoroto skaitymo: ko AI praleido, ką jis sudarė, ką jis padarė teisingai?

kontrolinis sąrašas

  • [ ] anonimizuojau žurnalą; tikras IP / vartotojas / pagrindinis kompiuteris užmaskuotas.
  • [ ] Pateikiau AI žurnalo šaltinį ir įprastą elgseną (bazinę būseną).
  • [ ] Paprašiau įrodymų žurnalo eilutės kiekvienam radiniui ir patikrinau tai neapdorotame žurnale.
  • [ ] Aš patvirtinau kiekvieną AI nustatytos įvykių grandinės žingsnį, pašalindamas prasimanymą.
  • [ ] Apsvarsčiau bent vieną klaidingai teigiamą kiekvieno aliarmo paaiškinimą.
  • [ ] Taip pat nuskaitau sritis, kurias AI vadina „švariomis/nesvarbiomis“.
  • [ ] Aš, kaip analitikas, priėmiau sprendimą ir padariau įvykio įrašą; Aš dokumentavau AI kaip greitintuvą.