Vienība 1 / 11

Ievads mākslīgajā intelektā kiberdrošībā: lomas, robežas, aizsardzības ētika un pārbaude

Ieguvumi:

  • Spēja atšķirt, kur mākslīgais intelekts ietaupa laiku aizsardzības drošības darbplūsmā (atklāšana, analīze, iejaukšanās, uzlabošana, ziņošana) un kur drošībai kritiski lēmumi (uzbrukuma deklarācija, izolācija, bloķēšana, oficiālais ziņojums) tiek atstāti analītiķa ziņā atkarībā no uzdevuma riska līmeņa.
  • Spēja pielietot disciplīnu, lai katru AI izvadi savienotu ar neapstrādātiem pierādījumiem (log, IOC, CVE, kods), neatkarīgi tos pārbaudot un izlaižot konteksta filtrēšanu
  • Iespēja anonimizēt žurnāla un drošības datus KVKK/privātuma ietvaros un iejusties ieradumā izmantot tikai autorizētus, aizsardzības mērķus un ar rakstisku atļauju.

Drošības operāciju centrā (SOC angļu valodā — Security Operations Center; komanda, kas 24 stundas diennaktī uzrauga organizācijas tīklu, serverus un lietotājus) katru sekundi plūst tūkstošiem notikumu ierakstu. Darbinieks pieslēdzies serverim Krievijā pulksten 3:14: vai tas ir uzbrukums vai komandējums uz ārzemēm? Viens lietotājs piecās minūtēs šifrēja 4000 failus: vai šī izspiedējvīrusa programmatūra vai dublēšanas rīks? E-pasta ziņojumā ir rakstīts “Pievienots rēķins”: vai tas ir īsts grāmatvedības e-pasts vai pikšķerēšana? Pārskatot kodu, SQL vaicājums tieši savieno lietotāja ievadi: vai tā ir izmantojama ievainojamība vai drošs skripts, kas darbojas iekšējā tīklā? Daudzi no šiem jautājumiem atkārtojas un nogurdina; Daži no tiem ir lēmumi, kas var tieši izraisīt datu pārkāpumu, miljoniem liru lielu kaitējumu vai iestādes reputāciju.

Mākslīgais intelekts (AI jeb īsumā AI — datorsistēmas, kas var skenēt, apkopot, klasificēt, atzīmēt anomālijas un radīt liela apjoma teksta un rakstu melnrakstus) iederas tieši šī attēla vidū. Pareizi lietojot, tas dažu sekunžu laikā apkopo tūkstošiem žurnālu rindu, piešķir prioritāti ievainojamību kopai, analizē pikšķerēšanas e-pastu sekundēs, nevis minūtēs, un dod jums laiku pārdomām. Ja to lieto nepareizi, tas var ignorēt reālu uzbrukumu, apzīmējot to kā "normālu", maldināt komandu, radot draudus, kas neeksistē, vai nopludināt konfidenciālus žurnāla datus ārpus organizācijas.

Šīs vienības mērķis nav transportlīdzekļa reklamēšana. Mērķis ir noskaidrot, kur drošības profesionāļa darbā likt AI un kur to nelikt vispār. No sākuma atkārtosim pamatprincipu: mākslīgais intelekts ir palīgs, nevis lēmumu pieņemšanas iestāde drošības analītiķa vietā. Kvalificēta eksperta ziņā ir pasludināt incidentu par reālu uzbrukumu, izolēt sistēmu, bloķēt lietotāju un pārvērst konstatējumu oficiālā ziņojumā. Nepārbaudīta AI izvade ir nepierādīta prasība. Un šī moduļa sarkanākā līnija: viss, kas šeit ir izskaidrots, ir paredzēts aizsardzības (aizsardzības) nolūkiem. AI izmantošana, lai bez atļaujas iefiltrētos sistēmā, izveidotu uzbrukuma rīku vai veiktu nesankcionētu testēšanu, ir gan nelikumīga, gan ārpus šī moduļa darbības jomas.

Drošības darbplūsma un AI vieta

Lai saprastu aizsardzības drošības biznesu, ir lietderīgi sadalīt procesu piecos posmos. Atklāšana: aizdomīgu darbību tveršana no žurnāla un SIEM datiem. Analīze/šķirošana: novērtē un nosaka prioritātes, vai trauksme ir patiesa vai nepatiesa (viltus pozitīva). Atbilde: notikuma ierobežošana, izolācija, tīrīšana. Atveseļošana: ievainojamības aizvēršana, galvenā cēloņa novēršana. Ziņošana: konstatējuma tulkošana tehniskajā un vadības dokumentācijā. AI var pieskarties visiem pieciem posmiem, taču ne katram ir vienāda autoritāte.

No sākuma definēsim dažus terminus. SIEM (drošības informācijas un notikumu pārvaldība) ir sistēma, kas apkopo un korelē žurnāla ierakstus no dažādiem avotiem (servera, ugunsmūra, lietojumprogrammas) un ģenerē uz noteikumiem balstītas trauksmes. Kļūdaini pozitīvs ir tad, kad notikums, kas faktiski nav drauds, rada trauksmi; Tās ir sāpes mugurā, kas nogurdina SOC komandas un noved pie “uzmanīga noguruma”. Viltus negatīvs ir tad, kad īsts uzbrukums nekad netiek notverts; Tā ir visbīstamākā kļūda, jo tā klusi nodara kaitējumu. IOC (Indicator of Compromise) ir tehniska izsekojamība, kas parāda uzbrukuma pēdas: ļaunprātīga IP adrese, faila hash (jaucējs), domēna nosaukums. TTP (Tactics, Techniques, Procedures) ir uzvedības modelis, kas raksturo uzbrucēja uzvedību.

Šajā tabulā ir apkopota AI loma un riska līmenis pēc misijas:

Meklējumi

AI loma

Riska līmenis

Kas apstiprina

Žurnālu apkopošana, trokšņu samazināšana

paātrinātājs, summētājs

zems

analītiķis

Ievainojamības prioritāšu izklāsts

Šķirotājs, ieteikums

Zems-Vidējs

analītiķis

Pikšķerēšanas e-pasta analīze

Iepriekšēja kvalifikācija, noskaidrošana

vidējs

analītiķis

Trauksmes šķirošana (patiesa/nepatiesa)

Ieteikums rada pamatojumu

Vidēji augsts

Analītiķis (joprojām pareizi)

Incidentu atbildes rokasgrāmatas melnraksts

skiču ģenerators

Vidēji augsts

Vecākais analītiķis / IR vadītājs

Droša koda pārskatīšanas atrašana

Otrā acs, rādītājs

Vidēji augsts

Izstrādātājs + drošība

Lēmums par sistēmas izolāciju/bloķēšanu

nav noderīgi

ļoti augsts

pilnvarots analītiķis

Oficiālais ziņojums/paziņojums par incidentu

Melnraksts, eksperts labo

ļoti augsts

IR vadītājs + juridiskais/atbilstība

Paturiet prātā vienu rindiņu šajā diagrammā: pieaugot riskam, mākslīgā intelekta loma samazinās, cilvēku piekrišana pieaug. Neviena AI līnija nevar atbrīvot notikumu no pārskatīšanas.

Kāpēc verifikācija ir šī biznesa pamatā?

Šķiet, ka mākslīgais intelekts ir pārliecināts par tā sniegto rezultātu, taču tas var nebūt pārliecināts. Valodas modelis var izveidot neeksistējošu CVE numuru (ievainojamības ID), atsaukties uz žurnāla rindiņu, kas faktiski neeksistē, vai apgalvot, ka IP adrese ir "ļaunprātīga" bez jebkādiem pierādījumiem; to sauc par halucinācijām. Tas pats modelis var arī palaist garām īstu uzbrukuma ķēdi. Abiem slazdiem ir vienāda plūstamība; Vienīgais, kas atšķir pareizo no nepareizā, ir jūsu zināšanas un ieradums pārbaudīt.

Pārbaudes disciplīna sastāv no trim posmiem:

  1. Saistiet to ar pierādījumiem: saskaņojiet katru AI prasību ar neapstrādātu žurnālu, faktisko SOK, pārbaudāmu CVE ierakstu vai pašu kodu. Ziņojumā nevar iekļaut apgalvojumus, kuru avotu nevar norādīt. Izmantojiet AI, lai piesaistītu uzmanību, nevis kā pierādījumu.
  2. Neatkarīga pārbaude: pārbaudiet arī apgabalus, kurus AI sauc par "tīrām". Negatīvā mākslīgā intelekta izvade negarantē, ka nav nekādu draudu; Nekad neizlaidiet savu sistemātisko analīzi.
  3. Konteksta filtrs: lietpratīgi pārbaudiet, vai izvade atbilst organizācijas arhitektūrai, biznesa kontekstam un zināmai normālai darbībai. "Anomālija" ne vienmēr nozīmē "uzbrukums".
Uzmanību: par AI ģenerēta incidenta ziņojuma parakstīšanu, nesaskaņojot katru prasību ar neapstrādātiem pierādījumiem, ir tāda pati atbildība kā par apsūdzību bez pierādījumiem. Vienmērīga izvade nav precīza; Ja drošības lēmums ir nepareizs, izmaksas ir sistēmas avārija vai nepamanīts pārkāpums.

Privātums un ētika: žurnāla dati ir sensitīvi dati

Žurnāla ierakstos ir lietotājvārdi, IP adreses, iekšējo serveru nosaukumi, failu ceļi un dažreiz personas dati. Tie ir aizsargāti saskaņā ar KVKK (personas datu aizsardzības likumu) Turcijā un GDPR Eiropā; Turklāt tie ir "iekšējā izlūkošana", kas atklāj iestādes uzbrukuma virsmu. Ielīmējot notikumu ar neapstrādātu žurnālu, reāliem IP un iekšējiem serveru nosaukumiem publiskā AI rīkā, tiek ne tikai atklāti personas dati, bet arī tiek nosūtīta noderīga tīkla karte ārējam serverim. Noteikums ir vienkāršs: vispirms anonimizēt un maskēt. Aizstāt reālos IP, lietotājvārdus, iekšējos resursdatora nosaukumus ar vietturiem; Ja iespējams, izvēlieties korporatīvos rīkus, kuriem ir datu apstrādes līgums un neizmantojiet savus datus modeļu apmācībā.

Ētiskā robeža ir vismaz tikpat svarīga kā tehniskā robeža. Atšķirība starp ievainojamības atrašanu un tās izmantošanu bez atļaujas ir atšķirība starp juridisko un kriminālo. Šajā modulī jūs izmantojat AI tikai sistēmās, kurām esat pilnvarots, aizsardzības nolūkos un ar rakstisku atļauju. Lūgšana AI veikt tādas darbības kā "uzrakstīt uzbrukuma rīku", "kā iefiltrēties šajā vietnē", "izveidot strādājošu ļaunprātīgu programmatūru" ir ārpus profesijas, un mūsdienu AI rīki tos tomēr noraida.

trīs mini futrāļi

1. gadījums — droša lietošana. Analītiķis nakts maiņas laikā sastopas ar 1200 trauksmes signāliem SIEM. Vai AI apkopo neapstrādātus brīdinājumus (anonimizētus); AI sakļauj 1200 trauksmes signālus 18 klasteros un izvelk uz priekšu modeli “340 neizdevušies pieteikšanās gadījumi no tās pašas iekšējās IP, kam seko 1 veiksmīga pieteikšanās”. Analītiķis pārbauda šo kopu ar neapstrādātu žurnālu, atrod reālu paroles brutālā spēka uzbrukumu un 9 minūšu laikā bloķē kontu. AI paātrinātā šķirošana; Analītiķis pieņēma lēmumu un pārbaudi.

2. gadījums — nepārbaudīts izvades slazds. Cits analītiķis ir licis AI noteikt prioritāti ievainojamību sarakstam. AI saka: "CVE-2024-99999 ir kritisks, izlabojiet to tūlīt." Analītiķis plāno labot, bet nekad neatver CVE ierakstu; tā kā tāda CVE nav — modelis izdomāja numuru. Komanda zaudē stundas, dzenoties pēc ielāpa, kas neeksistē, kamēr patiesā kritiskā ievainojamība tiek aizkavēta. Pārbaude ir izlaista, pretenzija nav saistīta ar avotu.

3. gadījums — konfidencialitātes pārkāpums. Lai paātrinātu incidenta izmeklēšanu, eksperts ielīmē neapstrādātu ugunsmūra žurnālu ar faktiskajiem iekšējiem IP, lietotājvārdiem un VPN serveru nosaukumiem publiskā AI rīkā. Organizācijas tīkla topoloģija, nosaukumu shēma un lietotāju saraksts ir nonākuši ārējā serverī. Pareizais veids bija maskēt IP un nosaukumus un koplietot tikai modeli.

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne:

Vai šajā žurnālā ir uzbrukums: 10.2.14.7 lietotājs ahmet.yilmaz ievadīja VPN, pēc tam izveidoja savienojumu ar failu serveri FS-MUHASEBE-01. Piešķiriet prioritāti arī šīm ievainojamībām.

Šis pieprasījums ir kļūdains trīs veidos: tiek koplietots īstais IP, lietotāja un servera nosaukums (privātuma pārkāpums), AI loma un robežas nav noteiktas, kā arī nav pieprasīti pārbaudāmi pierādījumi. AI aizpilda nepilnības ar minējumiem, un rodas izdomāšanas risks.

Spēcīga uzvedne:

Jūsu loma: DRAFT SOC analītiķa palīgs. Lēmumu pieņemšana; Pasludiniet incidentu par "uzbrukumu", izolējiet sistēmu vai bloķējiet lietotāju. Vienkārši analizējiet anonīmo žurnāla modeli, ko es jums sniedzu. Katrai pretenzijai norādiet, uz kuru žurnāla līniju jūs to pamatojat; Atzīmējiet "[analyst verify]", ja neesat pārliecināts; SOK, CVE vai IP viltošana. Anonīms incidents: USER_A piekļuva VPN, izmantojot YURTDISI_IP plkst. 03:14; pēc tam piekļuva 4000 failiem iekšējam failu serverim; Lietotājs parasti strādā no 09:00 līdz 18:00. Jautājumi: (1) kādi modeļi ir aizdomīgi, (2) kādi papildu žurnāla pierādījumi man jāmeklē, (3) vai var būt kļūdaini pozitīvi rezultāti?

Spēcīgā griba ir anonīma, nosaka lomu un robežas, apšauba piesaisti pierādījumiem un viltus pozitīvu rezultātu iespējamību un aizliedz izdomāt.

Kopējamas uzvedņu veidnes

LOMU UN ROBEŽU APRAKSTU VEIDNEJūsu loma: drošības analītiķa palīgs, kas sagatavo PROJEKTU/ANALĪZI. Jūs neesat analītiķis; Incidenta pasludināšana par uzbrukumu, sistēmas izolēšana, lietotāja bloķēšana vai oficiāla ziņojuma pabeigšana. Galīgais lēmums un paraksts ir pie analītiķa. Parādiet pierādījumus (žurnāla līnija, SOK, CVE, kods) par katru prasību; Atzīmējiet kaut ko, kam nav pierādījumu, kā "[jāpārbauda]", neizdomājiet to. Uzdevums: [uzrakstīt uzdevumu].

ANONIMIZĀCIJAS VADĪBAS VEIDS Izvilkt reālās IP adreses, lietotājvārdus, iekšējos resursdatora/serveru nosaukumus, e-pasta un domēna nosaukumus, korporatīvo informāciju no tālāk norādītajiem drošības datiem; aizstāt ar konsekventiem vietturiem (USER_A, IC_IP_1, HOST_1). Saglabājiet tikai analīzei nepieciešamo modeli. Paziņot man par izmaiņām sarakstā. Dati: [ielīmēt datus]

VALIDĀCIJAS PĀRBAUDES VEINNE Katram jūsu konstatētajam atradumam blakus ierakstiet: (1) uz kādiem pierādījumiem tas ir balstīts, (2) kāds neapstrādāts ieraksts/avots man ir jāatver, lai pārbaudītu, (3) viltus pozitīva iespējamība un kāpēc. Ja nepieciešams, izmantojiet "iespējams/aizdomas", nevis precīzas valodas. Neesoša CVE/IOC/IP izgatavošana.

RISKA LĪMEŅA PIEŠĶIRŠANAS VEIDNE. Kategorizējiet drošības uzdevumu, kuru es piešķiršu, un uzrakstīšu pamatojumu: (A) zems risks – AI izklāsts/kopsavilkums pietiekams, (B) vidējs risks – analītiķim ir jāpārbauda, ​​(C) augsts/ļoti augsts risks – lēmums/izolācija/paziņojums pieder analītiķim, AI ir tikai noderīga. Uzdevums: [uzrakstīt uzdevumu].

Biežas kļūdas

  • AI sajaukt ar analītiķi. AI skenē modeļus, bet tam nav atbildības vai pilnvaras; Jūs izlemjat. Rezultāts ir melnraksts, nevis spriedums.
  • Īstā IP, lietotāja un resursdatora nosaukuma koplietošana. Tas ir gan KVKK pārkāpums, gan tīkla kartes noplūde, kas nāks par labu uzbrucējam; vispirms maska.
  • Paļaujoties uz negatīvu AI izvadi un atslābinot meklēšanu. "Nav draudu" patiesībā nenozīmē, ka nav; Nekad neizlaidiet savu sistemātisko analīzi.
  • Izmantojot gatavu CVE/IOC bez verifikācijas. Var saskaņot modeļa numuru un indikatoru; Apstipriniet katru ar oficiālo avotu.
  • Neatļauta/aizvainojoša lietošana. Strādāt tikai aizsardzībā, savās sistēmās, ar rakstisku atļauju; Citādi tas ir gan nelikumīgi, gan neētiski.
Padoms: katram uzdevumam uzdodiet sev vienu jautājumu: "Kas notiek, ja šī izvade ir nepareiza?" Ja atbilde ir “izvairās no uzbrukuma” vai “notiek darbības pārtraukums” — kā tas bieži notiek drošības jomā —, izmantojiet AI tikai kopsavilkuma/ieteikuma/konspekta izveidei un nekad neizlaidiet verifikāciju.

Rezumējot

Mākslīgais intelekts ir spēcīgs kiberdrošības palīgs: tas apkopo žurnālu, kārto trauksmi, analizē pikšķerēšanu, skenē kodu, ģenerē ziņojumu projektus. Taču šī ir drošībai svarīga joma; Kvalificēta eksperta ziņā ir pasludināt incidentu par uzbrukumu, izolēt sistēmu, bloķēt lietotāju un iesniegt oficiālu ziņojumu. MI loma piecos procesa posmos (atklāšana, analīze, iejaukšanās, sanācija, ziņošana) atšķiras atkarībā no riska līmeņa; Palielinoties riskam, pieaug cilvēku piekrišana. Trīs disciplīnas aizsargā katru soli: pierādījumi, neatkarīga pārbaude, konteksta filtrs. Un zem tā visa ir divi ierobežojumi: konfidencialitāte (neapstrādātu datu eksportēšana bez anonimizācijas) un ētika (tikai autorizēta, aizsardzības, atļauta izmantošana).

Lietojumprogrammas uzdevums

Izvēlieties trīs uzdevumus no savas organizācijas (vai scenārija piemēru): vienu zemu risku (piemēram, ikdienas brīdinājumu kopsavilkums), vienu vidēju risku (piemēram, pikšķerēšanas analīze), vienu ļoti augstu risku (piemēram, lēmums izolēt sistēmu). Katram no tiem (1) vienā teikumā aprakstiet AI lomu, (2) pierakstiet, kādu verifikācijas darbību veiksit, (3) norādiet, kā anonimizēsiet datus. Pēc tam pielāgojiet veidni “Lomu un robežu definīcija” savam vidēja riska uzdevumam, uzrakstiet uzvedni un atzīmējiet, kā verificēsit tā rezultātu, izmantojot neapstrādātus pierādījumus.

kontrolsaraksts

  • [ ] Noteicu uzdevuma riska līmeni (zems/vidējs/augsts/ļoti augsts).
  • [ ] Es ierobežoju mākslīgā intelekta lomu līdz "palīgs/kopsavilkums/ieteikums/uzmetums"; Lēmums un paraksts ir pie analītiķa.
  • [ ] Es anonimizēju datus; reālie IP, lietotāju, saimniekdatoru un domēnu nosaukumi ir maskēti.
  • [ ] Es apsolīju pārbaudīt katru prasību ar neapstrādātiem pierādījumiem (log, SOK, CVE, kods).
  • [ ] Neskatoties uz negatīvo AI rezultātu, es veiksšu savu sistemātisku analīzi.
  • [ ] Zinot, ka tas varētu būt viltots CVE/IOC/IP, es to apstiprināšu ar oficiālo avotu.
  • [ ] Es izmantoju tikai autorizētu, aizsardzības un rakstisku autorizētu izmantošanu.