Eenheid 1 / 11

Inleiding tot kunstmatige intelligentie in cyberbeveiliging: rollen, grenzen, defensie-ethiek en verificatie

Winst:

  • Onderscheid kunnen maken waar kunstmatige intelligentie tijd bespaart in de defensieve beveiligingsworkflow (detectie, analyse, interventie, verbetering, rapportage) en waar veiligheidskritische beslissingen (aanvalsaangifte, isolatie, blokkering, proces-verbaal) aan de analist worden overgelaten, afhankelijk van het taakrisiconiveau.
  • Mogelijkheid om de discipline toe te passen om elke AI-output te verbinden met ruw bewijsmateriaal (log, IOC, CVE, code), deze onafhankelijk te controleren en door contextfiltering te halen
  • Mogelijkheid om log- en beveiligingsgegevens te anonimiseren binnen de reikwijdte van KVKK/privacy en om er een gewoonte van te maken alleen geautoriseerde, defensieve doeleinden en met schriftelijke toestemming te gebruiken.

In een security operations center (SOC in het Engels - Security Operations Center; het team dat 24/7 het netwerk, de servers en de gebruikers van de organisatie in de gaten houdt) stromen duizenden gebeurtenisrecords per seconde. Een medewerker die om 03.14 uur verbinding heeft met een server in Rusland: is dit een aanval of een zakenreis naar het buitenland? Eén gebruiker versleutelde 4.000 bestanden in vijf minuten: is dit ransomware of een back-uptool? In een e-mail staat "Factuur bijgevoegd": is dit een echte boekhoudkundige e-mail of phishing? Bij een codebeoordeling voegt een SQL-query gebruikersinvoer rechtstreeks samen: is dit een exploiteerbare kwetsbaarheid of is dit een veilig script dat op het interne netwerk draait? Veel van deze vragen zijn repetitief en vermoeiend; Sommigen daarvan zijn beslissingen die direct kunnen leiden tot een datalek, miljoenen lira aan schade of de reputatie van een instelling.

Kunstmatige intelligentie (AI, of kortweg AI: computersystemen die afwijkingen kunnen scannen, samenvatten, classificeren, signaleren en concepten van grote hoeveelheden tekst en patronen kunnen produceren) past precies in het midden van dit beeld. Bij correct gebruik vat het duizenden regels logboeken in seconden samen, geeft het prioriteit aan een cluster van kwetsbaarheden, analyseert het een phishing-e-mail in seconden in plaats van minuten, en geeft het u de tijd om na te denken. Bij onjuist gebruik kan het een echte aanval negeren door deze als ‘normaal’ te bestempelen, het team vals alarmeren door een bedreiging te verzinnen die niet bestaat, of vertrouwelijke loggegevens buiten de organisatie lekken.

Het doel van deze unit is geen voertuigpromotie. Het doel is om duidelijk te maken waar AI in de taak van een beveiligingsprofessional moet worden geplaatst en waar het helemaal niet moet worden geplaatst. Laten we het basisprincipe vanaf het begin herhalen: kunstmatige intelligentie is een assistent, geen beslissingsautoriteit in plaats van de beveiligingsanalist. Het is aan de gekwalificeerde expert om een ​​incident tot een echte aanval te verklaren, een systeem te isoleren, een gebruiker te blokkeren en een bevinding om te zetten in een officieel rapport. Een niet-geverifieerde AI-output is een onbewezen claim. En de roodste regel van deze module: Alles wat hier wordt uitgelegd is voor defensieve (defensieve) doeleinden. Het gebruik van AI om zonder toestemming een systeem te infiltreren, een aanvalstool te maken of ongeautoriseerde tests uit te voeren, is zowel illegaal als buiten het bereik van deze module.

Beveiligingsworkflow en de plaats van AI

Om de business van defensieve beveiliging te begrijpen, is het nuttig om het proces in vijf fasen op te delen. Detectie: verdacht gedrag vastleggen uit log- en SIEM-gegevens. Analyse/triage: beoordelen en prioriteren of een alarm reëel of vals is (vals positief). Reactie: inperking van de gebeurtenis, isolatie, schoonmaak. Herstel: Het dichten van de kwetsbaarheid, het elimineren van de hoofdoorzaak. Rapportage: vertaling van de bevindingen naar technische en bestuurlijke documentatie. AI kan alle vijf de fasen bestrijken, maar niet elk met dezelfde autoriteit.

Laten we vanaf het begin een paar termen definiëren. SIEM (Security Information and Event Management) is een systeem dat logrecords van verschillende bronnen (server, firewall, applicatie) verzamelt en correleert en op regels gebaseerde alarmen genereert. Er is sprake van een vals positief resultaat als een gebeurtenis die niet daadwerkelijk een bedreiging vormt, een alarm veroorzaakt; Het is een pijn in de kont die SOC-teams vermoeit en leidt tot ‘alertvermoeidheid’. Er is sprake van een vals-negatief als er nooit een echte aanval wordt opgemerkt; Het is de gevaarlijkste fout omdat het stilletjes schade veroorzaakt. IOC (Indicator of Compromise) is het technische spoor dat het spoor van een aanval laat zien: een kwaadaardig IP-adres, een bestandshash (hash), een domeinnaam. TTP (Tactics, Techniques, Procedures) is een gedragspatroon dat beschrijft hoe de aanvaller zich gedraagt.

De volgende tabel vat de rol en het risiconiveau van AI per missie samen:

Zoektocht

Rol van AI

Risiconiveau

Wie keurt het goed

Logboeksamenvatting, ruisonderdrukking

versneller, sommator

laag

analist

Overzicht van prioriteiten voor kwetsbaarheden

Sorteerder, suggestie

Laag-medium

analist

Analyse van phishing-e-mails

Prekwalificerend, verhelderend

middelmatig

analist

Alarmtriage (waar/onwaar)

Suggestie produceert rechtvaardiging

Middelhoog

Analist (nog steeds correct)

Concept van draaiboek voor incidentrespons

schetsgenerator

Middelhoog

Senior analist / IR-leider

Veilige codebeoordeling vinden

Tweede oog, wijzer

Middelhoog

Ontwikkelaar + beveiliging

Systeemisolatie/blokkeringsbeslissing

niet nuttig

zeer hoog

geautoriseerde analist

Officieel incidentrapport/melding

Concept, deskundige corrigeert

zeer hoog

IR-leider + juridisch/compliance

Houd de ene lijn in dit diagram in gedachten: naarmate het risico toeneemt, wordt de rol van AI kleiner en groeit de menselijke goedkeuring. Geen enkele AI-lijn kan een gebeurtenis vrijstellen van beoordeling.

Waarom verificatie de kern van dit bedrijf is

Kunstmatige intelligentie lijkt vertrouwen te hebben in de output die het oplevert, maar dat is misschien niet zeker. Een taalmodel kan een niet-bestaand CVE-nummer (kwetsbaarheids-ID) verzinnen, verwijzen naar een logregel die niet daadwerkelijk bestaat, of beweren dat een IP-adres "kwaadaardig" is zonder enig bewijs; dit wordt hallucinatie genoemd. Hetzelfde model mist mogelijk ook een echte aanvalsketen. Beide vallen zijn even vloeibaar; Het enige dat goed van kwaad onderscheidt, is uw expertise en uw gewoonte om te verifiëren.

De verificatiediscipline bestaat uit drie stappen:

  1. Koppel het aan bewijs: koppel elke AI-claim aan een onbewerkt logboek, een daadwerkelijk IOC, een verifieerbaar CVE-record of de code zelf. Een claim waarvan de bron niet kan worden geciteerd, kan niet in het rapport worden opgenomen. Gebruik AI om de aandacht te trekken, niet als bewijs.
  2. Onafhankelijk controleren: onderzoek ook gebieden die de AI ‘schoon’ noemt. Een negatieve AI-output is geen garantie voor ‘geen dreiging’; Sla nooit uw eigen systematische analyse over.
  3. Contextfilter: test vakkundig of de output past bij de architectuur, de bedrijfscontext en het bekende normale gedrag van de organisatie. ‘Anomalie’ betekent niet altijd ‘aanval’.
Let op: het ondertekenen van een door AI gegenereerd incidentrapport zonder elke claim te matchen met ruw bewijsmateriaal brengt dezelfde aansprakelijkheid met zich mee als het uiten van een beschuldiging zonder bewijs. Vloeiende uitvoer is geen nauwkeurige uitvoer; Als een beveiligingsbeslissing verkeerd is, bestaan ​​de kosten uit een systeemcrash of een gemiste inbreuk.

Privacy en ethiek: loggegevens zijn gevoelige gegevens

Logrecords bevatten gebruikersnamen, IP-adressen, interne servernamen, bestandspaden en soms persoonlijke gegevens. Ze worden beschermd onder de KVKK (wet op de bescherming van persoonlijke gegevens) in Türkiye en de AVG in Europa; Bovendien zijn dit ‘interne inlichtingen’ die het aanvalsoppervlak van de instelling onthullen. Door een gebeurtenis met het onbewerkte logboek, echte IP-adressen en interne servernamen in een openbare AI-tool te plakken, worden niet alleen persoonlijke gegevens zichtbaar, maar wordt ook een nuttige netwerkkaart naar de externe server verzonden. De regel is simpel: eerst anonimiseren en maskeren. Vervang echte IP's, gebruikersnamen en interne hostnamen door tijdelijke aanduidingen; Kies indien mogelijk voor bedrijfstools die een gegevensverwerkingsovereenkomst hebben en uw gegevens niet gebruiken in modeltrainingen.

De ethische grens is minstens zo belangrijk als de technische grens. Het verschil tussen het vinden van een kwetsbaarheid en het zonder toestemming exploiteren ervan is het verschil tussen legaal en strafrechtelijk. In deze module gebruik je AI alleen in systemen waarvoor je geautoriseerd bent, voor defensieve doeleinden en met schriftelijke toestemming. AI vragen om dingen te doen als "een aanvalstool schrijven", "hoe infiltreer ik die site", "werkende malware produceren" valt buiten het vak, en moderne AI-tools wijzen ze hoe dan ook af.

drie minikoffers

Geval 1 — Veilig gebruik. Een analist komt tijdens een nachtdienst 1.200 alarmen tegen in de SIEM. Laat de AI ruwe alerts samenvatten (geanonimiseerd); AI deelt 1.200 alarmen samen in 18 clusters en haalt een patroon van "340 mislukte logins vanaf hetzelfde interne IP-adres, gevolgd door 1 succes" naar voren. De analist verifieert dit cluster met het onbewerkte logbestand, vindt een echte wachtwoord-bruteforce-aanval en vergrendelt het account binnen 9 minuten. AI versnelde sortering; De analist nam de beslissing en verificatie.

Geval 2 — Niet-geverifieerde outputtrap. Een andere analist laat de AI een lijst met kwetsbaarheden prioriteren. De AI zegt: "CVE-2024-99999 is van cruciaal belang, patch het nu." De analist is van plan een patch uit te brengen, maar opent nooit het CVE-record; terwijl zo’n CVE niet bestaat – het model vormde het getal. Het team verliest uren met het achtervolgen van een patch die niet bestaat, terwijl de echte kritieke kwetsbaarheid vertraging oploopt. Verificatie wordt achterwege gelaten, de claim is niet gekoppeld aan de bron.

Geval 3 — Schending van de vertrouwelijkheid. Om het onderzoek naar incidenten te versnellen, plakt een expert het onbewerkte firewalllogboek (met daadwerkelijke interne IP-adressen, gebruikersnamen en VPN-servernamen) in een openbare AI-tool. De netwerktopologie, het naamgevingsschema en de gebruikerslijst van de organisatie zijn naar een externe server gegaan. De juiste manier was om de IP's en namen te maskeren en alleen het patroon te delen.

Zwakke prompt/sterke prompt

Zwakke prompt:

Is er een aanval in het volgende logboek: 10.2.14.7 gebruiker ahmet.yilmaz heeft de VPN ingevoerd en vervolgens verbinding gemaakt met de bestandsserver FS-MUHASEBE-01. Geef ook prioriteit aan deze kwetsbaarheden.

Dit verzoek is op drie manieren gebrekkig: het echte IP-adres, de gebruikers- en servernaam worden gedeeld (privacyschending), de rol en grenzen van de AI zijn niet gedefinieerd en er wordt niet om verifieerbaar bewijsmateriaal gevraagd. AI vult de gaten op met giswerk en het risico van verzinsel ontstaat.

Krachtige prompt:

Jouw rol: DRAFT-assistent van de SOC-analist. Besluitvorming; Verklaar het incident als een ‘aanval’, isoleer het systeem of blokkeer de gebruiker. Analyseer gewoon het anonieme logpatroon dat ik je gaf. Geef per claim aan op welke logregel je deze baseert; Markeer "[analist verifieert]" als u het niet zeker weet; spoofing van IOC, CVE of IP. Anoniem incident: USER_A heeft toegang gekregen tot VPN via YURTDISI_IP om 03:14; vervolgens toegang gekregen tot 4.000 bestanden op de interne bestandsserver; De gebruiker werkt normaal gesproken tussen 09:00-18:00 uur. Vragen: (1) welke patronen zijn verdacht, (2) naar welk aanvullend logbewijs moet ik zoeken, (3) kunnen er valse positieven zijn?

De sterke wil is anoniem, definieert rol en grens, stelt de gehechtheid aan bewijsmateriaal en de mogelijkheid van valse positieven in vraag, en verbiedt verzinsels.

Kopieerbare promptsjablonen

ROL EN GRENSBESCHRIJVING SJABLOONUw rol: assistent van beveiligingsanalist die ONTWERP/ANALYSE voorbereidt. Je bent geen analist; Het incident als aanval bestempelen, het systeem isoleren, de gebruiker blokkeren of een proces-verbaal opmaken. De uiteindelijke beslissing en handtekening ligt bij de analist. Toon bewijs (logregel, IOC, CVE, code) voor elke claim; Markeer iets dat geen bewijs heeft als "[moet worden geverifieerd]", verzin het niet. Taak: [schrijftaak].

ANONIMISATIE-CONTROLESJABLOONExtraheer echte IP-adressen, gebruikersnamen, interne host-/servernamen, e-mail- en domeinnamen, bedrijfsinformatie uit de volgende beveiligingsgegevens; vervang door consistente tijdelijke aanduidingen (USER_A, IC_IP_1, HOST_1). Bewaar alleen het patroon dat nodig is voor analyse. Houd mij op de hoogte van wijzigingen in een lijst. Gegevens: [gegevens plakken]

VALIDATIECHECK-SJABLOON Schrijf voor elke bevinding die u doet ernaast: (1) op welk bewijsmateriaal is deze gebaseerd, (2) welk onbewerkt document/bron moet ik openen om te verifiëren, (3) de waarschijnlijkheid van een vals-positief resultaat en waarom. Gebruik waar nodig 'mogelijk/verdacht' in plaats van precieze taal. Niet-bestaande CVE/IOC/IP-fabricage.

SJABLOON VOOR TOEWIJZING VAN RISICONIVEAU Categoriseer de beveiligingsopdracht die ik ga toewijzen en schrijf een rechtvaardiging: (A) laag risico - AI-overzicht/samenvatting voldoende, (B) gemiddeld risico - analist moet verifiëren, (C) hoog/zeer hoog risico - beslissing/isolatie/melding behoort aan de analist, AI is alleen nuttig. Taak: [schrijftaak].

Veel voorkomende fouten

  • AI verwarren met een analist. AI scant op patronen, maar heeft geen verantwoordelijkheid of autoriteit; Jij beslist. Het resultaat is een concept, geen vonnis.
  • Echte IP-, gebruikers- en hostnaam delen. Dit is zowel een KVKK-schending als een netwerkkaartlek waar de aanvaller voordeel uit zal halen; eerst maskeren.
  • Vertrouwen op negatieve AI-uitvoer en het versoepelen van de zoektocht. ‘Geen dreiging’ betekent niet echt dat die er niet is; Sla nooit uw eigen systematische analyse over.
  • Gebruik van verzonnen CVE/IOC zonder verificatie. Kan modelnummer en indicator matchen; Bevestig elk met een officiële bron.
  • Ongeautoriseerd/aanstootgevend gebruik. Werk alleen defensief, op uw eigen systemen, met schriftelijke toestemming; Anders is het zowel illegaal als onethisch.
Tip: Stel uzelf voor elke taak één vraag: “Wat gebeurt er als deze uitvoer verkeerd is?” Als het antwoord luidt: “een aanval ontsnapt” of “er vindt een bedrijfsonderbreking plaats” – zoals vaak het geval is op het gebied van beveiliging – gebruik AI dan alleen voor de samenvatting/suggestie/overzicht en sla nooit de verificatie over.

Samengevat

Kunstmatige intelligentie is een krachtige assistent in cybersecurity: het vat het logboek samen, sorteert het alarm, analyseert phishing, scant de code en genereert conceptrapporten. Maar dit is een veiligheidskritisch gebied; Het is aan de gekwalificeerde expert om een ​​incident als een aanval te bestempelen, een systeem te isoleren, een gebruiker te blokkeren en een officieel rapport in te dienen. De rol van AI in de vijf fasen van het proces (detectie, analyse, interventie, herstel, rapportage) varieert afhankelijk van het risiconiveau; Naarmate het risico toeneemt, groeit de menselijke goedkeuring. Drie disciplines bewaken elke stap: bewijs, onafhankelijke controle, contextfilter. En onder dit alles zijn er twee grenzen: vertrouwelijkheid (het exporteren van onbewerkte gegevens zonder anonimisering) en ethiek (geautoriseerd, defensief, alleen geautoriseerd gebruik).

Applicatie taak

Selecteer drie taken uit uw eigen organisatie (of een voorbeeldscenario): één laag risico (bijvoorbeeld dagelijkse waarschuwingssamenvatting), één gemiddeld risico (bijvoorbeeld een phishing-analyse), één zeer hoog risico (bijvoorbeeld beslissing om een ​​systeem te isoleren). Beschrijf telkens (1) in één zin de rol van de AI, (2) schrijf op welke verificatiestap je gaat zetten, (3) geef aan hoe je de data gaat anonimiseren. Pas vervolgens het sjabloon “Definitie van rollen en grenzen” aan uw taak met gemiddeld risico aan, schrijf een prompt en noteer hoe u de uitkomst ervan gaat verifiëren met ruw bewijsmateriaal.

controlelijst

  • [ ] Ik heb het risiconiveau (laag/gemiddeld/hoog/zeer hoog) van de taak bepaald.
  • [ ] Ik heb de rol van de AI beperkt tot "assistent/samenvatting/suggestie/concept"; Het besluit en de handtekening liggen bij de analist.
  • [ ] Ik heb de gegevens geanonimiseerd; echte IP-, gebruikers-, host- en domeinnamen worden gemaskeerd.
  • [ ] Ik beloofde elke bewering te verifiëren met ruw bewijsmateriaal (logboek, IOC, CVE, code).
  • [ ] Ondanks de negatieve AI-output zal ik mijn eigen systematische analyse uitvoeren.
  • [ ] Wetende dat het mogelijk een nep-CVE/IOC/IP is, zal ik dit bij de officiële bron bevestigen.
  • [ ] Ik ben beperkt tot uitsluitend geautoriseerd, defensief en schriftelijk geautoriseerd gebruik.