Unit 1 / 11

Pengenalan kepada Kepintaran Buatan dalam Keselamatan Siber: Peranan, Sempadan, Etika Pertahanan dan Pengesahan

Keuntungan:

  • Dapat membezakan di mana kecerdasan buatan menjimatkan masa dalam aliran kerja keselamatan pertahanan (pengesanan, analisis, campur tangan, penambahbaikan, pelaporan) dan di mana keputusan kritikal keselamatan (pengisytiharan serangan, pengasingan, penyekatan, laporan rasmi) diserahkan kepada penganalisis, bergantung pada tahap risiko tugas.
  • Keupayaan untuk menerapkan disiplin menyambung setiap output AI kepada bukti mentah (log, IOC, CVE, kod), menyemaknya secara bebas dan menyampaikannya melalui penapisan konteks
  • Keupayaan untuk menamakan data log dan keselamatan dalam skop KVKK/privasi dan membiasakan diri menggunakan hanya tujuan yang dibenarkan, pertahanan dan dengan kebenaran bertulis.

Dalam pusat operasi keselamatan (SOC dalam bahasa Inggeris - Pusat Operasi Keselamatan; pasukan yang memantau rangkaian organisasi, pelayan dan pengguna 24/7), beribu-ribu rekod acara mengalir setiap saat. Seorang pekerja disambungkan ke pelayan di Rusia pada 3:14 pagi: adakah ini serangan atau perjalanan perniagaan ke luar negara? Seorang pengguna menyulitkan 4,000 fail dalam masa lima minit: adakah perisian tebusan ini atau alat sandaran? E-mel menyatakan "Invois dilampirkan": adakah ini e-mel perakaunan sebenar atau pancingan data? Dalam semakan kod, pertanyaan SQL menggabungkan input pengguna secara langsung: adakah ini kelemahan yang boleh dieksploitasi atau skrip selamat yang dijalankan pada rangkaian dalaman? Banyak soalan ini berulang-ulang dan memenatkan; Sebahagian daripada mereka adalah keputusan yang secara langsung boleh membawa kepada pelanggaran data, berjuta-juta lira kerosakan, atau reputasi institusi.

Kecerdasan buatan (AI, atau AI untuk sistem komputer pendek yang boleh mengimbas, meringkaskan, mengelaskan, membenderakan anomali dan menghasilkan draf teks dan corak dalam jumlah besar) sesuai betul-betul di tengah-tengah gambar ini. Apabila digunakan dengan betul, ia meringkaskan beribu-ribu baris log dalam beberapa saat, mengutamakan sekumpulan kelemahan, menganalisis e-mel pancingan data dalam beberapa saat dan bukannya minit dan memberi anda masa untuk berfikir. Apabila digunakan secara salah, ia boleh mengabaikan serangan sebenar dengan melabelkannya sebagai "biasa", mencemaskan pasukan secara palsu dengan mengada-adakan ancaman yang tidak wujud, atau membocorkan data log sulit di luar organisasi.

Tujuan unit ini bukan untuk promosi kenderaan. Matlamatnya adalah untuk menjelaskan tempat untuk meletakkan AI dalam tugas profesional keselamatan dan tempat untuk tidak meletakkannya sama sekali. Mari kita ulangi prinsip asas dari awal: Kecerdasan buatan ialah pembantu, bukan pihak berkuasa membuat keputusan menggantikan penganalisis keselamatan. Terpulang kepada pakar yang berkelayakan untuk mengisytiharkan insiden sebagai serangan sebenar, mengasingkan sistem, menyekat pengguna dan menukar penemuan menjadi laporan rasmi. Output AI yang tidak disahkan ialah tuntutan yang tidak terbukti. Dan baris paling merah modul ini: Semua yang dijelaskan di sini adalah untuk tujuan pertahanan (pertahanan). Menggunakan AI untuk menyusup ke dalam sistem tanpa kebenaran, mencipta alat serangan atau menjalankan ujian tanpa kebenaran adalah menyalahi undang-undang dan di luar skop modul ini.

Aliran kerja keselamatan dan tempat AI

Untuk memahami perniagaan keselamatan pertahanan, adalah berguna untuk memecahkan proses kepada lima peringkat. Pengesanan: Menangkap tingkah laku yang mencurigakan daripada data log dan SIEM. Analisis/triage: menilai dan memberi keutamaan sama ada penggera adalah nyata atau palsu (positif palsu). Respons: pembendungan acara, pengasingan, pembersihan. Pemulihan: Menutup kelemahan, menghapuskan punca utama. Pelaporan: terjemahan penemuan ke dalam dokumentasi teknikal dan pengurusan. AI boleh menyentuh semua lima peringkat, tetapi tidak setiap satu dengan kuasa yang sama.

Mari kita takrifkan beberapa istilah dari awal. SIEM (Maklumat Keselamatan dan Pengurusan Acara) ialah sistem yang mengumpul dan mengaitkan rekod log daripada sumber yang berbeza (pelayan, tembok api, aplikasi) dan menjana penggera berasaskan peraturan. Positif palsu ialah apabila peristiwa yang sebenarnya bukan ancaman menghasilkan penggera; Ia adalah satu kesakitan dalam keldai yang meletihkan pasukan SOC dan membawa kepada "keletihan amaran." Negatif palsu ialah apabila serangan sebenar tidak pernah ditangkap; Ia adalah kesilapan yang paling berbahaya kerana ia menyebabkan kemudaratan secara senyap. IOC (Penunjuk Kompromi) ialah jejak teknikal yang menunjukkan kesan serangan: alamat IP berniat jahat, cincang fail (cincang), nama domain. TTP (Taktik, Teknik, Prosedur) ialah corak tingkah laku yang menerangkan bagaimana penyerang berkelakuan.

Jadual berikut meringkaskan peranan dan tahap risiko AI mengikut misi:

Pencarian

Peranan AI

Tahap risiko

Siapa yang meluluskan

Ringkasan log, pengurangan hingar

pemecut, penjumlah

rendah

penganalisis

Garis keutamaan kerentanan

Penyusun, cadangan

Rendah-Sederhana

penganalisis

Analisis e-mel pancingan data

Pra-kelayakan, menjelaskan

sederhana

penganalisis

Triaj penggera (benar/salah)

Cadangan menghasilkan justifikasi

Sederhana-Tinggi

Penganalisis (masih betul)

Draf buku permainan tindak balas insiden

penjana lakaran

Sederhana-Tinggi

Penganalisis kanan / ketua IR

Penemuan semakan kod selamat

Mata kedua, penunjuk

Sederhana-Tinggi

Pembangun + keselamatan

Keputusan pengasingan / menyekat sistem

tidak membantu

sangat tinggi

penganalisis yang diberi kuasa

Laporan/pemberitahuan insiden rasmi

Draf, pakar membetulkan

sangat tinggi

Pemimpin IR + undang-undang/pematuhan

Perlu diingat satu baris dalam carta ini: apabila risiko meningkat, peranan AI mengecut, kelulusan manusia bertambah. Tiada baris AI boleh mengecualikan acara daripada semakan.

Mengapa pengesahan menjadi nadi perniagaan ini

Kecerdasan buatan nampaknya yakin dengan output yang diberikannya, tetapi ia mungkin tidak pasti. Model bahasa boleh mengarang nombor CVE (ID kerentanan) yang tidak wujud, merujuk kepada baris log yang sebenarnya tidak wujud, atau mendakwa bahawa alamat IP adalah "berniat jahat" tanpa sebarang bukti; ini dipanggil halusinasi. Model yang sama juga mungkin terlepas rantai serangan sebenar. Kedua-dua perangkap datang dengan kecairan yang sama; Satu-satunya perkara yang memisahkan yang betul dari yang salah ialah kepakaran anda dan tabiat anda untuk mengesahkan.

Disiplin pengesahan terdiri daripada tiga langkah:

  1. Ikatkannya dengan bukti: Padankan setiap tuntutan AI dengan log mentah, IOC sebenar, rekod CVE yang boleh disahkan atau kod itu sendiri. Sebarang tuntutan yang sumbernya tidak boleh disebut tidak boleh disertakan dalam laporan. Gunakan AI untuk menarik perhatian, bukan sebagai bukti.
  2. Semak secara bebas: Periksa juga kawasan yang AI dipanggil "bersih". Keluaran AI negatif bukan jaminan "tiada ancaman"; Jangan sekali-kali melangkau analisis sistematik anda sendiri.
  3. Penapis konteks: Uji pakar sama ada output itu sesuai dengan seni bina organisasi, konteks perniagaan dan tingkah laku normal yang diketahui. "Anomali" tidak selalu bermaksud "serangan".
Awas: Menandatangani laporan insiden yang dijana AI tanpa memadankan setiap tuntutan dengan bukti mentah membawa liabiliti yang sama seperti membuat tuduhan tanpa bukti. Keluaran licin bukan keluaran tepat; Jika keputusan keselamatan salah, kosnya ialah ranap sistem atau pelanggaran yang terlepas.

Privasi dan etika: data log ialah data sensitif

Rekod log mengandungi nama pengguna, alamat IP, nama pelayan dalaman, laluan fail dan kadangkala data peribadi. Mereka dilindungi di bawah KVKK (Undang-undang Perlindungan Data Peribadi) di Türkiye dan GDPR di Eropah; Di samping itu, ini adalah "kecerdasan dalaman" yang mendedahkan permukaan serangan institusi. Menampal peristiwa dengan log mentah, IP sebenar dan nama pelayan dalaman ke dalam alat AI awam bukan sahaja mendedahkan data peribadi tetapi juga membawa peta rangkaian yang berguna ke pelayan luaran. Peraturannya mudah: anonimkan dan topeng dahulu. Gantikan IP sebenar, nama pengguna, nama hos dalaman dengan pemegang tempat; Jika boleh, pilih alatan korporat yang mempunyai perjanjian pemprosesan data dan jangan gunakan data anda dalam latihan model.

Sempadan etika sekurang-kurangnya sama pentingnya dengan sempadan teknikal. Perbezaan antara mencari kelemahan dan mengeksploitasinya tanpa kebenaran adalah perbezaan antara undang-undang dan jenayah. Dalam modul ini, anda menggunakan AI hanya dalam sistem yang anda dibenarkan, untuk tujuan pertahanan dan dengan kebenaran bertulis. Meminta AI untuk melakukan perkara seperti "menulis alat serangan", "bagaimana cara saya menyusup ke tapak itu", "menghasilkan perisian hasad yang berfungsi" adalah di luar profesion dan alat AI moden menolaknya.

tiga kes mini

Kes 1 — Penggunaan selamat. Seorang penganalisis menemui 1,200 penggera dalam SIEM semasa syif malam. Mempunyai AI meringkaskan makluman mentah (tanpa nama); AI meruntuhkan 1,200 penggera kepada 18 kelompok dan menarik ke hadapan corak "340 log masuk gagal daripada IP dalaman yang sama, diikuti dengan 1 kejayaan". Penganalisis mengesahkan kelompok ini dengan log mentah, mencari kata laluan sebenar serangan brute force dan mengunci akaun dalam masa 9 minit. Isih dipercepatkan AI; Penganalisis membuat keputusan dan pengesahan.

Kes 2 — Perangkap keluaran yang tidak disahkan. Penganalisis lain mempunyai AI mengutamakan senarai kelemahan. AI mengatakan "CVE-2024-99999 adalah kritikal, tampal sekarang." Penganalisis merancang untuk menampal tetapi tidak pernah membuka rekod CVE; sedangkan tidak ada CVE sedemikian - model itu membentuk nombor itu. Pasukan kehilangan masa berjam-jam mengejar tampung yang tidak wujud, manakala kelemahan kritikal yang sebenar ditangguhkan. Pengesahan ditinggalkan, tuntutan tidak dikaitkan dengan sumber.

Kes 3 — Pelanggaran kerahsiaan. Untuk mempercepatkan penyiasatan insiden, seorang pakar menampal log tembok api mentah—dengan IP dalaman sebenar, nama pengguna dan nama pelayan VPN—ke dalam alat AI awam. Topologi rangkaian organisasi, skema penamaan dan senarai pengguna telah pergi ke pelayan luaran. Cara yang betul ialah menutup IP dan nama dan berkongsi corak sahaja.

Gesaan lemah / Gesaan kuat

Gesaan yang lemah:

Adakah terdapat serangan dalam log berikut: 10.2.14.7 pengguna ahmet.yilmaz memasuki VPN, kemudian disambungkan ke pelayan fail FS-MUHASEBE-01. Juga utamakan kelemahan ini.

Permintaan ini cacat dalam tiga cara: IP sebenar, nama pengguna dan pelayan dikongsi (pelanggaran privasi), peranan dan sempadan AI tidak ditentukan, dan bukti yang boleh disahkan tidak diminta. AI mengisi kekosongan dengan tekaan dan risiko fabrikasi timbul.

Gesaan kuat:

Peranan anda: DRAFT pembantu kepada penganalisis SOC. Membuat keputusan; Isytiharkan insiden itu sebagai "serangan", asingkan sistem atau sekat pengguna. Hanya analisis corak log tanpa nama yang saya berikan kepada anda. Untuk setiap tuntutan, nyatakan baris log yang anda asaskan; Tandai "[penganalisis penganalisis]" di mana anda tidak pasti; menipu IOC, CVE atau IP. Insiden tanpa nama: USER_A mengakses VPN melalui YURTDISI_IP pada 03:14; kemudian mengakses 4,000 fail ke pelayan fail dalaman; Pengguna biasanya bekerja antara 09:00-18:00. Soalan: (1) apakah corak yang mencurigakan, (2) apakah bukti log tambahan yang perlu saya cari, (3) adakah terdapat positif palsu?

Kehendak yang kuat adalah tanpa nama, mentakrifkan peranan dan sempadan, mempersoalkan lampiran kepada bukti dan kemungkinan positif palsu, dan melarang pemalsuan.

Templat gesaan yang boleh disalin

PERANAN DAN TEMPLAT HURAIAN SEMPADANPeranan anda: pembantu penganalisis keselamatan menyediakan DRAF/ANALISIS. Anda bukan seorang penganalisis; Mengisytiharkan kejadian sebagai serangan, mengasingkan sistem, menyekat pengguna atau memuktamadkan laporan rasmi. Keputusan dan tandatangan muktamad adalah dengan penganalisis. Tunjukkan bukti (baris log, IOC, CVE, kod) untuk setiap tuntutan; Tandakan sesuatu yang tidak mempunyai bukti sebagai "[mesti disahkan]", jangan mengada-adakannya. Tugasan: [tulis tugas].

TEMPLAT KAWALAN ANONYMISASIEkstrak alamat IP sebenar, nama pengguna, nama hos/pelayan dalaman, e-mel dan nama domain, maklumat korporat daripada data keselamatan berikut; gantikan dengan ruang letak yang konsisten (USER_A, IC_IP_1, HOST_1). Simpan hanya corak yang diperlukan untuk analisis. Beritahu saya tentang perubahan dalam senarai. Data: [tampal data]

TEMPLAT SEMAK PENGESAHANBagi setiap penemuan yang anda hasilkan, tulis di sebelahnya: (1) apakah bukti berdasarkannya, (2) apakah rekod/sumber mentah yang harus saya buka untuk mengesahkan, (3) kemungkinan positif palsu dan mengapa. Gunakan "mungkin/suspek" apabila perlu dan bukannya bahasa yang tepat. Pembuatan CVE/IOC/IP yang tidak wujud.

TEMPLAT PERUNTUKAN TAHAP RISIKO Kategorikan tugasan keselamatan yang akan saya berikan dan tulis justifikasi: (A) risiko rendah - garis besar AI/ringkasan mencukupi, (B) risiko sederhana - penganalisis mesti mengesahkan, (C) risiko tinggi/sangat tinggi - keputusan/pengasingan/pemberitahuan milik penganalisis, AI hanya membantu. Tugasan: [tulis tugas].

Kesilapan biasa

  • Menganggap AI sebagai penganalisis. AI mengimbas corak tetapi tidak mempunyai tanggungjawab atau kuasa; awak tentukan. Outputnya adalah draf, bukan keputusan.
  • Berkongsi IP sebenar, nama pengguna dan hos. Ini adalah pelanggaran KVKK dan kebocoran peta rangkaian yang akan menguntungkan penyerang; topeng dahulu.
  • Bergantung pada output AI negatif dan melonggarkan carian. "Tiada ancaman" sebenarnya tidak bermakna tiada; Jangan sekali-kali melangkau analisis sistematik anda sendiri.
  • Menggunakan CVE/IOC buatan tanpa pengesahan. Boleh memadankan nombor model dan penunjuk; Sahkan setiap satu dengan sumber rasmi.
  • Penggunaan yang tidak dibenarkan/menyinggung perasaan. Bekerja hanya secara defensif, pada sistem anda sendiri, dengan kebenaran bertulis; Jika tidak, ia adalah haram dan tidak beretika.
Petua: Tanya diri anda satu soalan untuk setiap tugasan: "Apakah yang berlaku jika output ini salah?" Jika jawapannya ialah "serangan melarikan diri" atau "gangguan perniagaan berlaku" — seperti yang sering berlaku dalam keselamatan — gunakan AI hanya untuk ringkasan/cadangan/garis besar dan jangan sekali-kali melangkau pengesahan.

Secara ringkasnya

Kecerdasan buatan ialah pembantu yang berkuasa dalam keselamatan siber: ia meringkaskan log, mengisih penggera, menganalisis pancingan data, mengimbas kod, menjana laporan draf. Tetapi ini adalah kawasan kritikal keselamatan; Terpulang kepada pakar yang berkelayakan untuk mengisytiharkan insiden sebagai serangan, mengasingkan sistem, menyekat pengguna dan memfailkan laporan rasmi. Peranan AI dalam lima peringkat proses (pengesanan, analisis, campur tangan, pemulihan, pelaporan) berbeza-beza bergantung pada tahap risiko; Apabila risiko meningkat, kelulusan manusia bertambah. Tiga disiplin menjaga setiap langkah: bukti, semakan bebas, penapis konteks. Dan di bawah semua itu, terdapat dua had: kerahsiaan (mengeksport data mentah tanpa pennamaan) dan etika (penggunaan dibenarkan, defensif, dibenarkan sahaja).

Tugasan permohonan

Pilih tiga tugas daripada organisasi anda sendiri (atau contoh senario): satu risiko rendah (mis. ringkasan amaran harian), satu risiko sederhana (mis. analisis pancingan data), satu risiko yang sangat tinggi (mis. keputusan untuk mengasingkan sistem). Untuk setiap, (1) terangkan peranan AI dalam satu ayat, (2) tuliskan langkah pengesahan yang akan anda ambil, (3) nyatakan bagaimana anda akan menamakan data tersebut. Kemudian sesuaikan templat "Definisi Peranan dan Sempadan" kepada tugas berisiko sederhana anda, tulis gesaan dan perhatikan cara anda akan mengesahkan outputnya dengan bukti mentah.

senarai semak

  • [ ] Saya menentukan tahap risiko (rendah/sederhana/tinggi/sangat tinggi) tugasan.
  • [ ] Saya mengehadkan peranan AI kepada "pembantu/ringkasan/cadangan/draf"; Keputusan dan tandatangan adalah dengan penganalisis.
  • [ ] Saya menamakan data itu; IP sebenar, pengguna, hos dan nama domain bertopeng.
  • [ ] Saya berjanji untuk mengesahkan setiap tuntutan dengan bukti mentah (log, IOC, CVE, kod).
  • [ ] Walaupun keluaran AI negatif, saya akan menjalankan analisis sistematik saya sendiri.
  • [ ] Mengetahui bahawa ia mungkin CVE/IOC/IP palsu, saya akan mengesahkannya dengan sumber rasmi.
  • [ ] Saya terhad kepada penggunaan dibenarkan, pertahanan dan bertulis sahaja.