مقدمه ای بر هوش مصنوعی در امنیت سایبری: نقش ها، مرزها، اخلاق دفاعی و راستی آزمایی

سود:

• توانایی تشخیص اینکه هوش مصنوعی در جریان کار امنیتی دفاعی (تشخیص، تجزیه و تحلیل، مداخله، بهبود، گزارش) و جایی که تصمیمات حیاتی امنیتی (اعلام حمله، انزوا، مسدود کردن، گزارش رسمی) در زمان صرفه جویی می کند، بسته به سطح ریسک کار، به تحلیلگر سپرده می شود.
• امکان اعمال نظم اتصال هر خروجی هوش مصنوعی به شواهد خام (log، IOC، CVE، کد)، بررسی مستقل و عبور آن از فیلتر زمینه
• امکان ناشناس کردن گزارش و داده های امنیتی در محدوده KVKK/حریم خصوصی و عادت به استفاده از اهداف دفاعی مجاز و با مجوز کتبی.

در یک مرکز عملیات امنیتی (SOC به انگلیسی - Security Operations Center؛ تیمی که شبکه، سرورها و کاربران سازمان را به صورت 24 ساعته نظارت می‌کند)، هزاران رکورد رویداد در هر ثانیه جریان می‌یابد. کارمندی که در ساعت 3:14 صبح به سروری در روسیه متصل است: آیا این یک حمله است یا یک سفر کاری به خارج از کشور؟ یک کاربر 4000 فایل را در پنج دقیقه رمزگذاری کرد: آیا این باج افزار است یا یک ابزار پشتیبان؟ یک ایمیل می گوید "فاکتور پیوست": آیا این یک ایمیل حسابداری واقعی است یا فیشینگ؟ در بررسی کد، یک پرس و جوی SQL مستقیماً ورودی کاربر را به هم متصل می‌کند: آیا این یک آسیب‌پذیری قابل سوءاستفاده است یا یک اسکریپت امن که در شبکه داخلی اجرا می‌شود؟ بسیاری از این سوالات تکراری و خسته کننده هستند. برخی از آنها تصمیماتی هستند که می توانند مستقیماً منجر به نقض داده ها، میلیون ها لیره خسارت یا شهرت یک موسسه شوند.

هوش مصنوعی (AI یا به اختصار AI - سیستم‌های رایانه‌ای که می‌توانند اسکن، خلاصه، طبقه‌بندی، ناهنجاری‌ها را علامت‌گذاری کنند و پیش‌نویس‌هایی از مقادیر زیادی متن و الگو را تولید کنند) درست در وسط این تصویر قرار می‌گیرد. در صورت استفاده صحیح، هزاران خط گزارش را در چند ثانیه خلاصه می‌کند، دسته‌ای از آسیب‌پذیری‌ها را اولویت‌بندی می‌کند، ایمیل‌های فیشینگ را به جای چند دقیقه در چند ثانیه تجزیه و تحلیل می‌کند و به شما فرصت می‌دهد تا فکر کنید. در صورت استفاده نادرست، می‌تواند با برچسب‌گذاری «عادی»، حمله واقعی را نادیده بگیرد، با ساختن تهدیدی که وجود ندارد، تیم را به اشتباه هشدار دهد، یا داده‌های گزارش محرمانه را در خارج از سازمان افشا کند.

هدف این واحد تبلیغ خودرو نیست. هدف این است که مشخص شود هوش مصنوعی را در کجای کار یک متخصص امنیتی قرار دهیم و اصلاً کجا آن را قرار ندهیم. بیایید اصل اساسی را از ابتدا تکرار کنیم: هوش مصنوعی یک دستیار است، نه یک مرجع تصمیم گیری به جای تحلیلگر امنیتی. این بر عهده متخصص واجد شرایط است که یک حادثه را یک حمله واقعی اعلام کند، یک سیستم را ایزوله کند، یک کاربر را مسدود کند، و یک یافته را به یک گزارش رسمی تبدیل کند. یک خروجی AI تایید نشده یک ادعای اثبات نشده است. و قرمزترین خط این ماژول: هر چیزی که در اینجا توضیح داده شده برای اهداف دفاعی (دفاعی) است. استفاده از هوش مصنوعی برای نفوذ به یک سیستم بدون مجوز، ایجاد ابزار حمله یا انجام آزمایش‌های غیرمجاز هم غیرقانونی است و هم خارج از محدوده این ماژول.

گردش کار امنیتی و محل هوش مصنوعی

برای درک کسب و کار امنیت دفاعی، تقسیم این فرآیند به پنج مرحله مفید است. تشخیص: ثبت رفتار مشکوک از داده‌های گزارش و SIEM. تجزیه و تحلیل / تریاژ: ارزیابی و اولویت بندی واقعی یا نادرست بودن هشدار (مثبت کاذب). پاسخ: مهار رویداد، انزوا، تمیز کردن. اصلاح: بستن آسیب‌پذیری، از بین بردن علت اصلی. گزارش: ترجمه یافته ها به اسناد فنی و مدیریتی. هوش مصنوعی می تواند هر پنج مرحله را لمس کند، اما نه هر کدام با قدرت یکسان.

بیایید از ابتدا چند اصطلاح را تعریف کنیم. SIEM (اطلاعات امنیتی و مدیریت رویداد) سیستمی است که رکوردهای گزارش را از منابع مختلف (سرور، فایروال، برنامه) جمع آوری و مرتبط می کند و آلارم های مبتنی بر قانون تولید می کند. مثبت کاذب زمانی است که رویدادی که در واقع یک تهدید نیست، زنگ خطر ایجاد کند. این دردی است که تیم های SOC را خسته می کند و منجر به "خستگی هوشیار" می شود. منفی کاذب زمانی است که یک حمله واقعی هرگز دستگیر نشود. این خطرناک ترین اشتباه است زیرا بی سر و صدا باعث آسیب می شود. IOC (شاخص سازش) ردیابی فنی است که رد حمله را نشان می دهد: یک آدرس IP مخرب، یک هش فایل (هش)، یک نام دامنه. TTP (تاکتیک ها، تکنیک ها، رویه ها) یک الگوی رفتاری است که نحوه رفتار مهاجم را توصیف می کند.

جدول زیر نقش و سطح خطر هوش مصنوعی را بر اساس ماموریت خلاصه می کند:

تلاش

نقش هوش مصنوعی

سطح ریسک

کی تایید میکنه

خلاصه کردن گزارش، کاهش نویز

شتاب دهنده، جمع کننده

پایین

تحلیلگر

طرح کلی اولویت بندی آسیب پذیری

مرتب کننده، پیشنهاد

کم-متوسط

تحلیلگر

تجزیه و تحلیل ایمیل فیشینگ

پیش صلاحیت، شفاف سازی

متوسط

تحلیلگر

تریاژ هشدار (درست/نادرست)

پیشنهاد موجب توجیه می شود

متوسط-بالا

تحلیلگر (هنوز درست است)

پیش نویس راهنمای پاسخ به حادثه

مولد طرح

متوسط-بالا

تحلیلگر ارشد / رهبر IR

یافتن بازبینی کد ایمن

چشم دوم، اشاره گر

متوسط-بالا

توسعه دهنده + امنیت

تصمیم جداسازی / مسدود کردن سیستم

مفید نیست

بسیار بالا

تحلیلگر مجاز

گزارش رسمی حادثه / اطلاعیه

پیش نویس، کارشناس تصحیح می کند

بسیار بالا

رهبر IR + حقوقی/انطباق

یک خط در این نمودار را به خاطر داشته باشید: با افزایش ریسک، کاهش نقش هوش مصنوعی، تایید انسان افزایش می یابد. هیچ خط هوش مصنوعی نمی تواند رویدادی را از بررسی مستثنی کند.

چرا تأیید صحت قلب این تجارت است

به نظر می رسد هوش مصنوعی به خروجی ای که می دهد مطمئن است، اما ممکن است مطمئن نباشد. یک مدل زبان ممکن است یک شماره CVE غیر موجود (شناسه آسیب‌پذیری) بسازد، به خط گزارشی اشاره کند که در واقع وجود ندارد، یا ادعا کند که یک آدرس IP بدون هیچ مدرکی "مخاطب" است. این توهم نامیده می شود. همین مدل ممکن است یک زنجیره حمله واقعی را نیز از دست بدهد. هر دو تله سیالیت یکسانی دارند. تنها چیزی که درست را از نادرست جدا می کند، تخصص و عادت شما به راستی آزمایی است.

رشته تأیید شامل سه مرحله است:

1. آن را به شواهد گره بزنید: هر ادعای هوش مصنوعی را با یک گزارش خام، یک IOC واقعی، یک رکورد CVE قابل تأیید یا خود کد مطابقت دهید. هر ادعایی که منبع آن قابل ذکر نباشد در گزارش گنجانده نمی شود. از هوش مصنوعی برای جلب توجه استفاده کنید، نه به عنوان مدرک.
2. به طور مستقل بررسی کنید: همچنین مناطقی را که هوش مصنوعی «تمیز» می‌نامد را بررسی کنید. خروجی منفی هوش مصنوعی تضمینی برای "بدون تهدید" نیست. هرگز تحلیل سیستماتیک خود را نادیده نگیرید.
3. فیلتر زمینه: به طور تخصصی آزمایش کنید که آیا خروجی با معماری سازمان، زمینه تجاری و رفتار عادی شناخته شده مطابقت دارد یا خیر. "ناهنجاری" همیشه به معنای "حمله" نیست.

احتیاط: امضای یک گزارش حادثه ایجاد شده توسط هوش مصنوعی بدون تطبیق هر ادعا با شواهد خام، همان مسئولیتی را به همراه دارد که اتهام زدن بدون مدرک. خروجی صاف خروجی دقیق نیست. اگر یک تصمیم امنیتی اشتباه باشد، هزینه آن یک خرابی سیستم یا از دست رفتن رخنه است.

حریم خصوصی و اخلاقیات: داده های گزارش داده های حساس هستند

رکوردهای گزارش شامل نام های کاربری، آدرس های IP، نام سرورهای داخلی، مسیرهای فایل و گاهی اوقات داده های شخصی است. آنها تحت KVKK (قانون حفاظت از داده های شخصی) در ترکیه و GDPR در اروپا محافظت می شوند. علاوه بر این، اینها «اطلاعات داخلی» هستند که سطح حمله مؤسسه را آشکار می کنند. چسباندن یک رویداد با گزارش خام، IPهای واقعی و نام سرورهای داخلی در یک ابزار هوش مصنوعی عمومی نه تنها داده های شخصی را در معرض دید قرار می دهد، بلکه یک نقشه شبکه مفید را نیز به سرور خارجی منتقل می کند. قانون ساده است: ابتدا ناشناس کنید و ماسک کنید. IP های واقعی، نام های کاربری، نام هاست داخلی را با متغیرهایی جایگزین کنید. در صورت امکان، ابزارهای شرکتی را انتخاب کنید که دارای قرارداد پردازش داده هستند و از داده های شما در آموزش مدل استفاده نمی کنند.

مرز اخلاقی حداقل به اندازه مرز فنی مهم است. تفاوت بین یافتن آسیب پذیری و بهره برداری از آن بدون مجوز، تفاوت حقوقی و کیفری است. در این ماژول، شما از هوش مصنوعی فقط در سیستم هایی که برای آن ها مجاز هستید، برای اهداف دفاعی و با مجوز کتبی استفاده می کنید. درخواست از هوش مصنوعی برای انجام کارهایی مانند "نوشتن یک ابزار حمله"، "چگونه می توانم به آن سایت نفوذ کنم"، "تولید یک بدافزار فعال" خارج از این حرفه است و ابزارهای هوش مصنوعی مدرن به هر حال آنها را رد می کنند.

سه کیف کوچک

مورد 1 - استفاده ایمن. یک تحلیلگر در یک شیفت شب با 1200 آلارم در SIEM مواجه می شود. دارای هشدارهای خام خلاصه سازی هوش مصنوعی (ناشناس)؛ هوش مصنوعی 1200 آلارم را در 18 خوشه جمع می کند و الگوی "340 ورود ناموفق از همان IP داخلی، به دنبال آن 1 موفقیت" را به جلو می کشد. تحلیلگر این خوشه را با گزارش خام تأیید می‌کند، یک حمله brute force واقعی رمز عبور را پیدا می‌کند و حساب را در 9 دقیقه قفل می‌کند. مرتب سازی تسریع شده هوش مصنوعی؛ تحلیلگر تصمیم و تأیید را گرفت.

مورد 2 - تله خروجی تایید نشده. تحلیلگر دیگری فهرستی از آسیب‌پذیری‌ها را در اولویت هوش مصنوعی قرار داده است. هوش مصنوعی می گوید "CVE-2024-99999 بسیار مهم است، اکنون آن را اصلاح کنید." تحلیلگر قصد دارد وصله کند اما هرگز رکورد CVE را باز نمی کند. در حالی که چنین CVE وجود ندارد - مدل عدد را تشکیل می دهد. تیم ساعت‌ها را در تعقیب وصله‌ای که وجود ندارد از دست می‌دهد، در حالی که آسیب‌پذیری حیاتی واقعی به تأخیر می‌افتد. تأیید حذف شده است، ادعا به منبع پیوند داده نشده است.

مورد 3 - نقض محرمانه بودن. برای تسریع در بررسی حادثه، یک متخصص گزارش خام فایروال را - با IP های داخلی واقعی، نام های کاربری و نام سرور VPN - در یک ابزار هوش مصنوعی عمومی قرار می دهد. توپولوژی شبکه سازمان، طرح نامگذاری و لیست کاربران به یک سرور خارجی رفته است. راه صحیح این بود که IP ها و نام ها را ماسک کنید و فقط الگو را به اشتراک بگذارید.

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

آیا در لاگ زیر حمله ای وجود دارد: کاربر 10.2.14.7 ahmet.yilmaz وارد VPN شد، سپس به سرور فایل FS-MUHASEBE-01 متصل شد. همچنین این آسیب پذیری ها را در اولویت قرار دهید.

این درخواست از سه جهت دارای نقص است: IP واقعی، نام کاربر و سرور به اشتراک گذاشته شده است (نقض حریم خصوصی)، نقش و مرزهای هوش مصنوعی تعریف نشده است و شواهد قابل تأیید درخواست نمی شود. هوش مصنوعی با حدس و گمان شکاف ها را پر می کند و خطر ساخت به وجود می آید.

اعلان قدرتمند:

نقش شما: دستیار پیش نویس تحلیلگر SOC. تصمیم گیری؛ حادثه را به عنوان "حمله" اعلام کنید، سیستم را ایزوله کنید یا کاربر را مسدود کنید. فقط الگوی لاگ ناشناس را که به شما دادم تحلیل کنید. برای هر ادعا، مشخص کنید که آن را بر اساس کدام خط ورود قرار داده اید. جایی که مطمئن نیستید "[تأیید تحلیلگر]" را علامت بزنید. جعل IOC، CVE یا IP. حادثه ناشناس: USER_A در ساعت 03:14 از طریق YURTDISI_IP به VPN دسترسی پیدا کرد. سپس به 4000 فایل به سرور فایل داخلی دسترسی پیدا کرد. کاربر معمولا بین ساعت 09:00 تا 18:00 کار می کند. سؤالات: (1) چه الگوهایی مشکوک هستند، (2) چه شواهد گزارش اضافی را باید جستجو کنم، (3) آیا ممکن است موارد مثبت کاذب وجود داشته باشد؟

اراده قوی ناشناس است، نقش و مرز را مشخص می کند، دلبستگی به شواهد و احتمال اثبات کاذب را زیر سوال می برد و جعل را ممنوع می کند.

الگوهای درخواستی قابل کپی

الگوی توصیف نقش و مرز نقش شما: دستیار تحلیلگر امنیتی در حال تهیه پیش نویس/تحلیل. شما یک تحلیلگر نیستید. اعلام حادثه به عنوان حمله، ایزوله کردن سیستم، مسدود کردن کاربر یا نهایی کردن گزارش رسمی. تصمیم نهایی و امضا با تحلیلگر است. نمایش شواهد (خط ورود، IOC، CVE، کد) برای هر ادعا. چیزی را که هیچ مدرکی ندارد به عنوان «[باید تأیید شود]» علامت گذاری کنید، آن را درست نکنید. وظیفه: [تکلیف بنویس].

الگوی کنترل ناشناس استخراج آدرس های IP واقعی، نام های کاربری، نام میزبان/سرور داخلی، ایمیل و نام دامنه، اطلاعات شرکت از داده های امنیتی زیر. با متغیرهای ثابت (USER_A، IC_IP_1، HOST_1) جایگزین کنید. فقط الگوی لازم برای تجزیه و تحلیل را نگه دارید. از تغییرات یک لیست به من اطلاع دهید. داده ها: [پیست کردن داده ها]

الگوی بررسی اعتبارسنجی برای هر یافته ای که تولید می کنید، در کنار آن بنویسید: (1) بر اساس چه مدرکی است، (2) چه سابقه/منبعی خام را برای تأیید باز کنم، (3) احتمال مثبت کاذب و چرا. در صورت لزوم به جای زبان دقیق، از «ممکن/مظنون» استفاده کنید. ساخت CVE/IOC/IP وجود ندارد.

الگوی تخصیص سطح ریسک طبقه بندی تخصیص امنیتی که من تخصیص خواهم داد و توجیه می نویسم: (الف) کم خطر - طرح کلی/خلاصه هوش مصنوعی کافی، (ب) ریسک متوسط ​​- تحلیلگر باید تأیید کند، (ج) ریسک بالا/خیلی بالا - تصمیم/انزوا/اعلان متعلق به تحلیلگر است، هوش مصنوعی فقط مفید است. وظیفه: [تکلیف بنویس].

اشتباهات رایج

• اشتباه گرفتن هوش مصنوعی با یک تحلیلگر هوش مصنوعی الگوها را اسکن می کند اما هیچ مسئولیت یا اختیاری ندارد. شما تصمیم بگیرید خروجی یک پیش نویس است، نه یک حکم.
• اشتراک IP واقعی، نام کاربری و میزبان. این هم نقض KVKK و هم نشت نقشه شبکه است که به نفع مهاجم خواهد بود. اول ماسک
• تکیه بر خروجی هوش مصنوعی منفی و آرام کردن جستجو. "بدون تهدید" واقعاً به این معنی نیست که وجود ندارد. هرگز تحلیل سیستماتیک خود را نادیده نگیرید.
• استفاده از CVE/IOC ساخته شده بدون تأیید. می تواند با شماره مدل و نشانگر مطابقت داشته باشد. هر کدام را با منبع رسمی تایید کنید.
• استفاده غیرمجاز/ توهین آمیز فقط به صورت تدافعی، روی سیستم های خودتان، با اجازه کتبی کار کنید. در غیر این صورت هم غیرقانونی است و هم غیراخلاقی.

نکته: برای هر کار یک سوال از خود بپرسید: "اگر این خروجی اشتباه باشد چه اتفاقی می افتد؟" اگر پاسخ این است که «یک حمله فرار می‌کند» یا «وقفه‌ای در کسب‌وکار رخ می‌دهد» - همانطور که اغلب در امنیت انجام می‌شود - فقط برای خلاصه/پیشنهاد/طرح کلی از هوش مصنوعی استفاده کنید و هرگز تأیید را نادیده نگیرید.

به طور خلاصه

هوش مصنوعی دستیار قدرتمندی در امنیت سایبری است: گزارش را خلاصه می کند، زنگ هشدار را مرتب می کند، فیشینگ را تجزیه و تحلیل می کند، کد را اسکن می کند، گزارش های پیش نویس تولید می کند. اما این یک منطقه امنیتی حیاتی است. اعلام یک حادثه به عنوان حمله، ایزوله کردن یک سیستم، مسدود کردن کاربر و ارائه گزارش رسمی به عهده متخصص واجد شرایط است. نقش هوش مصنوعی در پنج مرحله فرآیند (تشخیص، تجزیه و تحلیل، مداخله، اصلاح، گزارش) بسته به سطح ریسک متفاوت است. با افزایش خطر، تایید انسان افزایش می یابد. سه رشته از هر مرحله محافظت می کنند: شواهد، بررسی مستقل، فیلتر زمینه. و در زیر همه این موارد، دو محدودیت وجود دارد: محرمانه بودن (صادرات داده های خام بدون نامگذاری) و اخلاقی (فقط مجاز، دفاعی، استفاده مجاز).

وظیفه کاربردی

سه کار را از سازمان خود انتخاب کنید (یا یک سناریوی مثال): یکی کم خطر (مثلاً خلاصه هشدار روزانه)، یک ریسک متوسط ​​(مثلاً تجزیه و تحلیل فیشینگ)، یکی با ریسک بسیار بالا (مثلاً تصمیم به جداسازی یک سیستم). برای هر کدام، (1) نقش هوش مصنوعی را در یک جمله توصیف کنید، (2) بنویسید که چه مرحله تأییدی را انجام خواهید داد، (3) نشان دهید که چگونه داده ها را ناشناس می کنید. سپس الگوی «تعریف نقش و مرزها» را با کار با ریسک متوسط ​​خود تطبیق دهید، یک درخواست بنویسید و توجه داشته باشید که چگونه خروجی آن را با شواهد خام تأیید خواهید کرد.

چک لیست

• [ ] سطح ریسک (کم/متوسط/بالا/خیلی زیاد) کار را تعیین کردم.
• [ ] نقش هوش مصنوعی را به «دستیار/خلاصه/پیشنهاد/پیشنهاد» محدود کردم. تصمیم و امضا با تحلیلگر است.
• [ ] من داده ها را ناشناس کردم. IP واقعی، نام کاربر، میزبان و دامنه پوشانده شده است.
• [ ] قول دادم هر ادعایی را با شواهد خام (log، IOC، CVE، کد) تأیید کنم.
• [ ] با وجود خروجی هوش مصنوعی منفی، من تجزیه و تحلیل سیستماتیک خود را انجام خواهم داد.
• [ ] با دانستن اینکه ممکن است CVE/IOC/IP جعلی باشد، آن را با منبع رسمی تایید خواهم کرد.
• [ ] من فقط به استفاده مجاز، دفاعی و کتبی محدود می شوم.