تجزیه و تحلیل Log و SIEM: جداسازی رویداد از نویز با هوش مصنوعی

سود:

• درک کنید که هوش مصنوعی هزاران خط گزارش را خلاصه و خوشه بندی می کند، یک جدول زمانی ایجاد می کند و الگوهای مشکوک را برجسته می کند، اما تحلیلگر تصمیم می گیرد که رویداد یک حمله واقعی با گزارش خام است.
• توانایی اعمال خط پایه (رفتار عادی) هنگام ارزیابی زنگ هشدار SIEM و نحوه حذف موارد مثبت کاذب بدون زمینه و اینکه چگونه ناهنجاری قابل تفسیر نیست.
• توانایی به دست آوردن عادت تأیید زنجیره رویدادهای ایجاد شده توسط هوش مصنوعی در لاگ خام و حذف همبستگی های جعلی

یک تحلیلگر امنیتی بیشتر روز خود را صرف خواندن گزارش ها می کند. گزارش خطی از متن است که مهر زمانی را نشان می دهد که چه اتفاقی در یک سیستم افتاده است: چه کسی چه زمانی وارد سیستم شده است، به کدام فایل دسترسی پیدا کرده است، کدام اتصال رد شده است. مشکل این نیست که چوب کم است، مشکل این است که آنقدر زیاد است که خفه می شود. یک سازمان با اندازه متوسط ​​روزانه صدها میلیون لاین لاگ تولید می کند. در این توده، رد یک حمله واقعی، سوزن در انبار کاه است. SIEM (اطلاعات امنیتی و مدیریت رویداد - سیستمی که گزارش‌ها را از منابع مختلف در یک مرکز جمع‌آوری و مرتبط می‌کند و آلارم‌های مبتنی بر قانون تولید می‌کند) برای یافتن این سوزن وجود دارد. اما بیشتر آلارم هایی که SIEM تولید می کند نیز مثبت کاذب هستند (آژارهای بیهوده که در واقع تهدید نیستند). کار واقعی تحلیلگر استخراج سیگنال واقعی از این نویز است.

هوش مصنوعی کمک قدرتمندی در این مرتب سازی است. می‌تواند هزاران خط گزارش را در چند ثانیه بخواند و آنها را به زبان انسان خلاصه کند، الگوهای تکرار شونده را خوشه‌بندی کند، زنجیره‌ای از رویدادها را به صورت «اول این اتفاق افتاد، سپس آن» توصیف کند و توضیح دهد که چرا زنگ هشدار مشکوک به نظر می‌رسد. اما هوش مصنوعی نمی‌داند که این گزارش در زمینه موسسه به چه معناست: "دسترسی در ساعت 3 صبح" یک حمله در یک موسسه است، یک شیفت شب در دیگری عادی است. بنابراین هوش مصنوعی گزارش را خلاصه و پرچم‌گذاری می‌کند، اما تحلیلگر تصمیم می‌گیرد که آیا یک رویداد یک حمله واقعی است یا خیر و آن را با گزارش خام تأیید می‌کند.

مراحل تحلیل لاگ

در اینجا نحوه اجرای تجزیه و تحلیل log/SIEM گام به گام با هوش مصنوعی آورده شده است:

1. جمع آوری و ناشناس کنید. قطعه گزارش مربوطه را حذف کنید. IP های واقعی، نام های کاربری، نام های میزبان داخلی را با متغیرهایی جایگزین کنید (USER_A، IC_IP_1). هرگز داده های خام را همانطور که هست به یک ابزار خارجی صادر نکنید.
2. زمینه را بیان کنید. به هوش مصنوعی منبع گزارش (دیوار آتش، گزارش رویداد ویندوز، وب سرور)، رفتار عادی و آنچه را که به دنبال آن هستید، بگویید. تحلیل لاگ بدون زمینه گمراه کننده است.
3. خلاصه و تجمیع کنید. از هوش مصنوعی بخواهید هزاران ردیف را بر اساس انواع رویداد گروه بندی کند، تعداد وقوع را استخراج کند و یک جدول زمانی ایجاد کند.
4. الگوهای مشکوک پرچم گذاری شده است. الگوهایی مانند "یک ورود موفقیت آمیز پس از ورود ناموفق"، "دسترسی های زیاد فایل در مدت زمان کوتاه"، "اتصال شبکه متعلق به یک فرآیند ناشناخته" را برجسته کنید.
5. با شواهد خام تأیید کنید. هر الگوی را که هوش مصنوعی در خطوط گزارش واقعی نشان می دهد، پیدا و تأیید کنید. همچنین مناطقی را که هوش مصنوعی از دست داده است را برای خود اسکن کنید.
6. تصمیم گیری و ثبت نام رویداد واقعی را به عنوان یک تحلیلگر اعلام کنید، یک بلیط باز کنید و مستند کنید که هوش مصنوعی صرفا یک شتاب دهنده است.

چند اصطلاح: منبع گزارش سیستمی است که گزارش را تولید می کند. همبستگی عبارت است از گرد هم آوردن رویدادها از منابع مختلف و معنا بخشیدن به آنها (ورود به VPN + دسترسی به فایل + انتقال داده = نشت احتمالی). خط مبنا معیاری از رفتار عادی یک سیستم است. ناهنجاری فقط نسبت به خط پایه معنا دارد. UEBA (User and Entity Behavior Analytics) یک رویکرد مبتنی بر هوش مصنوعی است که رفتار عادی هر کاربر را یاد می‌گیرد و انحراف را علامت‌گذاری می‌کند.

نمودار مقایسه

رویکرد

چگونه کار می کند

نقطه قوت

ضعف

SIEM مبتنی بر قانون

قوانین «اگر-پس» را ثابت کرد

شفاف، قابل توضیح

حمله ناشناخته را از دست می دهد، بسیاری از موارد مثبت کاذب

تشخیص مبتنی بر امضا

با الگوی بد شناخته شده مطابقت دارد

سریع در مورد تهدید شناخته شده

کور نسبت به حمله جدید/تغییر شده

ناهنجاری/UEBA (AI)

انحراف از نرمال را پیدا می کند

می تواند ناشناخته را بگیرد

ناهنجاری = نه حمله; خطر مثبت کاذب

خلاصه سازی با هوش مصنوعی

ورود به زبان را خلاصه می کند

سرعت، خوانایی

بدون زمینه، خطر توهم

تحلیلگر (انسان)

نظرات با زمینه

تصمیم، مسئولیت

کند، خسته می شود، مقیاس نمی گیرد

راه‌اندازی درست انتخاب یکی نیست، بلکه لایه‌بندی است: SIEM و امضا تقریباً نویز را فیلتر می‌کنند، هوش مصنوعی خلاصه و برجسته می‌کند، تحلیلگر تأیید می‌کند و تصمیم می‌گیرد.

سه کیف کوچک

مورد 1 - 50000 خط، 6 دقیقه. یک تحلیلگر 50000 خط گزارش دسترسی را از یک وب سرور به هوش مصنوعی ناشناس می کند. هوش مصنوعی استنباط می‌کند که یک IP خارجی منفرد مسیرهای / admin را با 12000 درخواست در 3 ساعت خزیده، 480 پارامتر مختلف را امتحان کرده و 200 پاسخ را 3 بار دریافت کرده است. تحلیلگر این 3 درخواست موفق را در لاگ خام پیدا می کند، تأیید می کند که یک حمله شمارش مسیر واقعی است و IP را مسدود می کند. خواندن 50000 خط با دست ساعت ها طول می کشد. خلاصه آن را به 6 دقیقه کاهش داد، اما این تصمیم تحلیلگر بود.

مورد 2 - همبستگی ساختگی. تحلیلگر دیگری به هوش مصنوعی می گوید: "زنجیره حمله را در این گزارش توصیف کنید." هوش مصنوعی یک داستان سیال ایجاد می کند: "در ساعت 02:11، USER_B امتیاز را افزایش داد و داده ها را صادر کرد." تحلیلگر گزارش خام را قبل از نوشتن آن در گزارش باز می کند. در حالی که در گزارش نه افزایش امتیاز وجود دارد و نه انتقال داده - مدل یک زنجیره معمولی از رویدادها را در "داستان حمله" قرار می دهد. تحلیلگر این ادعا را استخراج می کند. درس: هر زنجیره ای که هوش مصنوعی می گوید باید در لاگ تأیید شود.

مورد 3 - شیفت شب مثبت کاذب. یک مدل UEBA، کاربری را که در ساعت 3 صبح به 900 فایل دسترسی پیدا می کند، به عنوان "ناهنجاری پرخطر" علامت گذاری می کند. تحلیلگر زمینه را بررسی می کند: کاربر یک اپراتور پشتیبان است و این کار در ساعت 03:00 هر شب اجرا می شود. خط مبنا مورد توجه قرار نگرفت. زنگ هشدار مثبت کاذب است. تحلیلگر قانون را تنظیم می کند و این عملگر را به لیست استثنا اضافه می کند. ناهنجاری همیشه یک حمله نیست. بدون زمینه، آلارم نویز است.

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

این لاگ را بررسی کنید، اگر حمله ای وجود دارد به من بگویید.[10.14.2.7 - ahmet.yilmaz - 200 - /admin ...]

این درخواست حاوی IP واقعی و کاربر (نقض حریم خصوصی) است، منبع گزارش و رفتار عادی را اعلام نمی کند، از هوش مصنوعی شواهد و ارزیابی مثبت کاذب نمی خواهد. هوش مصنوعی می‌تواند شما را با یک جمله گمراه کند، «بله، حمله وجود دارد».

اعلان قدرتمند:

نقش شما: دستیار تحلیلگر SOC در حال آماده سازی پیش نویس تحلیل. تصمیم نگیرید، اعلام حمله نکنید. این یک دسترسی ناشناس از یک وب سرور است (IP ها و کاربران ماسک شده اند). ترافیک عادی: 100-300 درخواست در ساعت در ساعات کاری، عمدتا مسیرهای /محصول و / سبد خرید. وظیفه شما: (1) خوشه‌بندی رویدادها بر اساس نوع و منبع، ارائه تعداد رخدادها، (2) الگوهای پرچم که از خط مبنا منحرف می‌شوند، (3) برای هر پرچم نشان می‌دهد که بر اساس کدام خطوط گزارش است، (4) احتمال مثبت کاذب را برای هر کدام و دلیل آن بنویسید. فیتینگ خط / درج IOC. جایی که مطمئن نیستید "[تأیید تحلیلگر]" را علامت بزنید. [ورود ناشناس اینجا]

ادعای قوی نقش را محدود می‌کند، زمینه و پایه را فراهم می‌کند و نیاز به درگیری با شواهد و ارزیابی موارد مثبت کاذب دارد.

الگوهای درخواستی قابل کپی

LOG SUMMARY TEMPLATEناشناس زیر [منبع ورود: به عنوان مثال. گزارش [فایروال] را خلاصه کنید: (1) گروه بر اساس انواع رویدادها و ارائه تعداد وقوع هر گروه، (2) استخراج تعداد منبع/هدف منحصر به فرد، (3) تعیین جدول زمانی (اولین رویداد، ساعات اوج مصرف)، (4) فهرست 5 ناهنجاری برجسته با یک خط شواهد. تصمیم گیری؛ فقط به طور خلاصه ورود به سیستم: [چسباندن]

الگوی همبستگی رویدادهای ناشناس را در طول زمان و موجودیت مرتبط کنید و یک زنجیره احتمالی از رویدادها بسازید. اما، برای هر مرحله، مشخص کنید که بر اساس کدام خط گزارش است، و مرحله ای را که مبنایی ندارد به عنوان "[بدون اساس - باید تایید شود]" علامت گذاری کنید. یک توضیح جایگزین با نیت خوب نیز بنویسید. رویدادها: [چسباندن]

الگوی حذف مثبت نادرست برای این زنگ هشدار، حداقل 3 توضیح با نیت خوب (مثبت کاذب) برای تفسیر حمله ایجاد کنید و بنویسید که برای تأیید هر کدام چه گزارش/شواهد اضافی را باید بررسی کنم. سپس مشخص کنید که کدام شواهد اضافی به نفع حمله و کدام یک مخالف آن است. زنگ هشدار: [چسباندن]

الگوی استخراج زمان: یک جدول زمانی منفرد از این گزارش‌های ناشناس استخراج می‌شود: هر خط در قالب [زمان] [نهاد] [رویداد] [گزارش منبع]. افزودن یک رویداد بدون مهر زمان. شکاف ها را جبران نکنید؛ اگر از دست رفته، بنویسید "[از دست رفته]". سیاههها: [چسباندن]

اشتباهات رایج

• تحلیل بدون زمینه نظراتی که بدون ذکر منبع گزارش و رفتار عادی (پایه) ارائه شده است گمراه کننده است. "ناهنجاری" با زمینه معنا پیدا می کند.
• عدم تأیید زنجیره ایجاد شده توسط هوش مصنوعی. این مدل می‌تواند رویدادهای عادی را به داستان حمله متصل کند. هر مرحله را در گزارش خام تأیید کنید.
• اشتباه گرفتن ناهنجاری با حمله علامت UEBA یک فرضیه است. عوامل بی گناه مانند پشتیبان گیری، نگهداری، نرم افزارهای جدید را حذف کنید.
• صادرات داده های خام بدون پوشش. IP/user/host واقعی هم نقض KVKK است و هم یک هدیه نقشه شبکه به مهاجم.
• به خلاصه منفی اعتماد نکنید و مرور را متوقف کنید. پرس و جو سیستماتیک خود را اجرا کنید (انواع حوادث بحرانی، IOC های جدید) حتی اگر هوش مصنوعی بگوید "هیچ چیز مهمی نیست".

نکته: زمانی که هوش مصنوعی گزارش را خلاصه می‌کند، همیشه بخواهید «خط شواهد نشان داده شود». هیچ یافته ای را بدون مدارک جدی نگیرید. این یک قانون اکثر توهمات را از بین می برد.

احتیاط: رد کردن یک هشدار SIEM فقط به این دلیل که هوش مصنوعی گفته "مثبت کاذب" می تواند یک حمله واقعی را بپوشاند. همچنین به طور مستقل آلارمی را که هوش مصنوعی آن را "بی اهمیت" می نامد بررسی کنید. تصمیم بسته شدن متعلق به تحلیلگر است و ثبت می شود.

به طور خلاصه

ماهیت تحلیل log و SIEM استخراج سیگنال واقعی از انبوهی از نویز است. در این مرتب‌سازی، هوش مصنوعی گزارش را در ثانیه خلاصه می‌کند، الگوها را خوشه‌بندی می‌کند، یک جدول زمانی ایجاد می‌کند و مظنون را برجسته می‌کند – اما زمینه سازمانی را نمی‌داند و می‌تواند رویدادها را بسازد. بنابراین راه‌اندازی صحیح لایه‌بندی می‌شود: قانون/امضا تقریباً غربال می‌شود، هوش مصنوعی خلاصه می‌شود و پرچم‌گذاری می‌شود، تحلیلگر با گزارش خام تأیید می‌کند و تصمیم می‌گیرد. سه اصل از شما محافظت می کند: زمینه (بدون هیچ گونه ناهنجاری بدون خط مبنا تفسیر نمی شود)، شواهد (هر یافته به خط سیاهه اولیه گره خورده است)، کنترل مستقل (آنچه که هوش مصنوعی منطقه "پاک" می نامد نیز اسکن می شود). و همیشه ناشناس کار کنید.

وظیفه کاربردی

یک قطعه گزارش نمونه بگیرید (از سیستم خودتان یا از مجموعه داده های نمونه ناشناس). ابتدا آن را با الگوی "Log Summarization" به هوش مصنوعی خلاصه کنید. سپس الگوی "حذف مثبت کاذب" را برای هر یک از سه یافته قابل توجه اعمال کنید و هر یک از یافته ها را در گزارش خام بررسی کنید. در نهایت، به تفاوت‌های خلاصه هوش مصنوعی و خواندن خام خود توجه کنید: هوش مصنوعی چه چیزی را از دست داد، چه چیزی را تشکیل داد، چه چیزی را درست انجام داد؟

چک لیست

• [ ] من لاگ را ناشناس کردم. IP/کاربر/میزبان واقعی پوشانده شده است.
• [ ] من به هوش مصنوعی منبع گزارش و رفتار عادی (خط پایه) را دادم.
• [ ] من یک خط ثبت شواهد برای هر یافته درخواست کردم و آن را در گزارش خام تأیید کردم.
• [ ] من هر مرحله از زنجیره رویدادهای ایجاد شده توسط هوش مصنوعی را تأیید کردم و ساختگی را از بین بردم.
• [ ] برای هر زنگ حداقل یک توضیح مثبت کاذب در نظر گرفتم.
• [ ] من همچنین مناطقی را که هوش مصنوعی آن‌ها را «پاک/غیر مهم» می‌خواند، اسکن کردم.
• [ ] به عنوان تحلیلگر، من تصمیم گرفتم و سوابق حادثه را گرفتم. من هوش مصنوعی را به عنوان یک شتاب دهنده ثبت کردم.