سود:
- امکان جداسازی وظایف تقسیم بندی و طبقه بندی و انتخاب ابزار آماده مناسب (Cellpose، StarDist، MegaDetector) برای هر کدام
- امکان استخراج اندازه گیری های قابل اعتماد از تصاویر با اعمال کالیبراسیون مقیاس و تأیید دستی
- درک نیاز به هدایت پیشبینیهای امتیاز کم اعتماد به اعتبار انسانی و تأیید مدل خارج از توزیع آموزشی.
زیستشناسی یک علم بصری است: سلولها در زیر میکروسکوپ، کلنیها در ظرف پتری، حیوانات در دوربین جنگل، لکههای بیماری روی برگ. شمارش، اندازهگیری و طبقهبندی این تصاویر قبلاً کاری خستهکننده و ذهنی بود که ساعتها طول میکشید. مدلهای تصویر مبتنی بر هوش مصنوعی، بهویژه یادگیری عمیق (تشخیص الگو با شبکههای عصبی مصنوعی چندلایه)، این کار را تسریع و استاندارد کرده است. در این بخش به نحوه استفاده از هوش مصنوعی در تجزیه و تحلیل تصویر بیولوژیکی، ابزارهای آماده و الزامات اعتبار سنجی می پردازیم.
هشدار از ابتدا: یک مدل ممکن است یک سلول یا گونه را "تشخیص دهد"، اما همچنین ممکن است اشتباه تشخیص دهد. چشم انسان و تأیید برچسب واقعی برای تصمیم گیری های حیاتی ضروری است.
دو نوع کار نمایشی
- تقسیم بندی: جداسازی و شمارش اشیا (سلول ها، هسته ها) در تصویر پیکسل به پیکسل. ابزارهای مثال: Cellpose، StarDist. در این تصویر میکروسکوپ چند سلول وجود دارد و هر کدام چقدر است؟
- طبقه بندی/تشخیص: بیان آنچه در تصویر است یا یافتن مکان آن. به عنوان مثال: شناسایی گونه در یک عکس تله دوربین (iNaturalist، MegaDetector)، طبقه بندی اینکه آیا یک برگ بیماری دارد یا خیر.
این دو کار به ابزارهای متفاوتی نیاز دارند. هوش مصنوعی (LLM) به شما کمک می کند ابزار مناسب را انتخاب کنید، کد نصب و فراخوانی را بنویسید و خروجی را تفسیر کنید.
نکته: در تجزیه و تحلیل تصویر، اکثر اوقات نیازی به آموزش مدل از ابتدا ندارید. ابزارهای از پیش آموزش دیده مانند Cellpose مستقیماً روی بسیاری از انواع سلول کار می کنند. ابتدا ابزار آماده را امتحان کنید. اما نتیجه را به صورت دستی در چندین تصویر تأیید کنید.
گام به گام: شمارش سلول ها روی تصاویر میکروسکوپ
- آماده سازی تصاویر: بزرگنمایی مداوم، روشنایی؛ به فرمت فایل (TIFF و غیره) توجه کنید.
- کالیبراسیون مقیاس: بدانید چند میکرومتر در هر پیکسل (برای اندازه گیری اندازه ضروری است).
- انتخاب ابزار تقسیم بندی: StarDist در صورت رنگ آمیزی هسته. سلول برای سیتوپلاسم.
- اجرا: ابزار را روی یک تصویر امتحان کنید.
- تأیید دستی: سلول هایی را که مدل پیدا می کند با تصویر واقعی مقایسه کنید. تعداد سلول های ادغام شده/از دست رفته
- دسته ای: اگر اعتبارسنجی رضایت بخش است، برای کل مجموعه اعمال شود.
- گزارش: تعداد سلول ها، توزیع اندازه. روش و دقت سند.
الگوهای درخواستی قابل کپی
نقش: شما دستیار تجزیه و تحلیل تصویر زیستی هستید. وظیفه: کد پایتون بنویسید که سلول ها را در یک تصویر میکروسکوپی با Cellpose قطعه بندی و شمارش کند. ورودی: image.tif، تک کانال. خروجی: تعداد سلول ها و تجسم ماسک. کد کار را با نظرات ارائه دهید و انتخاب مدل را توجیه کنید.
چگونه خروجی تقسیم بندی خود را تأیید کنم؟ یک روش و متریک (دقت، فراخوان، F1) برای مقایسه تعداد سلولهای پیدا شده توسط مدل با نمونهای که به صورت دستی شمارش کردم، پیشنهاد کنید. کد هم بنویس
گردش کار MegaDetector را برای شناسایی حیوانات در عکس های تله دوربین من توضیح دهید. صرفه جویی در زمان و خطر منفی کاذب در حذف فریم های خالی را توضیح دهید.
کدی بنویسید که تبدیل پیکسل به میکرومتر را با اطلاعات نوار مقیاس انجام می دهد و مساحت هر سلول را در میکرومتر مربع محاسبه می کند. کالیبراسیون: [X] پیکسل = [Y] میکرومتر.
اعلان ضعیف / اعلان قوی
ضعیف: "شمارش سلول های این عکس."
قوی: "من یک تصویر هسته رنگ آمیزی شده با DAPI دارم (TIFF، تک کانال، 2048x2048، مقیاس 0.32 میکرومتر/پیکسل). کدی بنویسید که هسته ها را با مدل دوبعدی از پیش آموزش دیده StarDist بخش بندی و شمارش کند، و مساحت هر هسته را به صورت دستی در اختیار قرار دهید و سپس با محاسبه 3 میکرومتر تصویر، یک تصویر را با 3 میکرومتر محاسبه کنید. گزارش صحت."
تفاوت: اعلان قدرتمند دارای نوع تصویر، نقاشی، وضوح، مقیاس و طرح تأیید است. مدل از ابزار صحیح و مقیاس صحیح استفاده می کند.
سه کیف کوچک
مورد 1 - سلولهای همریز: دانش آموزی 400 سلول را در یک تصویر بافت متراکم با Cellpose شمارش کرد. وقتی با دست شمردم، معلوم شد که 560 است. هوش مصنوعی تنظیم پارامتر قطر سلول و تغییر آستانه جریان را پیشنهاد کرد. تعداد به 545 افزایش یافت. درس: پارامترها را مطابق تصویر واقعی تنظیم کنید.
مورد 2 - سردرگمی گونهها: در یک پروژه بومشناسی، شناسایی خودکار گونهها به طور مکرر یک روباه را به عنوان "گربه" در تصاویر شبانه برچسبگذاری کرد. مدل توضیح داد که نور کم و عدم تعادل در داده های آموزشی می تواند باعث این خطا شود. تیم تگ های مبهم را به اعتبار انسانی ارسال کرد. درس: اگر نمره اطمینان مدل پایین باشد، تأیید انسانی اجباری است.
مورد 3 - خطای مقیاس: محققی مناطق سلول را به پیکسل گزارش کرد اما فراموش کرد که به میکرومتر تبدیل شود. نتیجه با ادبیات ناسازگار بود. وقتی هوش مصنوعی مرحله کالیبراسیون را اضافه کرد، مقادیر در محدوده معقولی قرار گرفتند. درس: تبدیل واحد فیزیکی بسیار مهم است.
نمودار مقایسه
تلاش
وسیله نقلیه مناسب
متریک تأیید
بخش بندی هسته
StarDist
F1 با شمارش دستی
مرز سیتوپلاسم/سلول
سلول
IoU (نرخ همپوشانی)
شناسایی گونه (حیات وحش)
MegaDetector/iNaturalist
امتیاز اعتماد + تایید انسانی
طبقه بندی بیماری
مدل مخصوص آموزش دیده
ماتریس سردرگمی
اشتباهات رایج
- پردازش دسته ای بدون اعتبار سنجی دستی: انتشار خطای مدل در کل داده ها.
- رد شدن از کالیبراسیون مقیاس: عدم تبدیل واحد پیکسل به واحد فیزیکی.
- پذیرفتن پیشبینیهایی با نمرات اطمینان پایین: عدم ارجاع موقعیتهای نامشخص به انسان.
- رها کردن پارامترها به عنوان پیش فرض: عدم تطبیق تنظیمات مانند قطر سلول با تصویر.
- تصویر خارج از توزیع آموزشی: استفاده کورکورانه از مدل در شرایطی که هرگز ندیده است (رنگبندی متفاوت، نوع).
احتیاط: مدلهای تصویری ممکن است روی تصاویر مشابه دادههای آموزشی خوب عمل کنند، اما در شرایط مختلف (لکههای جدید، گونههای جدید، میکروسکوپ متفاوت) به طور غیرمنتظرهای ضعیف عمل کنند. هنگام انتقال به یک مجموعه داده جدید، بدون تایید دستی مدل بر روی چندین تصویر، به مدل اعتماد نکنید. رضایت انسان برای تصمیم گیری های پر پیامد مانند حفاظت از گونه ها یا تشخیص ضروری است.
از تقسیم بندی تا اندازه گیری: فراتر از اعداد
شمارش سلول ها اغلب اولین قدم است. ارزش ذاتی اندازه گیری های مربوط به هر شی را استخراج می کند. ده ها ویژگی در هر سلول، مانند مساحت، محیط، گردی، شدت فلورسانس (میزان نشانگر بیان می شود) را می توان از یک ماسک تقسیم بندی محاسبه کرد. تابع regionprops در کتابخانه scikit-image این کار را انجام می دهد. هوش مصنوعی کدی را می نویسد که این اندازه گیری ها را استخراج می کند و نتایج را در یک جدول می ریزد. شما همچنین می توانید گروه ها را با هم مقایسه کنید (به عنوان مثال: "آیا سلول های تحت درمان کوچکتر از گروه شاهد هستند؟").
مساحت، محیط و شدت فلورسانس متوسط هر سلول را از ماسک Cellpose با اسکیت-تصویر ناحیهای جدا کنید. نتیجه را در CSV بنویسید. گروه کنترل و درمان را در نمودار جعبه مقایسه کنید. اعمال کالیبراسیون مقیاس (µm/pixel).
نکته: فراموش نکنید که پسزمینه را هنگام اندازهگیری چگالی حذف کنید. مقادیر شدت کالیبره نشده به تنظیمات میکروسکوپ بستگی دارد و نه به صورت مطلق، بلکه در شرایط نسبی بین گروه هایی که تحت شرایط مشابه گرفته شده اند قابل مقایسه هستند.
زمان آموزش یک مدل: داده های کم، برچسب گذاری دقیق
گاهی اوقات ابزارهای خارج از قفسه کافی نیستند و باید مدل طبقه بندی خود را آموزش دهید (مثلاً یک علامت بیماری خاص). دو تله در اینجا برجسته است. اولین مورد نشت داده است: تصاویر یک فرد/نمونه که در هر دو مجموعه آموزشی و آزمایشی گنجانده شده است باعث می شود مدل موفق تر از آنچه هست به نظر برسد. تقسیم را در سطح فردی انجام دهید. دومی کلاس نامتعادل است: اگر نمونه های بیمار کم باشد، مدل با گفتن "همیشه سالم" دقت بالایی را نشان می دهد اما بی فایده است. به جای دقت به ماتریس حساسیت (یادآوری) و سردرگمی نگاه کنید. هوش مصنوعی این کد آموزشی را می نویسد، اما این وظیفه شماست که در این دام های روش شناختی پیمایش کنید.
کیفیت تصویر و پیش پردازش
موفقیت یک مدل نمایشگر مستقیماً به کیفیت تصویری که ارائه می کنید بستگی دارد. تصاویری که خارج از فوکوس، نوردهی بیش از حد، کنتراست کم یا با بزرگنمایی های مختلف گرفته شده اند، حتی بهترین مدل را نیز گیج می کنند. به همین دلیل است که مراحل ساده پیش پردازش قبل از تقسیم بندی، اغلب به طور قابل توجهی نتیجه را بهبود می بخشد: تصحیح پس زمینه (حذف عدم تعادل نور)، عادی سازی کنتراست و کاهش نویز. هوش مصنوعی این کد پیش پردازش را می نویسد (با تصویر اسکیت یا OpenCV). اما شما با دیدن تصویر تصمیم می گیرید که چه اصلاحی لازم است. پیش پردازش بیش از حد نیز خطرناک است: "تمیز کردن" بیش از حد یک تصویر می تواند ساختار بیولوژیکی واقعی را پاک کند و به زیباسازی داده ها تبدیل شود. قاعده این است: پیش پردازش باید روی همه تصاویر به یک روش از پیش تعریف شده اعمال شود، نه اینکه به صورت انتخابی یک به یک برای زیباتر شدن نتیجه انجام شود.
قبل از تقسیمبندی، پیش پردازش استاندارد را روی تصاویر میکروسکوپم اعمال کنید: تصحیح پسزمینه، عادیسازی کنتراست، کاهش جزئی نویز. پارامترهای یکسان را برای همه تصاویر اعمال کنید (نه به صورت انتخابی). نمایش قبل/پس از مقایسه از Sicit-Imag استفاده کنید.
به طور خلاصه
هوش مصنوعی در تجزیه و تحلیل تصویر بیولوژیکی (تقسیم بندی سلولی، گونه ها/تشخیص بیماری) زمان زیادی را صرفه جویی می کند. ابزارهای آماده مانند Cellpose، StarDist، MegaDetector اکثر وظایف را بدون آموزش از ابتدا حل می کنند. با این حال، نتیجه باید به صورت دستی تأیید شود، مقیاس باید کالیبره شود، و نمرات اطمینان پایین باید برای انسان ها باشد. مدل خارج از توزیع آموزشی غیر قابل اعتماد است. هنگام انتقال به داده های جدید، تأیید ضروری است.
وظیفه کاربردی
یک تصویر میکروسکوپی (یا نمونه داده ها) بگیرید. از هوش مصنوعی بخواهید کدی را بنویسد و اجرا کند که سلول ها را با Cellpose یا StarDist بخش بندی و شمارش کند. با شمارش دست سلول هایی که مدل حداقل در یک تصویر پیدا می کند مقایسه کنید. توجه داشته باشید که چند سلول از دست رفته/ادغام شده است. با افزودن کالیبراسیون مقیاس، مساحت سلول را در میکرومتر مربع گزارش کنید.
چک لیست
- [ ] من نوع تصویر، نقاشی و وضوح تصویر را به درخواست اضافه کردم.
- [ ] من کالیبراسیون مقیاس (پیکسل-میکرو متر) را اعمال کردم.
- [ ] من به صورت دستی نتیجه را در حداقل یک تصویر تأیید کردم.
- [ ] من پارامترهای تقسیم بندی را مطابق تصویر تنظیم کردم.
- [ ] من پیشبینیهایی را با امتیازات اطمینان پایین به اعتبار انسانی ارسال کردم.
- [ ] من به مدل بدون تأیید آن در مجموعه داده جدید اعتماد نکردم.