تحليل الصور وتحديد النوع/الخلية

المكاسب:

• القدرة على فصل مهام التجزئة والتصنيف واختيار الأداة الجاهزة المناسبة (Cellpose، StarDist، MegaDetector) لكل منها
• القدرة على استخراج قياسات موثوقة من الصور عن طريق تطبيق معايرة المقياس والتحقق اليدوي
• فهم الحاجة إلى توجيه تنبؤات درجات الثقة المنخفضة إلى التحقق البشري وتأكيد النموذج خارج توزيع التدريب.

علم الأحياء هو علم بصري: الخلايا تحت المجهر، والمستعمرات في طبق بتري، والحيوانات في كاميرا الغابة، وبقع المرض على ورقة الشجر. كان عد هذه الصور وقياسها وتصنيفها مهمة شاقة وذاتية تستغرق ساعات. لقد أدى الذكاء الاصطناعي، وخاصة نماذج الصور المستندة إلى التعلم العميق (التعرف على الأنماط باستخدام الشبكات العصبية الاصطناعية متعددة الطبقات)، إلى تسريع هذا العمل وتوحيده. سنناقش في هذه الوحدة كيفية استخدام الذكاء الاصطناعي في تحليل الصور البيولوجية والأدوات الجاهزة ومتطلبات التحقق من الصحة.

تحذير من البداية: قد "يتعرف" النموذج على خلية أو نوع ما، ولكنه قد يخطئ أيضًا في التعرف عليه؛ تعتبر العيون البشرية والتحقق من التسمية الحقيقية ضرورية لاتخاذ القرارات الحاسمة.

نوعين من مهام العرض

• التجزئة: فصل وحصر الكائنات (الخلايا والنوى) في الصورة بكسل ببكسل. أدوات المثال: Cellpose، StarDist. "كم عدد الخلايا الموجودة في هذه الصورة المجهرية وما حجم كل منها؟"
• التصنيف/الكشف: معرفة ما هو موجود في الصورة أو العثور على موقعه. مثال: التعرف على الأنواع الموجودة في صورة مصيدة الكاميرا (iNaturalist، MegaDetector)، وتصنيف ما إذا كانت الورقة مصابة بالمرض أم لا.

تتطلب هاتان المهمتان أدوات مختلفة. يساعدك الذكاء الاصطناعي (LLM) على اختيار الأداة المناسبة، وكتابة رمز التثبيت والاستدعاء، وتفسير المخرجات.

نصيحة: في تحليل الصور، لا تحتاج في أغلب الأحيان إلى تدريب نموذج من البداية. تعمل الأدوات المُدربة مسبقًا مثل Cellpose بشكل مباشر على العديد من أنواع الخلايا. جرب الأداة الجاهزة أولاً؛ ولكن قم بتأكيد النتيجة يدويًا في عدة صور.

خطوة بخطوة: عد الخلايا على الصور المجهرية

1. إعداد الصور: التكبير المستمر، والإضاءة؛ لاحظ تنسيق الملف (TIFF، وما إلى ذلك).
2. معايرة المقياس: تعرف على عدد الميكرومترات لكل بكسل (ضروري لقياس الحجم).
3. حدد أداة التجزئة: StarDist إذا كان تلطيخ الأساسية؛ الخلية للسيتوبلازم.
4. تشغيل: جرب الأداة على الصورة.
5. التحقق يدويًا: قارن الخلايا التي يعثر عليها النموذج مع الصورة الفعلية؛ عد الخلايا المدمجة/المفقودة.
6. الدفعة: إذا كان التحقق مرضيًا، قم بالتطبيق على المجموعة بأكملها.
7. تقرير: عدد الخلايا، وتوزيع الحجم؛ طريقة التوثيق ودقته.

قوالب سريعة قابلة للنسخ

الدور: أنت مساعد تحليل الصور الحيوية. المهمة: كتابة كود بايثون الذي يقوم بتقسيم الخلايا وعدها في صورة مجهرية باستخدام Cellpose. الإدخال: image.tif، قناة واحدة. الإخراج: عدد الخلايا وتصور القناع. قم بإدراج رمز العمل مع التعليقات وتبرير اختيار النموذج.

كيف يمكنني التحقق من صحة مخرجات التجزئة الخاصة بي؟ اقترح طريقة ومقياسًا (الدقة، الاستدعاء، F1) لمقارنة عدد الخلايا التي عثر عليها النموذج مع العينة التي قمت بعدها يدويًا. اكتب الكود أيضًا.

اشرح سير عمل MegaDetector لاكتشاف الحيوانات في صور مصيدة الكاميرا. اشرح توفير الوقت ومخاطر السلبيات الكاذبة في إزالة الإطارات الفارغة.

اكتب التعليمات البرمجية التي تجري التحويل من البكسل إلى الميكرومتر باستخدام معلومات شريط المقياس وحساب مساحة كل خلية بالميكرومتر المربع. المعايرة: [X] بكسل = [Y] ميكرومتر.

موجه ضعيف / موجه قوي

ضعيف: "احسب الخلايا الموجودة في هذه الصورة."

Strong: "لدي صورة نواة ملطخة بـ DAPI (TIFF، قناة واحدة، 2048x2048، مقياس 0.32 ميكرومتر/بكسل). اكتب كودًا يقوم بتقسيم النوى وإحصائها باستخدام نموذج StarDist ثنائي الأبعاد المُدرب مسبقًا، مع إعطاء مساحة كل نواة بالميكرومتر المربع. ثم أضف رمزًا يقارن مع العد اليدوي في 3 صور وينتج تقريرًا دقيقًا."

الفرق: يحتوي الموجه القوي على نوع الصورة والرسم والدقة والحجم ونظام التحقق. يستخدم النموذج الأداة الصحيحة والمقياس الصحيح.

ثلاث حالات صغيرة

الحالة 1 - الخلايا المتموجة: أحصى أحد الطلاب 400 خلية في صورة أنسجة كثيفة باستخدام Cellpose؛ عندما قمت بالعد يدويًا، تبين أن العدد هو 560. قام النموذج بدمج الخلايا المتلامسة مع بعضها البعض كخلية واحدة. اقترح الذكاء الاصطناعي تعديل معلمة قطر الخلية وتغيير عتبة التدفق؛ ارتفع العدد إلى 545. الدرس: اضبط المعلمات حسب الصورة الحقيقية.

الحالة 2 - ارتباك الأنواع: في أحد مشاريع البيئة، قام التعرف التلقائي على الأنواع بوضع علامة متكررة على ثعلب على أنه "قطة" في الصور الليلية. وأوضح النموذج أن الإضاءة المنخفضة وعدم التوازن في بيانات التدريب يمكن أن يسبب هذا الخطأ؛ وأحال الفريق العلامات الغامضة إلى التحقق البشري. الدرس المستفاد: إذا كانت درجة ثقة النموذج منخفضة، فإن التحقق البشري إلزامي.

الحالة 3 - خطأ في القياس: أبلغ أحد الباحثين عن مناطق الخلايا بالبكسل ولكنه نسي التحويل إلى ميكرومتر؛ وكانت النتيجة غير متوافقة مع الأدب. وعندما أضاف الذكاء الاصطناعي خطوة المعايرة، سقطت القيم ضمن نطاق معقول. الدرس: تحويل الوحدات المادية أمر بالغ الأهمية.

مخطط المقارنة

كويست

مركبة مناسبة

مقياس التحقق

التجزئة الأساسية

StarDist

F1 مع العد اليدوي

السيتوبلازم / حدود الخلية

cellpose

IoU (معدل التداخل)

تحديد الأنواع (الحياة البرية)

MegaDetector/iNaturalist

درجة الثقة + موافقة الإنسان

تصنيف المرض

نموذج مدرب خصيصًا

مصفوفة الارتباك

الأخطاء الشائعة

• معالجة الدفعات دون التحقق اليدوي: نشر خطأ النموذج عبر البيانات بأكملها.
• تخطي معايرة المقياس: عدم تحويل وحدة البكسل إلى وحدة فعلية.
• قبول التنبؤات ذات درجات الثقة المنخفضة: عدم إحالة المواقف غير المؤكدة إلى البشر.
• ترك المعلمات كإعداد افتراضي: عدم تكييف الإعدادات مثل قطر الخلية مع الصورة.
• الصورة خارج توزيع التدريب: استخدام النموذج بشكل أعمى في الحالة التي لم يراها من قبل (لون ونوع مختلف).

تنبيه: قد تؤدي نماذج الصور أداءً جيدًا على صور مشابهة لبيانات التدريب، ولكنها سيئة بشكل غير متوقع في ظل ظروف مختلفة (وصمة عار جديدة، وأنواع جديدة، ومجهر مختلف). عند الانتقال إلى مجموعة بيانات جديدة، لا تثق في النموذج دون التحقق من صحته يدويًا على عدة صور. تعد موافقة الإنسان ضرورية لاتخاذ القرارات ذات الأهمية العالية مثل الحفاظ على الأنواع أو تشخيصها.

من التجزئة إلى القياس: ما وراء الأرقام

غالبًا ما يكون عد الخلايا هو الخطوة الأولى؛ تستخرج القيمة الجوهرية قياسات حول كل كائن. يمكن حساب العشرات من الميزات لكل خلية، مثل المساحة والمحيط والاستدارة وكثافة التألق (مقدار التعبير عن العلامة)، من قناع التجزئة. تقوم وظيفة Regionprops في مكتبة الصور scikit بذلك. ويقوم الذكاء الاصطناعي بكتابة التعليمات البرمجية التي تستخرج هذه القياسات وتصب النتائج في جدول؛ يمكنك أيضًا مقارنة المجموعات (على سبيل المثال، "هل الخلايا المعالجة أصغر من مجموعة التحكم؟").

استخراج المنطقة والمحيط ومتوسط ​​كثافة الفلورة لكل خلية من قناع Cellpose مع الدعائم الإقليمية لصورة scikit. اكتب النتيجة إلى CSV. قارن بين مجموعتي التحكم والعلاج في مخطط الصندوق. تطبيق معايرة النطاق (ميكرومتر/بكسل).

نصيحة: لا تنس إزالة الخلفية عند قياس الكثافة؛ تعتمد قيم الشدة غير المعايرة على إعداد المجهر ولا يمكن مقارنتها بالقيمة المطلقة، ولكن بالقيمة النسبية بين المجموعات المأخوذة في نفس الحالة.

متى يتم تدريب النموذج: القليل من البيانات، والتصنيف الدقيق

في بعض الأحيان لا تكون الأدوات الجاهزة كافية وتحتاج إلى تدريب نموذج التصنيف الخاص بك (على سبيل المثال، عرض مرض محدد). يبرز هنا فخين. الأول هو تسرب البيانات: إن صور نفس الفرد/العينة التي يتم تضمينها في كل من مجموعات التدريب والاختبار تجعل النموذج يبدو أكثر نجاحًا مما هو عليه بالفعل؛ القيام بالتقسيم على المستوى الفردي. والثانية هي الفئة غير المتوازنة: إذا كانت عينات المرضى قليلة، يظهر النموذج دقة عالية بقوله "دائما صحي" ولكنه عديم الفائدة؛ انظر إلى الحساسية (الاستدعاء) ومصفوفة الارتباك بدلاً من الدقة. يقوم الذكاء الاصطناعي بكتابة رمز التدريب هذا، لكن مهمتك هي التغلب على هذه المخاطر المنهجية.

جودة الصورة والمعالجة المسبقة

يعتمد نجاح نموذج العرض بشكل مباشر على جودة الصورة التي تقدمها. الصور التي تكون خارج نطاق التركيز، أو شديدة التعريض، أو منخفضة التباين، أو تم التقاطها بتكبيرات مختلفة سوف تربك حتى أفضل النماذج. ولهذا السبب فإن خطوات المعالجة المسبقة البسيطة قبل التقسيم غالبًا ما تؤدي إلى تحسين النتيجة بشكل كبير: تصحيح الخلفية (إزالة خلل الإضاءة)، وتطبيع التباين، وتقليل الضوضاء. يكتب الذكاء الاصطناعي رمز المعالجة المسبقة هذا (باستخدام scikit-image أو OpenCV)؛ لكن عليك أن تقرر ما هو التصحيح الضروري من خلال النظر إلى الصورة. تعتبر المعالجة المسبقة المفرطة خطيرة أيضًا: "تنظيف" الصورة أكثر من اللازم يمكن أن يمحو البنية البيولوجية الفعلية ويتحول إلى تجميل البيانات. القاعدة هي كما يلي: يجب تطبيق المعالجة المسبقة على جميع الصور بنفس الطريقة المحددة مسبقًا، وليس بشكل انتقائي واحدة تلو الأخرى لتجميل النتيجة.

قم بتطبيق المعالجة المسبقة القياسية على صوري المجهرية قبل التجزئة: تصحيح الخلفية، وتطبيع التباين، وتقليل الضوضاء بشكل طفيف. قم بتطبيق نفس المعلمات على جميع الصور (وليس بشكل انتقائي). عرض قبل/بعد المقارنة. استخدم scikit-image.

في ملخص

يوفر الذكاء الاصطناعي الكثير من الوقت في تحليل الصور البيولوجية (تجزئة الخلايا، والكشف عن الأنواع/الأمراض). تعمل الأدوات الجاهزة مثل Cellpose وStarDist وMegaDetector على حل معظم المهام دون الحاجة إلى التدريب من الصفر. ومع ذلك، يجب التحقق من النتيجة يدويًا، ويجب معايرة المقياس، ويجب توجيه درجات الثقة المنخفضة إلى البشر. النموذج غير موثوق به خارج نطاق توزيع التدريب؛ التأكيد ضروري عند الانتقال إلى بيانات جديدة.

مهمة التطبيق

التقاط صورة مجهرية (أو بيانات العينة). اطلب من الذكاء الاصطناعي كتابة وتشغيل التعليمات البرمجية التي تقوم بتقسيم الخلايا وحسابها باستخدام Cellpose أو StarDist. قارن يدويًا عدد الخلايا التي يعثر عليها النموذج في صورة واحدة على الأقل؛ لاحظ عدد الخلايا المفقودة/المدمجة. الإبلاغ عن مناطق الخلايا بالميكرومتر المربع عن طريق إضافة معايرة المقياس.

قائمة مرجعية

• [ ] أضفت نوع الصورة والرسم والدقة إلى الموجه.
• [ ] قمت بتطبيق معايرة المقياس (بكسل-ميكرومتر).
• [ ] لقد قمت بالتحقق يدويًا من النتيجة على صورة واحدة على الأقل.
• [ ] قمت بضبط معلمات التجزئة وفقًا للصورة.
• [ ] لقد قمت بإعادة توجيه التنبؤات ذات درجات الثقة المنخفضة إلى التحقق البشري.
• [ ] لم أثق بالنموذج دون تأكيده في مجموعة البيانات الجديدة.