Analisis Gambar dan Identifikasi Jenis/Sel

Keuntungan:

• Kemampuan untuk memisahkan tugas segmentasi dan klasifikasi dan memilih alat siap pakai yang sesuai (Cellpose, StarDist, MegaDetector) untuk masing-masing
• Kemampuan untuk mengekstrak pengukuran yang andal dari gambar dengan menerapkan kalibrasi skala dan verifikasi manual
• Memahami kebutuhan untuk mengarahkan prediksi skor keyakinan rendah ke validasi manusia dan mengonfirmasi model di luar distribusi pelatihan.

Biologi adalah ilmu visual: sel di bawah mikroskop, koloni di cawan petri, hewan di kamera hutan, bintik penyakit di daun. Menghitung, mengukur, dan mengklasifikasikan gambar-gambar ini dulunya merupakan tugas yang membosankan dan subjektif serta memakan waktu berjam-jam. Kecerdasan buatan, khususnya model gambar berbasis pembelajaran mendalam (pengenalan pola dengan jaringan syaraf tiruan multi-layer), telah mempercepat dan menstandardisasi pekerjaan ini. Pada unit ini, kita akan membahas cara menggunakan kecerdasan buatan dalam analisis citra biologis, alat siap pakai, dan persyaratan validasi.

Peringatan sejak awal: suatu model mungkin "mengenali" sel atau spesies, namun mungkin juga salah mengenali; mata manusia dan verifikasi label asli sangat penting untuk pengambilan keputusan penting.

Dua jenis tugas tampilan

• Segmentasi: Memisahkan dan menghitung objek (sel, inti) pada gambar piksel demi piksel. Contoh alat: Cellpose, StarDist. “Berapa banyak sel dalam gambar mikroskop ini dan seberapa besar masing-masing sel?”
• Klasifikasi/deteksi: Menceritakan apa yang ada pada gambar atau menemukan lokasinya. Contoh: mengenali spesies pada foto kamera jebakan (iNaturalist, MegaDetector), mengklasifikasikan apakah suatu daun terserang penyakit atau tidak.

Kedua tugas ini memerlukan alat yang berbeda. Kecerdasan buatan (LLM) membantu Anda memilih alat yang tepat, menulis kode instalasi dan pemanggilan, dan menafsirkan hasilnya.

Tips: Dalam analisis gambar, sering kali Anda tidak perlu melatih model dari awal. Alat terlatih seperti Cellpose bekerja langsung pada banyak jenis sel. Coba alat yang sudah jadi terlebih dahulu; tapi konfirmasikan hasilnya secara manual di beberapa gambar.

Langkah demi langkah: menghitung sel pada gambar mikroskop

1. Siapkan gambar: Pembesaran yang konsisten, iluminasi; perhatikan format file (TIFF, dll).
2. Kalibrasi skala: Ketahui berapa mikrometer per piksel (penting untuk pengukuran ukuran).
3. Pilih alat segmentasi: StarDist jika pewarnaan inti; Selpose untuk sitoplasma.
4. Jalankan: Coba alat pada gambar.
5. Verifikasi secara manual: Bandingkan sel yang ditemukan model dengan gambar sebenarnya; Hitung sel yang digabungkan/terlewatkan.
6. Batch: Jika validasi memuaskan, terapkan ke seluruh set.
7. Laporan: Jumlah sel, distribusi ukuran; Metode dan keakuratan dokumen.

Templat cepat yang dapat disalin

Peran: Anda adalah asisten analisis bioimage. Tugas: Menulis kode Python yang mengelompokkan dan menghitung sel pada gambar mikroskop dengan Cellpose. Masukan: image.tif, saluran tunggal. Output: jumlah sel dan visualisasi topeng. Berikan kode yang berfungsi dengan komentar dan justifikasi pilihan model.

Bagaimana cara memvalidasi keluaran segmentasi saya? Sarankan metode dan metrik (presisi, perolehan, F1) untuk membandingkan jumlah sel yang ditemukan oleh model dengan sampel yang saya hitung secara manual. Tulis kode juga.

Jelaskan alur kerja MegaDetector untuk mendeteksi hewan di foto jebakan kamera saya. Jelaskan penghematan waktu dan risiko negatif palsu dalam menghilangkan bingkai kosong.

Tulis kode yang melakukan konversi piksel ke mikrometer dengan informasi bilah skala dan menghitung luas setiap sel dalam mikrometer persegi. Kalibrasi: [X] piksel = [Y] mikrometer.

Perintah lemah / Perintah kuat

Lemah: "Hitung sel di foto ini."

Kuat: "Saya memiliki gambar inti bernoda DAPI (TIFF, saluran tunggal, 2048x2048, skala 0,32 µm/piksel). Tulis kode yang mengelompokkan dan menghitung inti dengan model 2D terlatih StarDist, memberikan luas setiap inti dalam mikrometer persegi. Kemudian tambahkan kode yang membandingkan dengan penghitungan manual dalam 3 gambar dan menghasilkan laporan akurasi."

Perbedaan: Prompt yang kuat memiliki jenis gambar, lukisan, resolusi, skala dan skema verifikasi. Model tersebut menggunakan alat yang benar dan skala yang benar.

tiga kasus mini

Kasus 1 — Sel konfluen: Seorang siswa menghitung 400 sel dalam gambar jaringan padat dengan Cellpose; Saat saya hitung dengan tangan, ternyata 560. Model tersebut menggabungkan sel-sel yang saling bersentuhan menjadi satu sel. AI menyarankan untuk menyesuaikan parameter diameter sel dan mengubah ambang aliran; Hitungannya bertambah menjadi 545. Pelajaran: sesuaikan parameter sesuai gambar sebenarnya.

Kasus 2 — Kebingungan spesies: Dalam sebuah proyek ekologi, pengenalan spesies otomatis berulang kali menandai rubah sebagai “kucing” pada gambar malam hari. Model tersebut menjelaskan bahwa cahaya redup dan ketidakseimbangan dalam data pelatihan dapat menyebabkan kesalahan ini; Tim meneruskan tag ambigu tersebut ke validasi manusia. Pelajaran: jika skor keyakinan model rendah, verifikasi manusia wajib dilakukan.

Kasus 3 — Kesalahan skala: Seorang peneliti melaporkan luas sel dalam piksel tetapi lupa mengonversinya ke mikrometer; Hasilnya tidak sesuai dengan literatur. Ketika kecerdasan buatan menambahkan langkah kalibrasi, nilainya berada dalam kisaran yang wajar. Pelajaran: konversi satuan fisik sangatlah penting.

grafik perbandingan

Pencarian

kendaraan yang cocok

metrik verifikasi

Segmentasi inti

bintangDist

F1 dengan penghitungan manual

Sitoplasma/batas sel

pose sel

IoU (tingkat tumpang tindih)

Identifikasi spesies (satwa liar)

MegaDetektor/iNaturalis

Skor kepercayaan + persetujuan manusia

klasifikasi penyakit

Model yang terlatih khusus

Matriks kebingungan

Kesalahan umum

• Pemrosesan batch tanpa validasi manual: Menyebarkan kesalahan model ke seluruh data.
• Melewatkan kalibrasi skala: Tidak mengubah satuan piksel menjadi satuan fisik.
• Menerima prediksi dengan skor keyakinan rendah: Tidak merujuk situasi yang tidak pasti kepada manusia.
• Membiarkan parameter sebagai default: Tidak menyesuaikan pengaturan seperti diameter sel dengan gambar.
• Gambar di luar distribusi pelatihan: Secara membabi buta menggunakan model dalam kondisi yang belum pernah dilihatnya (berbeda warna, jenis).

Perhatian: Model gambar mungkin berperforma baik pada gambar yang mirip dengan data pelatihan, namun secara tidak terduga memiliki performa yang buruk pada kondisi yang berbeda (pewarnaan baru, spesies baru, mikroskop berbeda). Saat berpindah ke kumpulan data baru, jangan mempercayai model tanpa memvalidasinya secara manual pada beberapa gambar. Persetujuan manusia sangat penting untuk pengambilan keputusan dengan konsekuensi tinggi seperti konservasi atau diagnosis spesies.

Dari segmentasi hingga pengukuran: melampaui angka

Menghitung sel seringkali merupakan langkah pertama; Nilai intrinsik mengekstrak pengukuran tentang setiap objek. Lusinan fitur per sel, seperti luas, keliling, kebulatan, intensitas fluoresensi (berapa banyak penanda yang diekspresikan), dapat dihitung dari masker segmentasi. Fungsi regionprops di perpustakaan scikit-image melakukan hal ini. AI menulis kode yang mengekstrak pengukuran ini dan menuangkan hasilnya ke dalam tabel; Anda juga dapat membandingkan kelompok (misalnya “apakah sel yang diberi perlakuan lebih kecil dari sel kontrol?”).

Ekstrak luas, keliling, dan intensitas fluoresensi rata-rata setiap sel dari topeng Cellpose dengan alat peraga wilayah gambar scikit. Tulis hasilnya ke CSV; Bandingkan kelompok kontrol dan perlakuan dalam plot kotak. Terapkan kalibrasi skala (µm/piksel).

Tip: Jangan lupa untuk menghapus latar belakang saat mengukur kepadatan; Nilai intensitas yang tidak dikalibrasi bergantung pada pengaturan mikroskop dan tidak dapat dibandingkan secara absolut, tetapi secara relatif antar kelompok yang diambil dalam kondisi yang sama.

Kapan melatih model: sedikit data, pelabelan hati-hati

Terkadang alat yang tersedia saja tidak cukup dan Anda perlu melatih model klasifikasi Anda sendiri (misalnya gejala penyakit tertentu). Ada dua jebakan yang menonjol di sini. Yang pertama adalah kebocoran data: gambar individu/sampel yang sama yang disertakan dalam set pelatihan dan pengujian membuat model tampak lebih berhasil; melakukan pembagian pada tingkat individu. Yang kedua adalah kelas tidak seimbang: jika sampel pasien sedikit, model menunjukkan akurasi tinggi dengan mengatakan “selalu sehat” tetapi tidak berguna; Lihatlah sensitivitas (recall) dan matriks kebingungan, bukan akurasi. AI menulis kode pelatihan ini, tetapi tugas Anda adalah mengatasi kendala metodologis ini.

Kualitas gambar dan pra-pemrosesan

Keberhasilan model tampilan secara langsung bergantung pada kualitas gambar yang Anda berikan. Gambar yang tidak fokus, pencahayaan berlebih, kontras rendah, atau diambil dengan perbesaran berbeda akan membingungkan bahkan model terbaik sekalipun. Itulah sebabnya langkah pra-pemrosesan sederhana sebelum segmentasi sering kali meningkatkan hasil secara signifikan: koreksi latar belakang (menghilangkan ketidakseimbangan pencahayaan), normalisasi kontras, dan pengurangan noise. AI menulis kode pra-pemrosesan ini (dengan scikit-image atau OpenCV); Namun Anda memutuskan koreksi apa yang diperlukan dengan melihat gambarnya. Pemrosesan awal yang berlebihan juga berbahaya: “membersihkan” gambar terlalu banyak dapat menghapus struktur biologis sebenarnya dan berubah menjadi keindahan data. Aturannya begini: pra-pemrosesan harus diterapkan pada semua gambar dengan cara yang sama dan telah ditentukan sebelumnya, tidak dilakukan secara selektif satu per satu untuk mempercantik hasilnya.

Terapkan pra-pemrosesan standar pada gambar mikroskop saya sebelum segmentasi: koreksi latar belakang, normalisasi kontras, sedikit pengurangan noise. Terapkan parameter yang sama ke SEMUA gambar (tidak selektif). Tampilkan sebelum/sesudah perbandingan. Gunakan gambar scikit.

Singkatnya

Kecerdasan buatan menghemat banyak waktu dalam analisis citra biologis (segmentasi sel, deteksi spesies/penyakit). Alat siap pakai seperti Cellpose, StarDist, MegaDetector menyelesaikan sebagian besar tugas tanpa pelatihan dari awal. Namun hasilnya harus diverifikasi secara manual, timbangan harus dikalibrasi, dan skor kepercayaan rendah harus diarahkan ke manusia. Model ini tidak dapat diandalkan di luar distribusi pelatihan; Konfirmasi sangat penting ketika berpindah ke data baru.

Tugas aplikasi

Ambil gambar mikroskop (atau data sampel). Minta kecerdasan buatan menulis dan menjalankan kode yang mengelompokkan dan menghitung sel dengan Cellpose atau StarDist. Bandingkan dengan menghitung secara manual sel-sel yang ditemukan model dalam setidaknya satu gambar; Catat berapa banyak sel yang terlewat/digabungkan. Laporkan area sel dalam mikrometer persegi dengan menambahkan kalibrasi skala.

daftar periksa

• [ ] Saya menambahkan jenis gambar, lukisan dan resolusi ke prompt.
• [ ] Saya menerapkan kalibrasi skala (piksel-mikrometer).
• [ ] Saya memverifikasi hasilnya secara manual pada setidaknya satu gambar.
• [ ] Saya mengatur parameter segmentasi sesuai gambar.
• [ ] Saya meneruskan prediksi dengan skor keyakinan rendah ke validasi manusia.
• [ ] Saya tidak mempercayai model tersebut tanpa mengonfirmasinya di kumpulan data baru.