Analisis Imej dan Pengecaman Jenis/Sel

Keuntungan:

• Keupayaan untuk memisahkan tugasan segmentasi dan pengelasan dan memilih alat siap sedia yang sesuai (Cellpose, StarDist, MegaDetector) untuk setiap
• Keupayaan untuk mengekstrak ukuran yang boleh dipercayai daripada imej dengan menggunakan penentukuran skala dan pengesahan manual
• Fahami keperluan untuk mengarahkan ramalan skor keyakinan rendah kepada pengesahan manusia dan mengesahkan model di luar pengedaran latihan.

Biologi ialah sains visual: sel di bawah mikroskop, koloni dalam cawan petri, haiwan dalam kamera hutan, bintik-bintik penyakit pada daun. Mengira, mengukur dan mengklasifikasikan imej-imej ini dahulunya merupakan tugas yang membosankan dan subjektif yang mengambil masa berjam-jam. Model imej berasaskan kecerdasan buatan, terutamanya pembelajaran mendalam (pengiktirafan corak dengan rangkaian saraf tiruan berbilang lapisan), telah mempercepatkan dan menyeragamkan kerja ini. Dalam unit ini, kita akan membincangkan cara menggunakan kecerdasan buatan dalam analisis imej biologi, alat siap sedia dan keperluan pengesahan.

Amaran dari awal: model mungkin "mengiktiraf" sel atau spesies, tetapi ia juga mungkin salah mengenali; mata manusia dan pengesahan label sebenar adalah penting untuk keputusan kritikal.

Dua jenis tugas paparan

• Segmentasi: Mengasingkan dan mengira objek (sel, nukleus) dalam piksel imej mengikut piksel. Alat contoh: Cellpose, StarDist. "Berapa banyak sel dalam imej mikroskop ini dan berapa besar setiap sel?"
• Pengelasan/pengesanan: Memberitahu perkara yang terdapat dalam imej atau mencari lokasinya. Contoh: mengenali spesies dalam foto perangkap kamera (iNaturalist, MegaDetector), mengelaskan sama ada daun mempunyai penyakit atau tidak.

Kedua-dua tugas ini memerlukan alat yang berbeza. Kecerdasan buatan (LLM) membantu anda memilih alat yang betul, menulis kod pemasangan dan invocation, dan mentafsir output.

Petua: Dalam analisis imej, kebanyakan masa anda tidak perlu melatih model dari awal. Alat terlatih seperti Cellpose berfungsi secara langsung pada banyak jenis sel. Cuba alat sedia dahulu; tetapi sahkan hasilnya secara manual dalam beberapa imej.

Langkah demi langkah: mengira sel pada imej mikroskop

1. Sediakan imej: Pembesaran, pencahayaan yang konsisten; perhatikan format fail (TIFF, dsb.).
2. Penentukuran skala: Ketahui bilangan mikrometer setiap piksel (penting untuk ukuran saiz).
3. Pilih alat pembahagian: StarDist jika pewarnaan teras; Cellpose untuk sitoplasma.
4. Jalankan: Cuba alat pada imej.
5. Sahkan secara manual: Bandingkan sel yang ditemui model dengan imej sebenar; Kira sel yang digabungkan/terlepas.
6. Kelompok: Jika pengesahan memuaskan, gunakan pada keseluruhan set.
7. Laporan: Bilangan sel, taburan saiz; Kaedah dan ketepatan dokumen.

Templat gesaan yang boleh disalin

Peranan: Anda adalah pembantu analisis bioimej. Tugas: Tulis kod Python yang membahagi dan mengira sel dalam imej mikroskop dengan Cellpose. Input: image.tif, saluran tunggal. Output: kiraan sel dan visualisasi topeng. Berikan kod kerja dengan komen dan justifikasikan pilihan model.

Bagaimanakah cara saya mengesahkan output segmentasi saya? Cadangkan kaedah dan metrik (ketepatan, ingat semula, F1) untuk membandingkan bilangan sel yang ditemui oleh model dengan sampel yang saya kira secara manual. Tulis kod juga.

Terangkan aliran kerja MegaDetector untuk mengesan haiwan dalam foto perangkap kamera saya. Terangkan penjimatan masa dan risiko negatif palsu dalam menghapuskan bingkai kosong.

Tulis kod yang membuat penukaran piksel-ke-mikrometer dengan maklumat bar skala dan mengira luas setiap sel dalam mikrometer persegi. Penentukuran: [X] piksel = mikrometer [Y].

Gesaan lemah / Gesaan kuat

Lemah: "Kira sel dalam foto ini."

Kuat: "Saya mempunyai imej nukleus yang diwarnai DAPI (TIFF, saluran tunggal, 2048x2048, skala 0.32 µm/piksel). Tulis kod yang membahagikan dan mengira nukleus dengan model 2D pra-latihan StarDist, memberikan luas setiap nukleus dalam mikrometer persegi. Kemudian tambahkan kod laporan yang membandingkan dengan 3 dengan manual.

Perbezaan: Gesaan berkuasa mempunyai jenis imej, lukisan, resolusi, skala dan skema pengesahan. Model menggunakan alat yang betul dan skala yang betul.

tiga kes mini

Kes 1 — Sel konfluen: Seorang pelajar mengira 400 sel dalam imej tisu padat dengan Cellpose; Apabila saya mengira dengan tangan, ia ternyata menjadi 560. Model itu menggabungkan sel-sel yang bersentuhan antara satu sama lain sebagai satu sel. AI mencadangkan melaraskan parameter diameter sel dan menukar ambang aliran; Kiraan meningkat kepada 545. Pelajaran: laraskan parameter mengikut imej sebenar.

Kes 2 — Kecelaruan spesies: Dalam projek ekologi, pengecaman spesies automatik berulang kali menandakan musang sebagai "kucing" dalam imej waktu malam. Model menjelaskan bahawa cahaya malap dan ketidakseimbangan dalam data latihan boleh menyebabkan ralat ini; Pasukan itu memajukan tag yang tidak jelas kepada pengesahan manusia. Pengajaran: jika skor keyakinan model rendah, pengesahan manusia adalah wajib.

Kes 3 — Ralat skala: Seorang penyelidik melaporkan kawasan sel dalam piksel tetapi terlupa untuk menukar kepada mikrometer; Hasilnya tidak sesuai dengan kesusasteraan. Apabila kecerdasan buatan menambah langkah penentukuran, nilai jatuh dalam julat yang munasabah. Pengajaran: penukaran unit fizikal adalah kritikal.

carta perbandingan

Pencarian

kenderaan yang sesuai

metrik pengesahan

Pembahagian teras

StarDist

F1 dengan pengiraan manual

Sempadan sitoplasma/sel

selpose

IoU (kadar pertindihan)

Pengenalpastian spesies (hidupan liar)

MegaDetector/iNaturalist

Skor amanah + kelulusan manusia

klasifikasi penyakit

Model terlatih khas

Matriks kekeliruan

Kesilapan biasa

• Pemprosesan kelompok tanpa pengesahan manual: Menyebarkan ralat model merentas keseluruhan data.
• Melangkau penentukuran skala: Tidak menukar unit piksel kepada unit fizikal.
• Menerima ramalan dengan skor keyakinan rendah: Tidak merujuk situasi yang tidak pasti kepada manusia.
• Meninggalkan parameter sebagai lalai: Tidak menyesuaikan tetapan seperti diameter sel kepada imej.
• Imej di luar pengedaran latihan: Menggunakan model secara membuta tuli dalam keadaan yang tidak pernah dilihatnya (pewarnaan yang berbeza, jenis).

Awas: Model imej mungkin berprestasi baik pada imej yang serupa dengan data latihan, tetapi secara tidak dijangka teruk dalam keadaan berbeza (noda baharu, spesies baharu, mikroskop berbeza). Apabila beralih ke set data baharu, jangan percaya model tanpa mengesahkannya secara manual pada beberapa imej. Persetujuan manusia adalah penting untuk keputusan berakibat tinggi seperti pemuliharaan atau diagnosis spesies.

Daripada pembahagian kepada pengukuran: melebihi nombor

Mengira sel selalunya merupakan langkah pertama; Nilai intrinsik mengekstrak ukuran tentang setiap objek. Puluhan ciri setiap sel, seperti luas, perimeter, bulat, keamatan pendarfluor (berapa banyak penanda dinyatakan), boleh dikira daripada topeng pembahagian. Fungsi regionprops dalam perpustakaan imej scikit melakukan ini. AI menulis kod yang mengekstrak ukuran ini dan menuangkan hasilnya ke dalam jadual; anda juga boleh membandingkan kumpulan (cth. "adakah sel yang dirawat lebih kecil daripada kawalan?").

Ekstrak kawasan, perimeter dan purata keamatan pendarfluor setiap sel daripada topeng Cellpose dengan scikit-image regionprops. Tulis hasilnya ke CSV; Bandingkan kumpulan kawalan dan rawatan dalam plot kotak. Gunakan penentukuran skala (µm/piksel).

Petua: Jangan lupa untuk mengalih keluar latar belakang semasa mengukur ketumpatan; Nilai keamatan yang tidak ditentukur bergantung pada tetapan mikroskop dan boleh dibandingkan bukan dari segi mutlak, tetapi dari segi relatif antara kumpulan yang diambil dalam keadaan yang sama.

Bila hendak melatih model: sedikit data, pelabelan berhati-hati

Kadangkala alat luar tidak mencukupi dan anda perlu melatih model klasifikasi anda sendiri (cth. simptom penyakit tertentu). Dua perangkap menonjol di sini. Yang pertama ialah kebocoran data: imej individu/sampel yang sama disertakan dalam kedua-dua set latihan dan ujian menjadikan model kelihatan lebih berjaya daripada sebelumnya; melakukan pembahagian pada peringkat individu. Yang kedua ialah kelas tidak seimbang: jika sampel pesakit sedikit, model menunjukkan ketepatan yang tinggi dengan mengatakan "sentiasa sihat" tetapi tidak berguna; Lihat pada sensitiviti (recall) dan matriks kekeliruan dan bukannya ketepatan. AI menulis kod latihan ini, tetapi tugas anda untuk menavigasi perangkap metodologi ini.

Kualiti imej dan prapemprosesan

Kejayaan model paparan bergantung secara langsung pada kualiti imej yang anda berikan. Imej yang tidak fokus, terlalu terdedah, kontras rendah atau diambil pada pembesaran berbeza akan mengelirukan walaupun model terbaik. Itulah sebabnya langkah pra-pemprosesan mudah sebelum pembahagian selalunya meningkatkan hasil dengan ketara: pembetulan latar belakang (mengalih keluar ketidakseimbangan pencahayaan), normalisasi kontras dan pengurangan hingar. AI menulis kod prapemprosesan ini (dengan scikit-image atau OpenCV); Tetapi anda memutuskan pembetulan yang diperlukan dengan melihat imej. Prapemprosesan yang berlebihan juga berbahaya: "membersihkan" imej terlalu banyak boleh memadamkan struktur biologi sebenar dan bertukar menjadi pengindahan data. Peraturannya ialah ini: prapemprosesan harus digunakan pada semua imej dengan cara yang sama, dipratentukan, tidak secara selektif dilakukan satu demi satu untuk mencantikkan hasilnya.

Gunakan prapemprosesan standard pada imej mikroskop saya sebelum pembahagian: pembetulan latar belakang, normalisasi kontras, pengurangan hingar sedikit. Gunakan parameter yang sama pada SEMUA imej (bukan secara selektif). Tunjukkan sebelum/selepas perbandingan. Gunakan scikit-image.

Secara ringkasnya

Kecerdasan buatan menjimatkan banyak masa dalam analisis imej biologi (pembahagian sel, pengesanan spesies/penyakit). Alat luar biasa seperti Cellpose, StarDist, MegaDetector menyelesaikan kebanyakan tugas tanpa latihan dari awal. Walau bagaimanapun, keputusan mesti disahkan secara manual, skala mesti ditentukur, dan skor keyakinan rendah mesti ditujukan kepada manusia. Model tidak boleh dipercayai di luar pengedaran latihan; Pengesahan adalah penting apabila berpindah ke data baharu.

Tugasan permohonan

Ambil imej mikroskop (atau data sampel). Minta kecerdasan buatan menulis dan menjalankan kod yang membahagi dan mengira sel dengan Cellpose atau StarDist. Bandingkan dengan mengira sel dengan tangan model yang ditemui dalam sekurang-kurangnya satu imej; Perhatikan bilangan sel yang terlepas/digabungkan. Laporkan kawasan sel dalam mikrometer persegi dengan menambah penentukuran skala.

senarai semak

• [ ] Saya menambahkan jenis imej, lukisan dan resolusi pada gesaan.
• [ ] Saya menggunakan penentukuran skala (piksel-mikrometer).
• [ ] Saya mengesahkan keputusan secara manual pada sekurang-kurangnya satu imej.
• [ ] Saya menetapkan parameter segmentasi mengikut imej.
• [ ] Saya memajukan ramalan dengan skor keyakinan rendah kepada pengesahan manusia.
• [ ] Saya tidak mempercayai model tanpa mengesahkannya dalam set data baharu.