Pagsusuri ng Imahe at Uri/Pagkilala sa Cell

Mga nadagdag:

• Kakayahang paghiwalayin ang mga gawain sa pag-segment at pag-uuri at piliin ang naaangkop na handa na tool (Cellpose, StarDist, MegaDetector) para sa bawat
• Kakayahang kumuha ng maaasahang mga sukat mula sa mga imahe sa pamamagitan ng paglalapat ng scale calibration at manu-manong pag-verify
• Unawain ang pangangailangang idirekta ang mababang marka ng kumpiyansa na mga hula sa pagpapatunay ng tao at kumpirmahin ang modelo sa labas ng pamamahagi ng pagsasanay.

Ang biology ay isang visual science: mga cell sa ilalim ng mikroskopyo, mga kolonya sa isang petri dish, mga hayop sa isang camera ng kagubatan, mga spot ng sakit sa isang dahon. Ang pagbibilang, pagsukat, at pag-uuri ng mga larawang ito ay dating nakakapagod at pansariling gawain na tumagal ng ilang oras. Ang artipisyal na katalinuhan, lalo na ang malalim na pag-aaral (pagkilala ng pattern na may mga multi-layer na artipisyal na neural network) batay sa mga modelo ng imahe, ay nagpabilis at nag-standardize sa gawaing ito. Sa yunit na ito, tatalakayin natin kung paano gamitin ang artificial intelligence sa pagsusuri ng biological na imahe, mga handa na tool at mga kinakailangan sa pagpapatunay.

Babala mula sa simula: maaaring "kilalanin" ng isang modelo ang isang cell o species, ngunit maaari rin itong maling makilala; Ang mga mata ng tao at real-label na pag-verify ay mahalaga para sa mga kritikal na desisyon.

Dalawang uri ng mga gawain sa pagpapakita

• Segmentation: Paghihiwalay at pagbibilang ng mga bagay (mga cell, nuclei) sa pixel ng imahe ayon sa pixel. Mga halimbawang tool: Cellpose, StarDist. "Ilang mga cell ang nasa larawang ito ng mikroskopyo at gaano kalaki ang bawat isa?"
• Classification/detection: Pagsasabi kung ano ang nasa larawan o paghahanap ng lokasyon nito. Halimbawa: pagkilala sa mga species sa isang camera trap na larawan (iNaturalist, MegaDetector), pag-uuri kung ang isang dahon ay may sakit o wala.

Ang dalawang gawaing ito ay nangangailangan ng magkaibang mga kasangkapan. Tinutulungan ka ng Artificial Intelligence (LLM) na piliin ang tamang tool, isulat ang pag-install at invocation code, at bigyang-kahulugan ang output.

Tip: Sa pagsusuri ng imahe, kadalasan ay hindi mo kailangang sanayin ang isang modelo mula sa simula. Direktang gumagana ang mga pretrained na tool tulad ng Cellpose sa maraming uri ng cell. Subukan muna ang handa na tool; ngunit kumpirmahin ang resulta nang manu-mano sa ilang mga larawan.

Hakbang-hakbang: pagbibilang ng mga cell sa mga larawan ng mikroskopyo

1. Maghanda ng mga larawan: Pare-parehong pagpapalaki, pag-iilaw; tandaan ang format ng file (TIFF, atbp.).
2. Pag-calibrate ng scale: Alamin kung gaano karaming mga micrometer bawat pixel (mahalaga para sa pagsukat ng laki).
3. Pumili ng tool sa pagse-segment: StarDist kung core staining; Cellpose para sa cytoplasm.
4. Run: Subukan ang tool sa isang larawan.
5. Manu-manong i-verify: Ihambing ang mga cell na makikita ng modelo sa aktwal na larawan; Bilangin ang mga naka-merge/na-miss na mga cell.
6. Batch: Kung ang validation ay kasiya-siya, mag-apply sa buong set.
7. Ulat: Bilang ng mga cell, pamamahagi ng laki; Paraan at katumpakan ng dokumento.

Nakokopya na mga template ng prompt

Tungkulin: Ikaw ang katulong sa pagsusuri ng bioimage. Gawain: Sumulat ng Python code na nagse-segment at nagbibilang ng mga cell sa isang mikroskopyo na imahe gamit ang Cellpose. Input: image.tif, iisang channel. Output: bilang ng cell at visualization ng mask. Magbigay ng gumaganang code na may mga komento at bigyang-katwiran ang pagpili ng modelo.

Paano ko mapapatunayan ang aking output ng segmentation? Magmungkahi ng paraan at sukatan (precision, recall, F1) para ihambing ang bilang ng mga cell na natagpuan ng modelo sa sample na manu-mano kong binilang. Sumulat din ng code.

Ipaliwanag ang daloy ng trabaho ng MegaDetector para sa pag-detect ng mga hayop sa aking mga larawan sa bitag ng camera. Ipaliwanag ang pagtitipid sa oras at panganib ng mga maling negatibo sa pag-aalis ng mga blangkong frame.

Sumulat ng code na gumagawa ng pixel-to-micrometer conversion gamit ang impormasyon ng scale bar at kinakalkula ang lugar ng bawat cell sa square micrometers. Pag-calibrate: [X] pixel = [Y] micrometer.

Mahinang prompt / Malakas na prompt

Mahina: "Bilangin ang mga cell sa larawang ito."

Strong: "Mayroon akong DAPI-stained nuclei image (TIFF, single channel, 2048x2048, scale 0.32 µm/pixel). Sumulat ng code na nagse-segment at nagbibilang ng nuclei gamit ang pre-trained na 2D na modelo ng StarDist, na nagbibigay ng area ng bawat nucleus sa square micrometers. Pagkatapos ay idagdag ang code na naghahambing ng mga larawan sa 3 na accusate.

Pagkakaiba: Ang malakas na prompt ay may uri ng larawan, pagpipinta, resolusyon, sukat at pamamaraan ng pag-verify. Ang modelo ay gumagamit ng tamang kasangkapan at ang tamang sukat.

tatlong mini case

Case 1 — Confluent cells: Isang estudyante ang nagbilang ng 400 cell sa isang siksik na tissue image na may Cellpose; Nang magbilang ako ng kamay, ito ay naging 560. Pinagsama ng modelo ang mga cell na magkadikit sa isa't isa bilang isang solong cell. Iminungkahi ng AI na ayusin ang parameter ng cell diameter at baguhin ang threshold ng daloy; Ang bilang ay tumaas sa 545. Aralin: ayusin ang mga parameter ayon sa tunay na larawan.

Kaso 2 — Pagkalito ng mga species: Sa isang proyekto sa ekolohiya, ang awtomatikong pagkilala sa mga species ay paulit-ulit na na-tag ang isang fox bilang "pusa" sa mga larawan sa gabi. Ipinaliwanag ng modelo na ang mahinang liwanag at kawalan ng balanse sa data ng pagsasanay ay maaaring maging sanhi ng error na ito; Ipinasa ng koponan ang hindi maliwanag na mga tag sa pagpapatunay ng tao. Aralin: kung mababa ang marka ng kumpiyansa ng modelo, sapilitan ang pag-verify ng tao.

Case 3 — Error sa scale: Iniulat ng isang mananaliksik ang mga lugar ng cell sa mga pixel ngunit nakalimutang i-convert sa micrometer; Ang resulta ay hindi tugma sa panitikan. Kapag idinagdag ng artificial intelligence ang hakbang sa pagkakalibrate, ang mga halaga ay nahulog sa loob ng isang makatwirang saklaw. Aralin: Ang pisikal na pagbabagong yunit ay kritikal.

tsart ng paghahambing

Paghanap

angkop na sasakyan

sukatan ng pag-verify

Core segmentation

StarDist

F1 na may manu-manong pagbibilang

Hangganan ng cytoplasm/cell

cellpose

IoU (rate ng overlap)

Pagkilala sa mga species (wildlife)

MegaDetector/iNaturalist

Puntos ng tiwala + pag-apruba ng tao

klasipikasyon ng sakit

Espesyal na sinanay na modelo

Pagkalito matrix

Mga karaniwang pagkakamali

• Batch processing nang walang manual validation: Pagpapalaganap ng error ng modelo sa buong data.
• Nilaktawan ang pag-calibrate ng scale: Hindi kino-convert ang pixel-unit sa pisikal na unit.
• Pagtanggap ng mga hula na may mababang marka ng kumpiyansa: Hindi nagre-refer ng mga hindi tiyak na sitwasyon sa mga tao.
• Iniiwan ang mga parameter bilang default: Hindi iniangkop ang mga setting tulad ng diameter ng cell sa larawan.
• Larawan sa labas ng pamamahagi ng pagsasanay: Blindly na ginagamit ang modelo sa kondisyon na hindi pa nito nakikita (iba't ibang kulay, uri).

Babala: Maaaring gumanap nang maayos ang mga modelo ng larawan sa mga larawang katulad ng data ng pagsasanay, ngunit hindi inaasahang mahina sa ilalim ng iba't ibang kundisyon (bagong mantsa, bagong species, ibang mikroskopyo). Kapag lumipat sa isang bagong set ng data, huwag magtiwala sa modelo nang hindi ito manu-manong pinapatunayan sa ilang mga larawan. Ang pahintulot ng tao ay mahalaga para sa mga desisyong may mataas na kinahinatnan gaya ng pag-iingat o pagsusuri ng mga species.

Mula sa pagse-segment hanggang sa pagsukat: lampas sa mga numero

Ang pagbibilang ng mga cell ay madalas na unang hakbang; Ang intrinsic na halaga ay kumukuha ng mga sukat tungkol sa bawat bagay. Dose-dosenang mga feature sa bawat cell, gaya ng area, perimeter, roundness, fluorescence intensity (kung magkano ang isang marker ay ipinahayag), ay maaaring kalkulahin mula sa isang segmentation mask. Ginagawa ito ng regionprops function sa scikit-image library. Nagsusulat ang AI ng code na kumukuha ng mga sukat na ito at ibinubuhos ang mga resulta sa isang talahanayan; maaari mo ring paghambingin ang mga grupo (hal. “mas maliit ba ang ginagamot na mga cell kaysa sa kontrol?”).

I-extract ang area, perimeter at average na fluorescence intensity ng bawat cell mula sa Cellpose mask na may scikit-image regionprops. Isulat ang resulta sa CSV; Ikumpara ang control at treatment group sa box plot. Ilapat ang scale calibration (µm/pixel).

Tip: Huwag kalimutang tanggalin ang background kapag sinusukat ang density; Ang mga hindi na-calibrate na halaga ng intensity ay nakasalalay sa setting ng mikroskopyo at maihahambing hindi sa ganap na mga termino, ngunit sa mga kaugnay na termino sa pagitan ng mga pangkat na kinuha sa ilalim ng parehong kondisyon.

Kailan magsasanay ng isang modelo: maliit na data, maingat na pag-label

Minsan hindi sapat ang mga tool sa labas ng istante at kailangan mong sanayin ang iyong sariling modelo ng pag-uuri (hal. isang partikular na sintomas ng sakit). Dalawang bitag ang nakatayo dito. Ang una ay ang pagtagas ng data: ang mga larawan ng parehong indibidwal/sample na kasama sa parehong pagsasanay at mga set ng pagsubok ay ginagawang mas matagumpay ang modelo kaysa ito; gawin ang paghahati sa indibidwal na antas. Ang pangalawa ay ang hindi balanseng klase: kung kakaunti ang mga sample ng pasyente, ang modelo ay nagpapakita ng mataas na katumpakan sa pamamagitan ng pagsasabi ng "palaging malusog" ngunit walang silbi; Tingnan ang sensitivity (recall) at confusion matrix sa halip na katumpakan. Isinulat ng AI ang training code na ito, ngunit trabaho mo ang mag-navigate sa mga metodolohikal na pitfalls na ito.

Kalidad ng imahe at preprocessing

Ang tagumpay ng isang modelo ng display ay direktang nakadepende sa kalidad ng larawang ibibigay mo. Ang mga larawang wala sa focus, overexposed, mababa ang contrast, o kinunan sa iba't ibang laki ay malito kahit ang pinakamahusay na modelo. Iyon ang dahilan kung bakit ang mga simpleng hakbang sa paunang pagproseso bago ang pagse-segment ay kadalasang makabuluhang nagpapabuti sa resulta: pagwawasto sa background (pag-aalis ng imbalance ng ilaw), normalisasyon ng contrast at pagbabawas ng ingay. Isinulat ng AI ang preprocessing code na ito (na may scikit-image o OpenCV); Ngunit magpapasya ka kung anong pagwawasto ang kinakailangan sa pamamagitan ng pagtingin sa larawan. Mapanganib din ang labis na preprocessing: ang sobrang "paglilinis" ng isang imahe ay maaaring magbura ng aktwal na biological na istraktura at maging data beautification. Ang panuntunan ay ito: ang preprocessing ay dapat ilapat sa lahat ng mga imahe sa parehong, paunang natukoy na paraan, hindi piling ginagawa nang paisa-isa upang pagandahin ang resulta.

Ilapat ang karaniwang preprocessing sa aking mga larawan sa mikroskopyo bago ang pag-segment: pagwawasto sa background, normalisasyon ng contrast, bahagyang pagbabawas ng ingay. Ilapat ang parehong mga parameter sa LAHAT ng mga larawan (hindi pili). Ipakita bago/pagkatapos ng paghahambing. Gumamit ng scikit-image.

Sa buod

Ang artificial intelligence ay nakakatipid ng maraming oras sa pagsusuri ng biological na imahe (pagse-segment ng cell, pagtuklas ng mga species/sakit). Ang mga off-the-shelf na tool tulad ng Cellpose, StarDist, MegaDetector ay nilulutas ang karamihan sa mga gawain nang walang pagsasanay mula sa simula. Gayunpaman, ang resulta ay dapat na i-verify nang manu-mano, ang sukat ay dapat na i-calibrate, at ang mga mababang marka ng kumpiyansa ay dapat na idirekta sa mga tao. Ang modelo ay hindi maaasahan sa labas ng pamamahagi ng pagsasanay; Mahalaga ang kumpirmasyon kapag lumipat sa bagong data.

Gawain ng aplikasyon

Kumuha ng larawan ng mikroskopyo (o sample na data). Ipasulat at ipatakbo sa artificial intelligence ang code na nagse-segment at nagbibilang ng mga cell na may Cellpose o StarDist. Ihambing sa pamamagitan ng kamay na pagbibilang ng mga cell na makikita ng modelo sa kahit isang larawan; Tandaan kung gaano karaming mga cell ang napalampas/na-merge. Iulat ang mga cell area sa square micrometer sa pamamagitan ng pagdaragdag ng scale calibration.

checklist

• [ ] Idinagdag ko ang uri ng larawan, pagpipinta at resolusyon sa prompt.
• [ ] Nag-apply ako ng scale calibration (pixel-micrometer).
• [ ] Manu-mano kong na-verify ang resulta sa kahit isang larawan.
• [ ] Itinakda ko ang mga parameter ng segmentation ayon sa larawan.
• [ ] Ipinasa ko ang mga hula na may mababang marka ng kumpiyansa sa pagpapatunay ng tao.
• [ ] Hindi ako nagtiwala sa modelo nang hindi kinukumpirma ito sa bagong set ng data.