Faida:
- Uwezo wa kutenganisha kazi za mgawanyiko na uainishaji na kuchagua zana inayofaa iliyotengenezwa tayari (Cellpose, StarDist, MegaDetector) kwa kila moja.
- Uwezo wa kutoa vipimo vya kuaminika kutoka kwa picha kwa kutumia urekebishaji wa kiwango na uthibitishaji wa mwongozo
- Elewa hitaji la kuelekeza ubashiri wa alama za chini za imani kwa uthibitishaji wa binadamu na uthibitishe kielelezo nje ya usambazaji wa mafunzo.
Biolojia ni sayansi ya kuona: seli chini ya darubini, makoloni katika sahani ya petri, wanyama katika kamera ya msitu, matangazo ya ugonjwa kwenye jani. Kuhesabu, kupima na kuainisha picha hizi ilikuwa kazi ya kuchosha na ya kibinafsi ambayo ilichukua masaa. Akili Bandia, hasa kujifunza kwa kina (utambuzi wa muundo na mitandao ya neva bandia ya safu nyingi) mifano ya picha inayotegemea, imeongeza kasi na kusawazisha kazi hii. Katika kitengo hiki, tutajadili jinsi ya kutumia akili ya bandia katika uchanganuzi wa picha za kibayolojia, zana zilizotengenezwa tayari na mahitaji ya uthibitishaji.
Onyo tangu mwanzo: mfano unaweza "kutambua" seli au aina, lakini pia inaweza kutambua vibaya; macho ya binadamu na uthibitishaji wa lebo halisi ni muhimu kwa maamuzi muhimu.
Aina mbili za kazi za kuonyesha
- Mgawanyiko: Kutenganisha na kuhesabu vitu (seli, nuclei) katika pikseli ya picha kwa pikseli. Zana za mfano: Cellpose, StarDist. "Je, ni seli ngapi kwenye picha hii ya hadubini na kila moja ina ukubwa gani?"
- Uainishaji/ugunduzi: Kueleza kilicho kwenye picha au kutafuta eneo lake. Mfano: kutambua spishi katika picha ya mtego wa kamera (iNaturalist, MegaDetector), kuainisha ikiwa jani lina ugonjwa au la.
Kazi hizi mbili zinahitaji zana tofauti. Akili Bandia (LLM) hukusaidia kuchagua zana inayofaa, kuandika usakinishaji na msimbo wa ombi, na kutafsiri matokeo.
Kidokezo: Katika uchanganuzi wa picha, mara nyingi huhitaji kutoa mafunzo kwa mwanamitindo kuanzia mwanzo. Zana zilizofunzwa mapema kama vile Cellpose hufanya kazi moja kwa moja kwenye aina nyingi za seli. Jaribu chombo kilicho tayari kwanza; lakini thibitisha matokeo kwa mikono katika picha kadhaa.
Hatua kwa hatua: kuhesabu seli kwenye picha za darubini
- Tayarisha picha: Ukuzaji thabiti, mwangaza; kumbuka muundo wa faili (TIFF, nk).
- Urekebishaji wa mizani: Jua ni maikromita ngapi kwa pikseli (muhimu kwa kipimo cha saizi).
- Chagua zana ya kugawanya: StarDist ikiwa madoa ya msingi; Cellpose kwa cytoplasm.
- Endesha: Jaribu zana kwenye picha.
- Thibitisha wewe mwenyewe: Linganisha seli ambazo modeli hupata na picha halisi; Hesabu seli zilizounganishwa/zilizokosa.
- Kundi: Ikiwa uthibitishaji unaridhisha, tuma kwa seti nzima.
- Ripoti: Idadi ya seli, ukubwa wa usambazaji; Njia ya hati na usahihi.
Violezo vya haraka vinavyoweza kunakiliwa
Jukumu: Wewe ndiye msaidizi wa uchanganuzi wa picha ya wasifu. Kazi: Andika msimbo wa Python ambao unagawanya na kuhesabu seli katika picha ya hadubini na Cellpose. Ingizo: image.tif, chaneli moja. Pato: hesabu ya seli na taswira ya barakoa. Toa nambari ya kufanya kazi na maoni na uhalalishe chaguo la mfano.
Je, ninathibitishaje pato langu la sehemu? Pendekeza mbinu na kipimo (usahihi, kumbuka, F1) ili kulinganisha idadi ya seli zilizopatikana na modeli na sampuli niliyohesabu mimi mwenyewe. Andika msimbo pia.
Eleza mtiririko wa kazi wa MegaDetector wa kugundua wanyama kwenye picha zangu za mtego wa kamera. Eleza uokoaji wa wakati na hatari ya hasi za uwongo katika kuondoa viunzi tupu.
Andika msimbo unaofanya ubadilishaji wa pixel-to-micrometer na maelezo ya upau wa mizani na kukokotoa eneo la kila seli katika mikromita za mraba. Urekebishaji: [X] pikseli = [Y] maikromita.
Mwongozo dhaifu / Mwongozo thabiti
Dhaifu: "Hesabu seli katika picha hii."
Imara: "Nina picha ya viini vilivyo na madoa ya DAPI (TIFF, chaneli moja, 2048x2048, kipimo cha 0.32 µm/pixel). Andika msimbo unaogawanya na kuhesabu viini kwa modeli ya 2D iliyofunzwa awali ya StarDist, ukitoa eneo la kila kiini katika mikromita 3 za mraba. Kisha ongeza hesabu ya misimbo inayolinganisha na mikromita 3 za mraba."
Tofauti: Kidokezo chenye nguvu kina aina ya picha, uchoraji, azimio, ukubwa na mpango wa uthibitishaji. Mfano hutumia chombo sahihi na kiwango sahihi.
kesi tatu ndogo
Uchunguzi wa 1 - Seli zilizounganishwa: Mwanafunzi alihesabu seli 400 katika picha ya tishu mnene na Cellpose; Nilipohesabu kwa mkono, ikawa 560. Mfano huo uliunganisha seli zinazogusana kama seli moja. AI ilipendekeza kurekebisha kipenyo cha kipenyo cha seli na kubadilisha kizingiti cha mtiririko; Hesabu ilipanda hadi 545. Somo: rekebisha vigezo kulingana na picha halisi.
Kesi ya 2 - Kuchanganyikiwa kwa spishi: Katika mradi wa ikolojia, utambuzi wa spishi otomatiki mara kwa mara uliweka alama ya mbweha kama "paka" katika picha za usiku. Mfano ulielezea kuwa mwanga mdogo na usawa katika data ya mafunzo inaweza kusababisha kosa hili; Timu ilituma vitambulisho visivyoeleweka kwa uthibitisho wa kibinadamu. Somo: ikiwa alama ya kujiamini ya mfano ni ndogo, uthibitishaji wa kibinadamu ni wa lazima.
Uchunguzi wa 3 - Hitilafu ya kipimo: Mtafiti aliripoti maeneo ya seli katika saizi lakini akasahau kubadilisha hadi maikromita; Matokeo hayakuwa yanapatana na maandiko. Wakati akili ya bandia iliongeza hatua ya urekebishaji, maadili yalianguka ndani ya anuwai inayofaa. Somo: ubadilishaji wa kitengo cha kimwili ni muhimu.
chati ya kulinganisha
Jitihada
gari linalofaa
kipimo cha uthibitishaji
Mgawanyiko wa msingi
StarDist
F1 na kuhesabu kwa mikono
Cytoplasm/ mpaka wa seli
kiini
IoU (kiwango cha muingiliano)
Utambulisho wa spishi (wanyamapori)
MegaDetector/iNaturalist
Alama ya uaminifu + idhini ya mwanadamu
uainishaji wa magonjwa
Mfano wa mafunzo maalum
Matrix ya kuchanganyikiwa
Makosa ya kawaida
- Uchakataji wa bechi bila uthibitishaji mwenyewe: Kueneza hitilafu ya modeli kwenye data nzima.
- Kuruka urekebishaji wa mizani: Haibadilishi kipimo cha pikseli hadi kitengo halisi.
- Kukubali ubashiri kwa alama za chini za kujiamini: Kutorejelea hali zisizo na uhakika kwa wanadamu.
- Kuacha vigezo kama chaguo-msingi: Kutorekebisha mipangilio kama vile kipenyo cha seli kwa picha.
- Picha nje ya usambazaji wa mafunzo: Kwa upofu kutumia modeli katika hali ambayo haijawahi kuona (kuchorea tofauti, aina).
Tahadhari: Miundo ya picha inaweza kufanya vyema kwenye picha zinazofanana na data ya mafunzo, lakini bila kutarajia katika hali tofauti (madoa mapya, aina mpya, darubini tofauti). Unapohamia seti mpya ya data, usiamini mfano bila kuithibitisha mwenyewe kwenye picha kadhaa. Idhini ya mwanadamu ni muhimu kwa maamuzi yenye matokeo ya juu kama vile uhifadhi wa spishi au utambuzi.
Kutoka kwa sehemu hadi kipimo: zaidi ya nambari
Kuhesabu seli mara nyingi ni hatua ya kwanza; Thamani halisi hutoa vipimo kuhusu kila kitu. Kadhaa ya vipengele kwa kila seli, kama vile eneo, mzunguko, umbo la duara, nguvu ya umeme (kiasi cha alama imeonyeshwa), inaweza kuhesabiwa kutoka kwa kinyago cha sehemu. Vipengee vya kanda hufanya kazi katika maktaba ya picha ya scikit hufanya hivi. AI huandika msimbo ambao hutoa vipimo hivi na kumwaga matokeo kwenye jedwali; unaweza pia kulinganisha vikundi (k.m. "je seli zilizotibiwa ni ndogo kuliko kidhibiti?").
Chambua eneo, mzunguko na wastani wa nguvu ya umeme ya kila seli kutoka kwa kinyago cha seli kwa kutumia viunzi vya picha vya scikit. Andika matokeo kwa CSV; Linganisha vikundi vya udhibiti na matibabu kwenye njama ya kisanduku. Tekeleza urekebishaji wa mizani (µm/pixel).
Kidokezo: Usisahau kuondoa mandharinyuma wakati wa kupima msongamano; Thamani za ukubwa usio na kipimo hutegemea mpangilio wa darubini na zinaweza kulinganishwa si kwa maneno kamili, lakini kwa hali ya jamaa kati ya vikundi vilivyochukuliwa chini ya hali sawa.
Wakati wa kutoa mafunzo kwa mfano: data kidogo, kuweka lebo kwa uangalifu
Wakati mwingine zana za nje ya rafu hazitoshi na unahitaji kutoa mafunzo kwa muundo wako wa uainishaji (k.m. dalili mahususi ya ugonjwa). Mitego miwili imesimama hapa. Ya kwanza ni uvujaji wa data: picha za mtu mmoja/sampuli sawa zikijumuishwa katika mafunzo na seti za majaribio hufanya modeli ionekane kuwa na mafanikio zaidi kuliko ilivyo; fanya mgawanyiko katika ngazi ya mtu binafsi. Ya pili ni darasa lisilo na usawa: ikiwa sampuli za wagonjwa ni chache, mfano unaonyesha usahihi wa juu kwa kusema "daima afya" lakini haina maana; Angalia usikivu (kumbuka) na matrix ya mkanganyiko badala ya usahihi. AI huandika msimbo huu wa mafunzo, lakini ni kazi yako kuabiri hitilafu hizi za mbinu.
Ubora wa picha na usindikaji wa awali
Mafanikio ya kielelezo cha kuonyesha moja kwa moja inategemea ubora wa picha unayotoa. Picha ambazo hazizingatiwi, zilizofichuliwa kupita kiasi, tofauti kidogo, au zilizopigwa kwa ukuzaji tofauti zitachanganya hata muundo bora zaidi. Ndiyo maana hatua rahisi za usindikaji kabla ya kugawanya mara nyingi huboresha matokeo kwa kiasi kikubwa: urekebishaji wa usuli (kuondoa usawa wa taa), urekebishaji wa utofautishaji na kupunguza kelele. AI huandika msimbo huu wa usindikaji (na picha ya scikit au OpenCV); Lakini unaamua ni marekebisho gani ni muhimu kwa kuangalia picha. Uchakataji kupita kiasi pia ni hatari: "kusafisha" picha kupita kiasi kunaweza kufuta muundo halisi wa kibayolojia na kugeuka kuwa urembo wa data. Sheria ni hii: usindikaji wa mapema unapaswa kutumika kwa picha zote kwa njia ile ile, iliyofafanuliwa, sio kwa kuchagua moja baada ya nyingine ili kupamba matokeo.
Tumia uchakataji wa kawaida kwa picha zangu za hadubini kabla ya kugawanyika: urekebishaji wa usuli, urekebishaji wa utofautishaji, upunguzaji wa kelele kidogo. Tumia vigezo sawa kwa picha ZOTE (si kwa kuchagua). Onyesha kabla/baada ya kulinganisha. Tumia picha ya scikit.
Kwa muhtasari
Akili Bandia huokoa muda mwingi katika uchanganuzi wa picha za kibiolojia (mgawanyiko wa seli, utambuzi wa spishi/magonjwa). Zana za nje ya rafu kama vile Cellpose, StarDist, MegaDetector hutatua kazi nyingi bila mafunzo kutoka mwanzo. Hata hivyo, matokeo lazima yathibitishwe kwa mikono, kipimo lazima kidhibitishwe, na alama za chini za kujiamini lazima zielekezwe kwa wanadamu. Mfano huo hauaminiki nje ya usambazaji wa mafunzo; Uthibitishaji ni muhimu unapohamia data mpya.
Jukumu la maombi
Chukua picha ya darubini (au sampuli ya data). Fanya akili bandia kuandika na kuendesha msimbo unaogawanya na kuhesabu visanduku kwa kutumia Cellpose au StarDist. Linganisha kwa mkono kuhesabu seli mfano hupata katika angalau picha moja; Kumbuka ni visanduku vingapi vilivyokosa/kuunganishwa. Ripoti maeneo ya seli katika maikromita za mraba kwa kuongeza urekebishaji wa mizani.
orodha ya ukaguzi
- [ ] Niliongeza aina ya picha, uchoraji na azimio kwenye kidokezo.
- [ ] Niliweka urekebishaji wa mizani (pixel-micrometer).
- [ ] Nilithibitisha mwenyewe matokeo kwenye angalau picha moja.
- [ ] Niliweka vigezo vya sehemu kulingana na picha.
- [ ] Nilisambaza ubashiri wenye alama za chini za uhakika kwa uthibitishaji wa kibinadamu.
- [ ] Sikuuamini mtindo huo bila kuuthibitisha katika seti mpya ya data.