Ieguvumi:
- Spēja atdalīt segmentācijas un klasifikācijas uzdevumus un izvēlēties katram atbilstošu gatavu rīku (Cellpose, StarDist, MegaDetector)
- Iespēja iegūt uzticamus mērījumus no attēliem, izmantojot mēroga kalibrēšanu un manuālu verifikāciju
- Izprotiet nepieciešamību novirzīt zemas ticamības rādītāju prognozes cilvēka validācijai un apstiprināt modeli ārpus apmācības sadalījuma.
Bioloģija ir vizuālā zinātne: šūnas zem mikroskopa, kolonijas Petri trauciņā, dzīvnieki meža kamerā, slimības plankumi uz lapas. Šo attēlu skaitīšana, mērīšana un klasificēšana agrāk bija nogurdinošs un subjektīvs uzdevums, kas prasīja stundas. Mākslīgais intelekts, jo īpaši dziļā mācīšanās (modeļu atpazīšana ar daudzslāņu mākslīgajiem neironu tīkliem), balstīti uz attēlu modeļiem, ir paātrinājuši un standartizējuši šo darbu. Šajā nodaļā mēs apspriedīsim, kā izmantot mākslīgo intelektu bioloģisko attēlu analīzē, gatavus rīkus un validācijas prasības.
Brīdinājums jau no paša sākuma: modelis var "atpazīt" šūnu vai sugu, taču tas var arī nepareizi atpazīt; cilvēka acis un reāla marķējuma pārbaude ir būtiska kritisku lēmumu pieņemšanai.
Divu veidu displeja uzdevumi
- Segmentācija: attēla objektu (šūnu, kodolu) atdalīšana un skaitīšana pa pikseļiem. Piemēri rīkiem: Cellpose, StarDist. "Cik šūnu ir šajā mikroskopa attēlā un cik liela ir katra?"
- Klasifikācija/atklāšana: pastāstīt, kas ir attēlā vai atrast tā atrašanās vietu. Piemērs: sugas atpazīšana kameras slazdu fotoattēlā (iNaturalist, MegaDetector), klasificējot, vai lapai ir slimība vai nav.
Šiem diviem uzdevumiem ir nepieciešami dažādi rīki. Mākslīgais intelekts (LLM) palīdz izvēlēties pareizo rīku, uzrakstīt instalācijas un izsaukšanas kodu un interpretēt izvadi.
Padoms. Attēlu analīzē lielāko daļu laika jums nav jāapmāca modelis no nulles. Iepriekš apmācīti rīki, piemēram, Cellpose, darbojas tieši ar daudziem šūnu veidiem. Vispirms izmēģiniet gatavo rīku; bet apstipriniet rezultātu manuāli vairākos attēlos.
Soli pa solim: šūnu skaitīšana mikroskopa attēlos
- Sagatavojiet attēlus: konsekvents palielinājums, apgaismojums; atzīmējiet faila formātu (TIFF utt.).
- Mēroga kalibrēšana: zināt, cik mikrometru uz pikseļu (būtiski izmēra mērīšanai).
- Izvēlieties segmentācijas rīku: StarDist, ja tiek krāsota serde; Celloze citoplazmai.
- Palaist: izmēģiniet rīku attēlā.
- Manuāla pārbaude: salīdziniet modeļa atrastās šūnas ar faktisko attēlu; Skaitīt sapludinātās/neatbildētās šūnas.
- Partija: ja validācija ir apmierinoša, attiecas uz visu komplektu.
- Atskaite: Šūnu skaits, izmēru sadalījums; Dokumentu metode un precizitāte.
Kopējamas uzvedņu veidnes
Loma: Jūs esat bioattēlu analīzes palīgs. Uzdevums: Uzrakstiet Python kodu, kas segmentē un saskaita šūnas mikroskopa attēlā, izmantojot Cellpose. Ievade: image.tif, viens kanāls. Izvade: šūnu skaits un maskas vizualizācija. Sniedziet darba kodu ar komentāriem un pamatojiet modeļa izvēli.
Kā pārbaudīt savu segmentācijas rezultātu? Iesakiet metodi un metriku (precizitāte, atsaukšana, F1), lai salīdzinātu modeļa atrasto šūnu skaitu ar manuāli saskaitīto paraugu. Uzrakstiet arī kodu.
Izskaidrojiet MegaDetector darbplūsmu dzīvnieku noteikšanai manas kameras slazdu fotoattēlos. Izskaidrojiet laika ietaupījumu un viltus negatīvu risku, novēršot tukšus kadrus.
Uzrakstiet kodu, kas veic pikseļu pārveidošanu mikrometros ar mēroga joslas informāciju un aprēķina katras šūnas laukumu kvadrātmikrometros. Kalibrēšana: [X] pikseļi = [Y] mikrometrs.
Vāja uzvedne / spēcīga uzvedne
Vāji: "Saskaitiet šūnas šajā fotoattēlā."
Spēcīgs: "Man ir ar DAPI iekrāsots kodolu attēls (TIFF, viens kanāls, 2048x2048, mērogs 0,32 µm/pikselis). Uzrakstiet kodu, kas segmentē un saskaita kodolus ar StarDist iepriekš apmācītu 2D modeli, norādot katra kodola laukumu kvadrātveida mikrometros un pēc tam pievienojot kodu skaitīšanu kvadrātmikrometros. precizitātes ziņojums."
Atšķirība: jaudīgajai uzvednei ir attēla veids, krāsošana, izšķirtspēja, mērogs un pārbaudes shēma. Modelis izmanto pareizo rīku un pareizo mērogu.
trīs mini futrāļi
1. gadījums — saplūstošas šūnas: students saskaitīja 400 šūnas blīvā audu attēlā ar Cellpose; Kad es skaitīju ar roku, izrādījās 560. Modelis apvienoja šūnas, kas pieskaras viena otrai, kā vienu šūnu. AI ieteica pielāgot šūnas diametra parametru un mainīt plūsmas slieksni; Skaits pieauga līdz 545. Nodarbība: pielāgojiet parametrus atbilstoši reālajam attēlam.
2. gadījums — sugu neskaidrības: ekoloģijas projektā automātiskā sugu atpazīšana nakts attēlos atkārtoti atzīmēja lapsu kā “kaķi”. Modelis paskaidroja, ka vājš apgaismojums un apmācības datu nelīdzsvarotība var izraisīt šo kļūdu; Komanda pārsūtīja neskaidrās atzīmes cilvēku apstiprināšanai. Nodarbība: ja modeļa uzticamības rādītājs ir zems, cilvēka pārbaude ir obligāta.
3. gadījums — mēroga kļūda: pētnieks ziņoja par šūnu laukumiem pikseļos, bet aizmirsa konvertēt mikrometros; Rezultāts nebija savienojams ar literatūru. Kad mākslīgais intelekts pievienoja kalibrēšanas soli, vērtības nokritās saprātīgā diapazonā. Nodarbība: fiziskās vienības pārveidošana ir kritiska.
salīdzināšanas diagramma
Meklējumi
piemērots transportlīdzeklis
verifikācijas metrika
Pamata segmentācija
StarDist
F1 ar manuālu skaitīšanu
Citoplazmas/šūnas robeža
celpose
IoU (pārklāšanās līmenis)
Sugas identifikācija (savvaļas dzīvnieki)
MegaDetector/iNaturalist
Uzticības rādītājs + cilvēka apstiprinājums
slimību klasifikācija
Īpaši apmācīts modelis
Apjukuma matrica
Biežas kļūdas
- Pakešu apstrāde bez manuālas validācijas: modeļa kļūdas izplatīšana visos datos.
- Mēroga kalibrēšanas izlaišana: pikseļu vienība netiek pārveidota par fizisko vienību.
- Prognožu pieņemšana ar zemiem ticamības rādītājiem: nenoteikt nenoteiktas situācijas cilvēkiem.
- Parametrus atstājot kā noklusējuma iestatījumus: attēlam netiek pielāgoti tādi iestatījumi kā šūnas diametrs.
- Attēls ārpus apmācības izplatīšanas: akli izmanto modeli tādā stāvoklī, kādā tas nekad nav redzējis (atšķirīga krāsa, tips).
Uzmanību! Attēlu modeļi var labi darboties attēlos, kas ir līdzīgi apmācības datiem, bet negaidīti slikti dažādos apstākļos (jauns traips, jaunas sugas, cits mikroskops). Pārejot uz jaunu datu kopu, neuzticieties modelim, ja tas nav manuāli apstiprināts vairākos attēlos. Cilvēka piekrišana ir būtiska, lai pieņemtu lēmumus ar lielu ietekmi, piemēram, sugu saglabāšanu vai diagnozi.
No segmentācijas līdz mērīšanai: ne tikai skaitļi
Šūnu skaitīšana bieži ir pirmais solis; Iekšējā vērtība iegūst mērījumus par katru objektu. No segmentācijas maskas var aprēķināt desmitiem elementu vienā šūnā, piemēram, laukumu, perimetru, apaļumu, fluorescences intensitāti (cik izteikts marķieris). To veic funkcija regionprops scikit attēlu bibliotēkā. AI raksta kodu, kas izvelk šos mērījumus un ievieto rezultātus tabulā; varat arī salīdzināt grupas (piemēram, “vai apstrādātās šūnas ir mazākas par kontroli?”).
Izņemiet katras šūnas laukumu, perimetru un vidējo fluorescences intensitāti no Cellpose maskas, izmantojot scikit-image regionprops. Ierakstiet rezultātu CSV; Salīdziniet kontroles un apstrādes grupas lodziņa diagrammā. Izmantojiet skalas kalibrēšanu (µm/pikselis).
Padoms: Neaizmirstiet noņemt fonu, mērot blīvumu; Nekalibrētās intensitātes vērtības ir atkarīgas no mikroskopa iestatījuma un ir salīdzināmas nevis absolūtos skaitļos, bet gan relatīvā izteiksmē starp grupām, kas ņemtas vienādos apstākļos.
Kad apmācīt modeli: maz datu, rūpīga marķēšana
Dažkārt nepietiek ar gataviem rīkiem, un jums ir jāapmāca savs klasifikācijas modelis (piemēram, konkrētas slimības simptoms). Šeit izceļas divas lamatas. Pirmā ir datu noplūde: viena un tā paša indivīda/parauga attēli, kas iekļauti gan apmācības, gan testa komplektos, padara modeli veiksmīgāku, nekā tas ir; veiciet sadalījumu individuālā līmenī. Otrā ir nelīdzsvarotā klase: ja pacientu paraugu ir maz, modelis parāda augstu precizitāti, sakot "vienmēr vesels", bet ir bezjēdzīgs; Precizitātes vietā aplūkojiet jutīguma (atgādināšanas) un neskaidrības matricu. AI raksta šo apmācības kodu, taču jūsu uzdevums ir pārvarēt šīs metodoloģiskās nepilnības.
Attēla kvalitāte un priekšapstrāde
Displeja modeļa panākumi ir tieši atkarīgi no jūsu sniegtā attēla kvalitātes. Attēli, kas ir nefokusēti, pārmērīgi eksponēti, ar zemu kontrastu vai uzņemti ar dažādu palielinājumu, samulsīs pat labāko modeli. Tāpēc vienkāršas pirmapstrādes darbības pirms segmentācijas bieži vien ievērojami uzlabo rezultātu: fona korekcija (novērš apgaismojuma nelīdzsvarotību), kontrasta normalizēšana un trokšņu samazināšana. AI raksta šo priekšapstrādes kodu (ar scikit-image vai OpenCV); Bet jūs izlemjat, kāda korekcija ir nepieciešama, skatoties uz attēlu. Bīstama ir arī pārmērīga priekšapstrāde: pārāk liela attēla “tīrīšana” var izdzēst faktisko bioloģisko struktūru un pārvērsties datu izdaiļošanā. Noteikums ir šāds: priekšapstrāde visiem attēliem jāpiemēro vienādi, iepriekš noteiktā veidā, nevis selektīvi pa vienam, lai izdaiļotu rezultātu.
Pirms segmentācijas veiciet mikroskopa attēliem standarta priekšapstrādi: fona korekcija, kontrasta normalizēšana, neliela trokšņa samazināšana. Lietojiet tos pašus parametrus VISIEM attēliem (nevis selektīvi). Rādīt pirms/pēc salīdzināšanas. Izmantojiet scikit-image.
Rezumējot
Mākslīgais intelekts ietaupa daudz laika bioloģisko attēlu analīzē (šūnu segmentācija, sugu/slimību noteikšana). Jau pieejamie rīki, piemēram, Cellpose, StarDist, MegaDetector, atrisina lielāko daļu uzdevumu bez apmācības no nulles. Tomēr rezultāts ir jāpārbauda manuāli, skala ir jākalibrē, un zemi ticamības rādītāji ir jānorāda uz cilvēkiem. Modelis ir neuzticams ārpus apmācības izplatīšanas; Apstiprinājums ir būtisks, pārejot uz jauniem datiem.
Lietojumprogrammas uzdevums
Uzņemiet mikroskopa attēlu (vai datu paraugu). Lieciet mākslīgajam intelektam rakstīt un palaist kodu, kas segmentē un skaita šūnas, izmantojot Cellpose vai StarDist. Salīdziniet ar roku, saskaitot šūnas, kuras modelis atrod vismaz vienā attēlā; Ņemiet vērā, cik šūnu tika izlaista/apvienota. Norādiet šūnu laukumus kvadrātmikrometros, pievienojot skalas kalibrēšanu.
kontrolsaraksts
- [ ] Uzvednei pievienoju attēla veidu, krāsojumu un izšķirtspēju.
- [ ] Es izmantoju skalas kalibrēšanu (pikseļu mikrometru).
- [ ] Es manuāli pārbaudīju rezultātu vismaz vienam attēlam.
- [ ] Segmentācijas parametrus iestatīju atbilstoši attēlam.
- [ ] Es pārsūtīju prognozes ar zemiem ticamības rādītājiem cilvēka apstiprināšanai.
- [ ] Es neuzticējos modelim, neapstiprinot to jaunajā datu kopā.