Fitimet:
- Aftësia për të ndarë detyrat e segmentimit dhe klasifikimit dhe për të zgjedhur mjetin e duhur të gatshëm (Cellpose, StarDist, MegaDetector) për secilën
- Aftësia për të nxjerrë matje të besueshme nga imazhet duke aplikuar kalibrimin e shkallës dhe verifikimin manual
- Kuptoni nevojën për të drejtuar parashikimet e rezultateve të ulëta të besimit në vlefshmërinë njerëzore dhe konfirmoni modelin jashtë shpërndarjes së trajnimit.
Biologjia është një shkencë vizuale: qelizat nën një mikroskop, kolonitë në një pjatë Petri, kafshët në një kamerë pylli, njolla sëmundjesh në një gjethe. Numërimi, matja dhe klasifikimi i këtyre imazheve ishte një detyrë e lodhshme dhe subjektive që kërkonte orë të tëra. Modelet e imazhit të bazuara në inteligjencën artificiale, veçanërisht të mësuarit e thellë (njohja e modelit me rrjete nervore artificiale me shumë shtresa) e kanë përshpejtuar dhe standardizuar këtë punë. Në këtë njësi, ne do të diskutojmë se si të përdorim inteligjencën artificiale në analizën e imazheve biologjike, mjetet e gatshme dhe kërkesat e vlefshmërisë.
Paralajmërim që në fillim: një model mund të "njohë" një qelizë ose specie, por gjithashtu mund të keqnjohë; sytë e njeriut dhe verifikimi i etiketës reale janë thelbësore për vendimet kritike.
Dy lloje të detyrave të ekranit
- Segmentimi: Ndarja dhe numërimi i objekteve (qeliza, bërthama) në imazh pixel për pixel. Shembull mjete: Cellpose, StarDist. "Sa qeliza ka në këtë imazh të mikroskopit dhe sa e madhe është secila?"
- Klasifikimi/zbulimi: Tregimi i asaj që është në imazh ose gjetja e vendndodhjes së saj. Shembull: njohja e specieve në një foto të kamerës (iNaturalist, MegaDetector), duke klasifikuar nëse një gjethe ka sëmundje apo jo.
Këto dy detyra kërkojnë mjete të ndryshme. Inteligjenca artificiale (LLM) ju ndihmon të zgjidhni mjetin e duhur, të shkruani kodin e instalimit dhe thirrjes dhe të interpretoni rezultatin.
Këshillë: Në analizën e imazhit, shumicën e kohës nuk keni nevojë të stërvitni një model nga e para. Mjetet e paratrajnuara si Cellpose punojnë drejtpërdrejt në shumë lloje qelizash. Së pari provoni mjetin e gatshëm; por konfirmoni rezultatin manualisht në disa imazhe.
Hap pas hapi: numërimi i qelizave në imazhet e mikroskopit
- Përgatitni imazhe: Zmadhimi i vazhdueshëm, ndriçimi; vini re formatin e skedarit (TIFF, etj.).
- Kalibrimi i shkallës: Di sa mikrometra për pixel (thelbësore për matjen e madhësisë).
- Zgjidh mjetin e segmentimit: StarDist nëse ngjyrosja e bërthamës; Cellozë për citoplazmë.
- Run: Provoni mjetin në një imazh.
- Verifiko manualisht: Krahaso qelizat që modeli gjen me imazhin aktual; Numëroni qelizat e bashkuara/të humbura.
- Batch: Nëse vërtetimi është i kënaqshëm, aplikoni për të gjithë grupin.
- Raporti: Numri i qelizave, shpërndarja e madhësisë; Metoda dhe saktësia e dokumentit.
Modele të shpejtë të kopjueshëm
Roli: Ju jeni asistenti i analizës së bioimazhit. Detyrë: Shkruani kodin Python që segmenton dhe numëron qelizat në një imazh të mikroskopit me Cellpose. Hyrja: image.tif, një kanal. Rezultatet: numërimi i qelizave dhe vizualizimi i maskës. Jepni kodin e punës me komente dhe justifikoni zgjedhjen e modelit.
Si mund ta vërtetoj daljen time të segmentimit? Sugjeroni një metodë dhe metrikë (përpikëri, rikujtim, F1) për të krahasuar numrin e qelizave të gjetura nga modeli me kampionin që numërova manualisht. Shkruaj edhe kodin.
Shpjegoni rrjedhën e punës MegaDetector për zbulimin e kafshëve në fotot e kurthit të kamerës sime. Shpjegoni kursimet e kohës dhe rrezikun e negativëve të rremë në eliminimin e kornizave bosh.
Shkruani kodin që bën konvertimin piksel në mikrometër me informacionin e shiritit të shkallës dhe llogarit sipërfaqen e secilës qelizë në mikrometra katrorë. Kalibrimi: [X] piksel = [Y] mikrometër.
Prompt i dobët / Prompt i fortë
E dobët: "Numëroni qelizat në këtë foto."
Strong: "Kam një imazh të bërthamave të ngjyrosura me DAPI (TIFF, një kanal, 2048x2048, shkallë 0,32 µm/pixel). Shkruaj kodin që segmenton dhe numëron bërthamat me modelin 2D të para-stërvitur të StarDist, duke i dhënë sipërfaqes së secilës bërthamë në 3 mikrometra, shtoni një imazh manual me 3 mikrometër. raporti i saktësisë".
Dallimi: Prompti i fuqishëm ka llojin e imazhit, pikturën, rezolucionin, shkallën dhe skemën e verifikimit. Modeli përdor mjetin e duhur dhe shkallën e duhur.
tre mini kuti
Rasti 1 — Qeliza konfluente: Një student numëroi 400 qeliza në një imazh të indit të dendur me Cellpose; Kur numërova me dorë, doli të ishte 560. Modeli kombinoi qelizat që preknin njëra-tjetrën si një qelizë e vetme. AI sugjeroi rregullimin e parametrit të diametrit të qelizës dhe ndryshimin e pragut të rrjedhës; Numri u rrit në 545. Mësimi: rregulloni parametrat sipas imazhit real.
Rasti 2 - Konfuzioni i specieve: Në një projekt ekologjik, njohja automatike e specieve etiketoi në mënyrë të përsëritur një dhelpër si "mace" në imazhet e natës. Modeli shpjegoi se drita e ulët dhe çekuilibri në të dhënat e trajnimit mund të shkaktojnë këtë gabim; Ekipi i përcolli etiketat e paqarta për vërtetimin njerëzor. Mësimi: nëse rezultati i besimit të modelit është i ulët, verifikimi njerëzor është i detyrueshëm.
Rasti 3 — Gabim në shkallë: Një studiues raportoi zonat e qelizave në piksel, por harroi të konvertohej në mikrometra; Rezultati ishte i papajtueshëm me literaturën. Kur inteligjenca artificiale shtoi hapin e kalibrimit, vlerat ranë brenda një diapazoni të arsyeshëm. Mësimi: konvertimi i njësive fizike është kritik.
grafik krahasimi
Kërkimi
automjet i përshtatshëm
metrikë verifikimi
Segmentimi thelbësor
StarDist
F1 me numërim manual
Kufiri i citoplazmës/qelizës
qelizë
IoU (norma e mbivendosjes)
Identifikimi i specieve (kafshët e egra)
MegaDetector/iNaturalist
Rezultati i besimit + miratimi njerëzor
klasifikimi i sëmundjes
Model i trajnuar posaçërisht
Matrica e konfuzionit
Gabimet e zakonshme
- Përpunimi në grup pa vërtetim manual: Përhapja e gabimit të modelit në të gjitha të dhënat.
- Kalibrimi i shkallës që kapërcehet: Nuk konvertohet njësia piksel në njësi fizike.
- Pranimi i parashikimeve me rezultate të ulëta besimi: Mos referimi i situatave të pasigurta tek njerëzit.
- Lënia e parametrave si parazgjedhje: Mos përshtatja e cilësimeve të tilla si diametri i qelizës me imazhin.
- Imazhi jashtë shpërndarjes së trajnimit: Përdorimi verbërisht i modelit në gjendjen që nuk e ka parë kurrë (ngjyrosje të ndryshme, lloj).
Kujdes: Modelet e imazheve mund të performojnë mirë në imazhe të ngjashme me të dhënat e trajnimit, por papritur dobët në kushte të ndryshme (njolla të reja, specie të reja, mikroskop të ndryshëm). Kur kaloni në një grup të ri të dhënash, mos i besoni modelit pa e vërtetuar manualisht atë në disa imazhe. Pëlqimi njerëzor është thelbësor për vendime me pasoja të larta, siç është ruajtja ose diagnostikimi i specieve.
Nga segmentimi në matje: përtej numrave
Numërimi i qelizave është shpesh hapi i parë; Vlera e brendshme nxjerr matjet për çdo objekt. Dhjetra karakteristika për qelizë, të tilla si zona, perimetri, rrumbullakësia, intensiteti i fluoreshencës (sa shprehet një shënues), mund të llogariten nga një maskë segmentimi. Funksioni i regionprops në bibliotekën e imazheve scikit e bën këtë. AI shkruan kodin që nxjerr këto matje dhe i derdh rezultatet në një tabelë; ju gjithashtu mund të krahasoni grupet (p.sh. "a janë qelizat e trajtuara më të vogla se kontrolli?").
Ekstraktoni sipërfaqen, perimetrin dhe intensitetin mesatar të fluoreshencës të secilës qelizë nga maska Cellpose me regjionet e imazhit scikit. Shkruani rezultatin në CSV; Krahasoni grupet e kontrollit dhe të trajtimit në grafikun e kutisë. Aplikoni kalibrimin e shkallës (µm/pixel).
Këshillë: Mos harroni të hiqni sfondin kur matni dendësinë; Vlerat e intensitetit të pakalibruara varen nga vendosja e mikroskopit dhe janë të krahasueshme jo në terma absolute, por në terma relativë midis grupeve të marra në të njëjtat kushte.
Kur të trajnoni një model: pak të dhëna, etiketim të kujdesshëm
Ndonjëherë mjetet e disponueshme nuk janë të mjaftueshme dhe ju duhet të trajnoni modelin tuaj të klasifikimit (p.sh. një simptomë specifike sëmundjeje). Këtu dallohen dy kurthe. E para është rrjedhja e të dhënave: imazhet e të njëjtit individ/kampion që përfshihen në grupet e trajnimit dhe testimit e bëjnë modelin të duket më i suksesshëm se sa është; bëni ndarjen në nivel individual. E dyta është klasa e pabalancuar: nëse mostrat e pacientëve janë të pakta, modeli tregon saktësi të lartë duke thënë "gjithmonë i shëndetshëm", por është i padobishëm; Shikoni ndjeshmërinë (rikujtimin) dhe matricën e konfuzionit në vend të saktësisë. AI shkruan këtë kod trajnimi, por është detyra juaj të lundroni në këto gracka metodologjike.
Cilësia e imazhit dhe parapërpunimi
Suksesi i një modeli ekrani varet drejtpërdrejt nga cilësia e imazhit që ofroni. Imazhet që janë jashtë fokusit, të mbiekspozuara, me kontrast të ulët ose të marra me zmadhime të ndryshme do të ngatërrojnë edhe modelin më të mirë. Kjo është arsyeja pse hapat e thjeshtë të para-përpunimit përpara segmentimit shpesh përmirësojnë ndjeshëm rezultatin: korrigjimi i sfondit (heqja e çekuilibrit të ndriçimit), normalizimi i kontrastit dhe reduktimi i zhurmës. AI e shkruan këtë kod të parapërpunimit (me imazhin scikit ose OpenCV); Por ju vendosni se çfarë korrigjim është e nevojshme duke parë imazhin. Parapërpunimi i tepërt është gjithashtu i rrezikshëm: "pastrimi" i tepërt i një imazhi mund të fshijë strukturën aktuale biologjike dhe të shndërrohet në zbukurim të të dhënave. Rregulli është ky: parapërpunimi duhet të zbatohet për të gjitha imazhet në të njëjtën mënyrë, të paracaktuar, jo të bëhet në mënyrë selektive një nga një për të zbukuruar rezultatin.
Aplikoni parapërpunimin standard në imazhet e mia të mikroskopit përpara segmentimit: korrigjimi i sfondit, normalizimi i kontrastit, reduktimi i lehtë i zhurmës. Aplikoni të njëjtat parametra për të GJITHA imazhet (jo në mënyrë selektive). Trego para/pas krahasimit. Përdorni imazhin scikit.
Në përmbledhje
Inteligjenca artificiale kursen shumë kohë në analizën e imazhit biologjik (segmentimi i qelizave, zbulimi i specieve/sëmundjeve). Mjetet jashtë raftit si Cellpose, StarDist, MegaDetector zgjidhin shumicën e detyrave pa stërvitje nga e para. Megjithatë, rezultati duhet të verifikohet me dorë, shkalla duhet të kalibrohet dhe rezultatet e ulëta të besimit duhet t'u drejtohen njerëzve. Modeli është jo i besueshëm jashtë shpërndarjes së trajnimit; Konfirmimi është thelbësor kur kaloni në të dhëna të reja.
Detyra e aplikimit
Merrni një imazh me mikroskop (ose mostër të dhënash). Lëreni inteligjencën artificiale të shkruajë dhe të ekzekutojë kodin që segmenton dhe numëron qelizat me Cellpose ose StarDist. Krahasoni me dorë duke numëruar qelizat që modeli gjen në të paktën një imazh; Vini re se sa qeliza u munguan/bashkuan. Raportoni zonat e qelizave në mikrometra katrorë duke shtuar kalibrimin e shkallës.
listë kontrolli
- [ ] Shtova llojin e imazhit, pikturën dhe rezolucionin në kërkesë.
- [ ] Kam aplikuar kalibrimin e shkallës (piksel-mikrometër).
- [ ] E verifikova manualisht rezultatin në të paktën një imazh.
- [ ] I vendos parametrat e segmentimit sipas imazhit.
- [ ] Kam përcjellë parashikime me rezultate të ulëta besimi te vërtetimi njerëzor.
- [ ] Nuk i besova modelit pa e konfirmuar atë në grupin e ri të të dhënave.