Pelnas:
- Galimybė atskirti segmentavimo ir klasifikavimo užduotis ir kiekvienam pasirinkti tinkamą paruoštą įrankį (Cellpose, StarDist, MegaDetector)
- Galimybė gauti patikimus matavimus iš vaizdų taikant skalės kalibravimą ir rankinį patikrinimą
- Supraskite būtinybę nukreipti žemo pasitikėjimo balo prognozes į žmogaus patvirtinimą ir patvirtinti modelį už mokymo paskirstymo ribų.
Biologija yra vizualinis mokslas: ląstelės po mikroskopu, kolonijos Petri lėkštelėje, gyvūnai miško kameroje, ligos dėmės ant lapo. Šių vaizdų skaičiavimas, matavimas ir klasifikavimas buvo varginantis ir subjektyvus darbas, kuris trukdavo valandas. Dirbtinis intelektas, ypač gilus mokymasis (modelių atpažinimas su daugiasluoksniais dirbtiniais neuroniniais tinklais), pagrįsti vaizdo modeliais, paspartino ir standartizavo šį darbą. Šiame skyriuje aptarsime, kaip panaudoti dirbtinį intelektą biologinio vaizdo analizėje, paruoštus įrankius ir patvirtinimo reikalavimus.
Įspėjimas nuo pat pradžių: modelis gali „atpažinti“ ląstelę ar rūšį, bet gali ir klaidingai atpažinti; žmogaus akys ir tikroji etiketė yra būtini priimant svarbius sprendimus.
Dviejų tipų rodymo užduotys
- Segmentavimas: vaizdo objektų (ląstelių, branduolių) atskyrimas ir skaičiavimas po pikselį. Įrankių pavyzdžiai: Cellpose, StarDist. „Kiek ląstelių yra šiame mikroskopo vaizde ir kiek kiekviena jų yra didelė?
- Klasifikavimas / aptikimas: pasakojimas, kas yra paveikslėlyje, arba jo vietos nustatymas. Pavyzdys: rūšies atpažinimas fotoaparato gaudyklės nuotraukoje (iNaturalist, MegaDetector), klasifikuojant, ar lapas serga, ar ne.
Šios dvi užduotys reikalauja skirtingų įrankių. Dirbtinis intelektas (LLM) padeda pasirinkti tinkamą įrankį, parašyti diegimo ir iškvietimo kodą bei interpretuoti išvestį.
Patarimas: atliekant vaizdų analizę, dažniausiai nereikia mokyti modelio nuo nulio. Iš anksto paruošti įrankiai, tokie kaip „Cellpose“, veikia tiesiogiai su daugeliu ląstelių tipų. Pirmiausia išbandykite paruoštą įrankį; bet patvirtinkite rezultatą rankiniu būdu keliuose paveikslėliuose.
Žingsnis po žingsnio: ląstelių skaičiavimas mikroskopo vaizduose
- Paruoškite vaizdus: nuoseklus didinimas, apšvietimas; atkreipkite dėmesį į failo formatą (TIFF ir kt.).
- Mastelio kalibravimas: žinokite, kiek mikrometrų viename pikselyje (būtina matuojant dydį).
- Pasirinkite segmentavimo įrankį: StarDist, jei šerdies dažymas; Celiozė citoplazmai.
- Vykdyti: išbandykite įrankį vaizde.
- Patvirtinkite rankiniu būdu: palyginkite modelio rastus langelius su tikruoju vaizdu; Suskaičiuoti sujungtus / praleistus langelius.
- Partija: jei patvirtinimas patenkinamas, taikykite visam rinkiniui.
- Ataskaita: langelių skaičius, dydžio pasiskirstymas; Dokumentavimo būdas ir tikslumas.
Kopijuojami raginimo šablonai
Vaidmuo: esate biologinio vaizdo analizės asistentas. Užduotis: parašykite Python kodą, kuris suskirsto ir skaičiuoja ląsteles mikroskopo vaizde su Cellpose. Įvestis: image.tif, vienas kanalas. Išvestis: ląstelių skaičius ir kaukės vizualizacija. Pateikite darbo kodą su komentarais ir pagrįskite modelio pasirinkimą.
Kaip patvirtinti savo segmentavimo išvestį? Pasiūlykite metodą ir metriką (tikslumas, atšaukimas, F1), kad palygintumėte modelio rastų langelių skaičių su pavyzdžiu, kurį suskaičiavau rankiniu būdu. Taip pat parašykite kodą.
Paaiškinkite „MegaDetector“ darbo eigą, skirtą gyvūnams aptikti mano fotoaparato spąstų nuotraukose. Paaiškinkite, kaip sutaupoma laiko ir klaidingai neigiamų rezultatų rizika pašalinant tuščius kadrus.
Parašykite kodą, kuris konvertuoja iš pikselio į mikrometrą su mastelio juostos informacija ir apskaičiuoja kiekvienos ląstelės plotą kvadratiniais mikrometrais. Kalibravimas: [X] pikselis = [Y] mikrometras.
Silpnas raginimas / Stiprus raginimas
Silpnas: „Suskaičiuokite šios nuotraukos ląsteles“.
Stiprus: „Turiu DAPI nudažytą branduolių vaizdą (TIFF, vienas kanalas, 2048 x 2048, mastelis 0,32 µm/pikselis). Parašykite kodą, kuris segmentuoja ir skaičiuoja branduolius su StarDist iš anksto paruoštu 2D modeliu, pateikdamas kiekvieno branduolio plotą rankiniu būdu, o tada pridedamą kodą skaičiuojant 3 kvadratiniais mikrometrais. tikslumo ataskaita“.
Skirtumas: galingas raginimas turi vaizdo tipą, dažymą, skiriamąją gebą, mastelį ir patikrinimo schemą. Modelis naudoja tinkamą įrankį ir tinkamą mastelį.
trys mini dėklai
1 atvejis – susiliejančios ląstelės: studentas suskaičiavo 400 ląstelių tankaus audinio vaizde su Cellpose; Kai suskaičiavau ranka, paaiškėjo, kad 560. Modelis sujungė vienas kitą besiliečiančias ląsteles į vieną ląstelę. AI pasiūlė pakoreguoti ląstelės skersmens parametrą ir pakeisti srauto slenkstį; Skaičius pakilo iki 545. Pamoka: sureguliuokite parametrus pagal realų vaizdą.
2 atvejis. Rūšių painiava: ekologijos projekte automatinis rūšių atpažinimas naktiniuose vaizduose ne kartą pažymėjo lapę kaip „katę“. Modelis paaiškino, kad silpnas apšvietimas ir mokymo duomenų disbalansas gali sukelti šią klaidą; Komanda persiuntė dviprasmiškas žymas žmogaus patvirtinimui. Pamoka: jei modelio pasitikėjimo balas žemas, žmogaus patikrinimas yra privalomas.
3 atvejis – mastelio klaida: tyrėjas nurodė ląstelių plotus pikseliais, bet pamiršo konvertuoti į mikrometrus; Rezultatas buvo nesuderinamas su literatūra. Kai dirbtinis intelektas pridėjo kalibravimo žingsnį, vertės pateko į protingą diapazoną. Pamoka: fizinio vieneto konvertavimas yra labai svarbus.
palyginimo diagrama
Quest
tinkama transporto priemonė
patvirtinimo metrika
Pagrindinis segmentavimas
StarDist
F1 su rankiniu skaičiavimu
Citoplazmos/ląstelės riba
celpose
IoU (persidengimo rodiklis)
Rūšių nustatymas (laukinė gamta)
MegaDetector/iNaturalist
Pasitikėjimo balas + žmogaus pritarimas
ligų klasifikacija
Specialiai apmokytas modelis
Sumišimo matrica
Dažnos klaidos
- Paketinis apdorojimas be rankinio patvirtinimo: modelio klaidos perkėlimas į visus duomenis.
- Praleidžiamas skalės kalibravimas: pikselių vienetas nekeičiamas į fizinį vienetą.
- Prognozių priėmimas su žemu pasitikėjimo balu: neapibrėžtų situacijų nenurodymas žmonėms.
- Parametrai paliekami kaip numatytieji: prie vaizdo nepritaikomi tokie parametrai kaip langelio skersmuo.
- Vaizdas už treniruočių paskirstymo ribų: aklai naudojant modelį tokios būklės, kokios jis niekada nematė (skirtinga spalva, tipas).
Įspėjimas: Vaizdo modeliai gali gerai veikti vaizduose, panašiuose į mokymo duomenis, bet netikėtai prastai skirtingomis sąlygomis (nauja dėmė, naujos rūšys, kitas mikroskopas). Kai pereinate prie naujo duomenų rinkinio, nepasitikėkite modeliu, neautomatiškai patvirtinę jo keliuose vaizduose. Žmogaus sutikimas yra būtinas priimant didelių pasekmių sprendimus, tokius kaip rūšių išsaugojimas ar diagnozė.
Nuo segmentavimo iki matavimo: ne tik skaičiai
Ląstelių skaičiavimas dažnai yra pirmasis žingsnis; Vidinė vertė išskiria kiekvieno objekto matavimus. Iš segmentavimo kaukės galima apskaičiuoti dešimtis kiekvienos ląstelės savybių, tokių kaip plotas, perimetras, apvalumas, fluorescencijos intensyvumas (kiek išreikštas žymeklis). Tai atlieka funkcija regionprops scikit-image bibliotekoje. AI rašo kodą, kuris ištraukia šiuos matavimus ir supila rezultatus į lentelę; taip pat galite palyginti grupes (pvz., „ar apdorotos ląstelės mažesnės už kontrolinę?“).
Išskirkite kiekvienos ląstelės plotą, perimetrą ir vidutinį fluorescencijos intensyvumą iš Cellpose kaukės naudodami scikit-image regionprops. Įrašykite rezultatą į CSV; Palyginkite kontrolines ir gydymo grupes langelio diagramoje. Taikykite skalės kalibravimą (µm/pikselis).
Patarimas: matuodami tankį nepamirškite pašalinti fono; Nekalibruotos intensyvumo reikšmės priklauso nuo mikroskopo nustatymo ir yra palyginamos ne absoliučiais, o santykiniais dydžiais tarp grupių, paimtų tomis pačiomis sąlygomis.
Kada mokyti modelį: mažai duomenų, kruopštus ženklinimas
Kartais neužtenka paruoštų priemonių ir reikia išmokyti savo klasifikavimo modelį (pvz., konkretų ligos požymį). Čia išsiskiria du spąstai. Pirmasis yra duomenų nutekėjimas: dėl to paties asmens / mėginio vaizdų, įtrauktų į mokymo ir bandymų rinkinius, modelis atrodo sėkmingesnis nei yra; atlikti padalijimą individualiu lygiu. Antroji – nesubalansuota klasė: jei pacientų mėginių mažai, modelis rodo didelį tikslumą sakydamas „visada sveikas“, bet nenaudingas; Vietoj tikslumo pažiūrėkite į jautrumo (atsišaukimo) ir painiavos matricą. Dirbtinis intelektas rašo šį mokymo kodą, tačiau jūsų darbas yra įveikti šiuos metodinius spąstus.
Vaizdo kokybė ir išankstinis apdorojimas
Ekrano modelio sėkmė tiesiogiai priklauso nuo jūsų pateikto vaizdo kokybės. Vaizdai, kurie yra nefokusuoti, per daug eksponuoti, mažo kontrasto arba fotografuoti skirtingais didinimais, supainios net geriausią modelį. Štai kodėl paprasti išankstinio apdorojimo veiksmai prieš segmentavimą dažnai žymiai pagerina rezultatą: fono korekcija (pašalinama apšvietimo disbalansas), kontrasto normalizavimas ir triukšmo mažinimas. AI rašo šį išankstinio apdorojimo kodą (su scikit-image arba OpenCV); Bet jūs nuspręsite, kokios korekcijos reikia, žiūrėdami į vaizdą. Per didelis išankstinis apdorojimas taip pat pavojingas: per didelis vaizdo „valymas“ gali ištrinti tikrąją biologinę struktūrą ir paversti duomenų pagražinimu. Taisyklė yra tokia: išankstinis visų vaizdų apdorojimas turi būti taikomas vienodai, iš anksto nustatyta tvarka, o ne pasirinktinai po vieną, kad būtų pagerintas rezultatas.
Prieš segmentuodami savo mikroskopo vaizdams taikykite standartinį išankstinį apdorojimą: fono korekciją, kontrasto normalizavimą, nedidelį triukšmo mažinimą. Taikykite tuos pačius parametrus VISIEMS vaizdams (ne pasirinktinai). Rodyti prieš/po palyginimo. Naudokite scikit-image.
Apibendrinant
Dirbtinis intelektas sutaupo daug laiko atliekant biologinio vaizdo analizę (ląstelių segmentavimą, rūšių/ligų nustatymą). Paruošti įrankiai, tokie kaip „Cellpose“, „StarDist“, „MegaDetector“, daugumą užduočių išsprendžia be mokymų nuo nulio. Tačiau rezultatas turi būti patikrintas rankiniu būdu, skalė turi būti sukalibruota, o žemi pasitikėjimo balai turi būti nukreipti į žmones. Modelis yra nepatikimas už mokymo paskirstymo ribų; Patvirtinimas yra būtinas pereinant prie naujų duomenų.
Taikymo užduotis
Padarykite mikroskopo vaizdą (arba duomenų pavyzdį). Leiskite dirbtiniam intelektui parašyti ir paleisti kodą, kuris segmentuoja ir skaičiuoja ląsteles naudodami Cellpose arba StarDist. Palyginkite ranka skaičiuodami ląsteles, kurias modelis randa bent viename paveikslėlyje; Atkreipkite dėmesį, kiek langelių buvo praleista / sujungta. Praneškite langelių plotus kvadratiniais mikrometrais pridėdami skalės kalibravimą.
kontrolinis sąrašas
- [ ] Į raginimą pridėjau vaizdo tipą, piešinį ir skiriamąją gebą.
- [ ] Pritaikiau skalės kalibravimą (pikselių-mikrometrą).
- [ ] Rankiniu būdu patikrinau rezultatą bent viename vaizde.
- [ ] Segmentavimo parametrus nustatau pagal paveikslėlį.
- [ ] Persiunčiau prognozes su mažais patikimumo balais žmogaus patvirtinimui.
- [ ] Nepasitikėjau modeliu, nepatvirtinęs jo naujame duomenų rinkinyje.