Добици:
- Могућност одвајања задатака сегментације и класификације и одабира одговарајуће готове алатке (Целлпосе, СтарДист, МегаДетецтор) за сваки
- Могућност издвајања поузданих мерења из слика применом калибрације скале и ручне верификације
- Схватите потребу да се предвиђања ниске поузданости усмере на валидацију људи и потврдите модел ван дистрибуције обуке.
Биологија је визуелна наука: ћелије под микроскопом, колоније у петријевој посуди, животиње у шумској камери, пеге болести на листу. Пребројавање, мерење и класификација ових слика некада је био досадан и субјективан задатак који је трајао сатима. Вештачка интелигенција, посебно дубоко учење (препознавање образаца са вишеслојним вештачким неуронским мрежама) засновани на моделима слика, убрзала је и стандардизовала овај рад. У овој јединици ћемо разговарати о томе како користити вештачку интелигенцију у анализи биолошке слике, готовим алатима и захтевима за валидацију.
Упозорење од почетка: модел може "препознати" ћелију или врсту, али може и погрешно препознати; људске очи и верификација стварних ознака су од суштинског значаја за критичне одлуке.
Две врсте задатака за приказ
- Сегментација: Раздвајање и бројање објеката (ћелија, језгара) на слици пиксел по пиксел. Примери алата: Целлпосе, СтарДист. „Колико ћелија има на овој слици микроскопа и колика је свака?“
- Класификација/детекција: Рећи шта је на слици или проналажење њене локације. Пример: препознавање врсте на фотографији замке камере (иНатуралист, МегаДетецтор), класификација да ли лист има болест или не.
Ова два задатка захтевају различите алате. Вештачка интелигенција (ЛЛМ) вам помаже да изаберете прави алат, напишете инсталациони и код за позивање и протумачите излаз.
Савет: У анализи слике, већину времена не морате да обучавате модел од нуле. Унапред обучени алати као што је Целлпосе раде директно на многим типовима ћелија. Прво испробајте готов алат; али потврдите резултат ручно на неколико слика.
Корак по корак: бројање ћелија на сликама микроскопа
- Припремите слике: Конзистентно увећање, осветљење; забележите формат датотеке (ТИФФ, итд.).
- Калибрација скале: Знајте колико микрометара по пикселу (неопходно за мерење величине).
- Изаберите алат за сегментацију: СтарДист ако је језгро бојење; Целлпосе за цитоплазму.
- Покрени: Испробајте алатку на слици.
- Проверите ручно: Упоредите ћелије које модел пронађе са стварном сликом; Број спојених/пропуштених ћелија.
- Серија: Ако је валидација задовољавајућа, примените на цео сет.
- Извештај: Број ћелија, дистрибуција величине; Начин и тачност документа.
Шаблони упита који се могу копирати
Улога: Ви сте асистент за анализу биослике. Задатак: Напишите Питхон код који сегментира и броји ћелије у микроскопској слици помоћу Целлпосе-а. Улаз: имаге.тиф, једноканални. Излаз: бројање ћелија и визуелизација маске. Дајте радни код са коментарима и оправдајте избор модела.
Како да потврдим свој резултат сегментације? Предложите метод и метрику (прецизност, опозив, Ф1) за упоређивање броја ћелија које је модел пронашао са узорком који сам ручно пребројао. Напишите и код.
Објасните ток рада МегаДетецтор-а за откривање животиња на мојим фотографијама замкама. Објасните уштеду времена и ризик од лажних негатива у елиминисању празних оквира.
Напишите код који претвара пиксел у микрометар са информацијама о скали и израчунава површину сваке ћелије у квадратним микрометрима. Калибрација: [Кс] пиксел = [И] микрометар.
Слаби промпт / Јаки промпт
Слабо: „Изброј ћелије на овој фотографији.“
Снажан: „Имам слику језгра обојену ДАПИ (ТИФФ, једноканални, 2048к2048, размера 0,32 µм/пиксел). Напишите код који сегментира и броји језгра са СтарДист-овим унапред обученим 2Д моделом, дајући површину сваког језгра са квадратним микрометром, а затим додајте ручне слике кода у 3 микрометра и затим избројите 3 слике. извештај о тачности“.
Разлика: Моћни промпт има тип слике, слику, резолуцију, размеру и шему верификације. Модел користи исправан алат и исправну скалу.
три мини кофера
Случај 1 — Конфлуентне ћелије: Ученик је избројао 400 ћелија на слици густог ткива помоћу Целлпосе-а; Када сам пребројао ручно, показало се да је 560. Модел је комбиновао ћелије које се додирују као једну ћелију. АИ је предложио подешавање параметра пречника ћелије и промену прага протока; Број се попео на 545. Лекција: подесите параметре према стварној слици.
Случај 2 — Конфузија врста: У еколошком пројекту, аутоматско препознавање врста је више пута означавало лисицу као „мачку“ на ноћним сликама. Модел је објаснио да слабо осветљење и неравнотежа у подацима о обуци могу изазвати ову грешку; Тим је проследио двосмислене ознаке људској валидацији. Поука: ако је оцена поузданости модела ниска, људска верификација је обавезна.
Случај 3 — Грешка у размери: Истраживач је пријавио површине ћелија у пикселима, али је заборавио да конвертује у микрометре; Резултат је био неспојив са литературом. Када је вештачка интелигенција додала корак калибрације, вредности су пале у разумном опсегу. Поука: конверзија физичких јединица је критична.
упоредни графикон
Куест
одговарајуће возило
метрика верификације
Сегментација језгра
СтарДист
Ф1 са ручним бројањем
Граница цитоплазме/ћелије
целлпосе
ИоУ (стопа преклапања)
Идентификација врста (дивље животиње)
МегаДетецтор/иНатуралист
Оцена поверења + људско одобрење
класификација болести
Посебно обучени модел
Матрица конфузије
Уобичајене грешке
- Пакетна обрада без ручне валидације: Проширивање грешке модела на читаве податке.
- Прескакање калибрације скале: Не претвара се јединица пиксела у физичку јединицу.
- Прихватање предвиђања са ниским оценама поверења: Не упућивање на неизвесне ситуације људима.
- Остављање параметара као подразумеваних: Не прилагођавање поставки као што је пречник ћелије на слику.
- Слика ван дистрибуције за обуку: Слепо коришћење модела у стању које никада није видео (различите боје, тип).
Опрез: Модели слика могу добро да раде на сликама сличним подацима за обуку, али неочекивано лоше под различитим условима (нова мрља, нова врста, другачији микроскоп). Када прелазите на нови скуп података, немојте веровати моделу без да га ручно потврдите на неколико слика. Људска сагласност је неопходна за одлуке са високим последицама, као што су очување врста или дијагноза.
Од сегментације до мерења: изван бројева
Бројање ћелија је често први корак; Интринзична вредност издваја мерења о сваком објекту. Десетине карактеристика по ћелији, као што су површина, периметар, заобљеност, интензитет флуоресценције (колико је маркер изражен), могу се израчунати из сегментационе маске. Функција регионпропс у библиотеци сцикит-имаге ради то. АИ пише код који издваја ова мерења и прелива резултате у табелу; такође можете да упоредите групе (нпр. „да ли су третиране ћелије мање од контролне?“).
Издвојите површину, периметар и просечни интензитет флуоресценције сваке ћелије из Целлпосе маске са сцикит-имаге регионпропс. Запишите резултат у ЦСВ; Упоредите контролну и третманску групу у оквиру дијаграма. Примените калибрацију скале (µм/пиксел).
Савет: Не заборавите да уклоните позадину када мерите густину; Некалибриране вредности интензитета зависе од подешавања микроскопа и упоредиве су не у апсолутним износима, већ у релативним вредностима између група узетих под истим условима.
Када тренирати модел: мало података, пажљиво означавање
Понекад готови алати нису довољни и морате да обучите сопствени модел класификације (нпр. специфични симптом болести). Овде се издвајају две замке. Први је цурење података: слике исте особе/узорка укључене у скупове за обуку и тестове чине да модел делује успешније него што јесте; извршите поделу на индивидуалном нивоу. Друга је неуравнотежена класа: ако је узорака пацијената мало, модел показује високу тачност говорећи „увек здрав“, али је бескористан; Погледајте матрицу осетљивости (присећања) и конфузије уместо тачности. АИ пише овај код за обуку, али ваш је посао да се крећете кроз ове методолошке замке.
Квалитет слике и претходна обрада
Успех модела екрана директно зависи од квалитета слике коју дајете. Слике које су ван фокуса, преекспониране, ниског контраста или снимљене при различитим увећањима збуниће чак и најбољи модел. Зато једноставни кораци претходне обраде пре сегментације често значајно побољшавају резултат: корекција позадине (уклањање дисбаланса осветљења), нормализација контраста и смањење шума. АИ пише овај код за претходну обраду (са сцикит-имаге-ом или ОпенЦВ-ом); Али ви одлучујете која је корекција неопходна гледајући слику. Прекомерна претходна обрада је такође опасна: превише „чишћење“ слике може избрисати стварну биолошку структуру и претворити се у улепшавање података. Правило је следеће: претходну обраду треба применити на све слике на исти, унапред дефинисани начин, а не селективно једну по једну ради улепшавања резултата.
Примените стандардну претходну обраду на моје слике у микроскопу пре сегментације: корекција позадине, нормализација контраста, благо смањење шума. Примените исте параметре на СВЕ слике (не селективно). Прикажи пре/после поређења. Користите сцикит-имаге.
Укратко
Вештачка интелигенција штеди много времена у анализи биолошке слике (сегментација ћелија, откривање врста/болести). Стандардни алати као што су Целлпосе, СтарДист, МегаДетецтор решавају већину задатака без обуке од нуле. Међутим, резултат се мора верификовати ручно, скала мора бити калибрисана, а ниске оцене поузданости морају бити усмерене на људе. Модел је непоуздан ван дистрибуције обуке; Потврда је неопходна када прелазите на нове податке.
Задатак апликације
Направите микроскопску слику (или узорак података). Нека вештачка интелигенција напише и покрене код који сегментира и броји ћелије помоћу Целлпосе или СтарДист-а. Упоредите ручно бројећи ћелије које модел пронађе на најмање једној слици; Запазите колико ћелија је пропуштено/спојено. Пријавите површине ћелија у квадратним микрометрима додавањем калибрације скале.
контролна листа
- [ ] Додао сам тип слике, слику и резолуцију у упит.
- [ ] Применио сам калибрацију скале (пиксел-микрометар).
- [ ] Ручно сам проверио резултат на најмање једној слици.
- [ ] Подесио сам параметре сегментације према слици.
- [ ] Проследио сам предвиђања са ниским оценама поузданости људској валидацији.
- [ ] Нисам веровао моделу а да га нисам потврдио у новом скупу података.