Печалби:
- Възможност за разделяне на задачите за сегментиране и класифициране и избор на подходящия готов инструмент (Cellpose, StarDist, MegaDetector) за всяка
- Възможност за извличане на надеждни измервания от изображения чрез прилагане на калибриране на мащаба и ръчна проверка
- Разберете необходимостта от насочване на прогнозите за резултат с ниска степен на достоверност към валидиране от хора и потвърждаване на модела извън разпространението на обучението.
Биологията е визуална наука: клетки под микроскоп, колонии в петриево блюдо, животни в горска камера, болестни петна по листа. Преброяването, измерването и класифицирането на тези изображения беше досадна и субективна задача, която отнемаше часове. Изкуственият интелект, особено дълбокото обучение (разпознаване на образи с многослойни изкуствени невронни мрежи), базирани на модели на изображения, ускори и стандартизира тази работа. В тази част ще обсъдим как да използваме изкуствения интелект при анализ на биологични изображения, готови инструменти и изисквания за валидиране.
Предупреждение от самото начало: моделът може да "разпознае" клетка или вид, но може също да разпознае погрешно; човешките очи и проверката на реалния етикет са от съществено значение за критични решения.
Два вида задачи за показване
- Сегментиране: Разделяне и преброяване на обекти (клетки, ядра) в изображението пиксел по пиксел. Примерни инструменти: Cellpose, StarDist. „Колко клетки има в това изображение от микроскоп и колко голяма е всяка?“
- Класификация/откриване: Казване какво има в изображението или намиране на местоположението му. Пример: разпознаване на вида в снимка на фотоапарат (iNaturalist, MegaDetector), класифициране дали листът има заболяване или не.
Тези две задачи изискват различни инструменти. Изкуственият интелект (LLM) ви помага да изберете правилния инструмент, да напишете кода за инсталиране и извикване и да интерпретирате изхода.
Съвет: При анализа на изображения през повечето време не е необходимо да обучавате модел от нулата. Предварително обучени инструменти като Cellpose работят директно върху много типове клетки. Първо опитайте готовия инструмент; но потвърдете резултата ръчно в няколко изображения.
Стъпка по стъпка: преброяване на клетки на микроскопски изображения
- Подгответе изображения: Постоянно увеличение, осветяване; обърнете внимание на файловия формат (TIFF и др.).
- Калибриране на мащаба: Знайте колко микрометра на пиксел (съществено за измерване на размера).
- Изберете инструмент за сегментиране: StarDist при оцветяване на ядрото; Cellpose за цитоплазма.
- Изпълнение: Опитайте инструмента върху изображение.
- Проверете ръчно: Сравнете клетките, които моделът намира, с действителното изображение; Преброяване на обединени/пропуснати клетки.
- Партида: Ако валидирането е задоволително, приложете към целия комплект.
- Отчет: Брой клетки, разпределение по размер; Метод и точност на документи.
Копируеми шаблони за подкана
Роля: Вие сте асистентът за анализ на биоизображения. Задача: Напишете код на Python, който сегментира и брои клетки в изображение на микроскоп с Cellpose. Вход: image.tif, един канал. Резултат: брой клетки и визуализация на маската. Дайте работещ код с коментари и обосновете избора на модел.
Как да потвърдя своя резултат от сегментирането? Предложете метод и показател (прецизност, припомняне, F1) за сравняване на броя клетки, открити от модела, с пробата, която преброих ръчно. Напишете и код.
Обяснете работния процес на MegaDetector за откриване на животни в моите снимки на капана на камерата. Обяснете спестяването на време и риска от фалшиви негативи при елиминиране на празни кадри.
Напишете код, който прави преобразуване от пиксел в микрометър с информация за мащабната лента и изчислява площта на всяка клетка в квадратни микрометри. Калибриране: [X] пиксел = [Y] микрометър.
Слаба подкана / Силна подкана
Слаб: „Пребройте клетките на тази снимка.“
Силно: „Имам изображение на ядра, оцветени с DAPI (TIFF, единичен канал, 2048x2048, мащаб 0,32 µm/пиксел). Напишете код, който сегментира и брои ядра с предварително обучен 2D модел на StarDist, давайки площта на всяко ядро в квадратни микрометри. След това добавете код, който сравнява с ръчно преброяване в 3 изображения и произвежда доклад за точност."
Разлика: Мощната подкана има тип изображение, рисуване, разделителна способност, мащаб и схема за проверка. Моделът използва правилния инструмент и правилния мащаб.
три мини калъфа
Случай 1 — Конфлуентни клетки: ученик преброи 400 клетки в изображение на плътна тъкан с Cellpose; Когато преброих на ръка, се оказа, че са 560. Моделът комбинира допиращите се една в друга клетки като една клетка. AI предложи регулиране на параметъра на диаметъра на клетката и промяна на прага на потока; Броят се увеличи до 545. Урок: коригирайте параметрите според реалното изображение.
Случай 2 — Объркване на видовете: В екологичен проект автоматичното разпознаване на видове многократно маркира лисица като „котка“ в нощни изображения. Моделът обясни, че слабата светлина и дисбалансът в данните за обучението могат да причинят тази грешка; Екипът препрати двусмислените тагове към човешка проверка. Поука: ако резултатът за доверие на модела е нисък, човешката проверка е задължителна.
Случай 3 — Грешка в мащаба: Изследовател докладва клетъчните площи в пиксели, но забравя да конвертира в микрометри; Резултатът беше несъвместим с литературата. Когато изкуственият интелект добави стъпката на калибриране, стойностите паднаха в разумен диапазон. Урок: преобразуването на физически единици е критично.
сравнителна диаграма
Мисия
подходящо превозно средство
показател за проверка
Основна сегментация
StarDist
F1 с ръчно броене
Цитоплазма/клетъчна граница
клетъчна поза
IoU (степен на припокриване)
Идентификация на вида (дива природа)
MegaDetector/iNaturalist
Оценка на доверие + човешко одобрение
класификация на болестта
Специално обучен модел
Матрица на объркването
Често срещани грешки
- Пакетна обработка без ръчно валидиране: Разпространяване на грешката на модела в цялата информация.
- Пропускане на калибрирането на мащаба: Не се преобразува пикселна единица във физическа единица.
- Приемане на прогнози с ниска степен на достоверност: Неотнасяне на несигурни ситуации към хората.
- Оставяне на параметрите по подразбиране: Не се адаптират настройки като диаметър на клетката към изображението.
- Изображение извън разпространението на обучението: Сляпо използване на модела в състояние, което никога не е виждал (различен цвят, тип).
Внимание: Моделите на изображения може да се представят добре на изображения, подобни на данните за обучение, но неочаквано лошо при различни условия (ново петно, нови видове, различен микроскоп). Когато преминавате към нов набор от данни, не се доверявайте на модела, без да го потвърдите ръчно на няколко изображения. Човешкото съгласие е от съществено значение за решения с големи последствия като опазване на видове или диагностика.
От сегментиране до измерване: отвъд числата
Броенето на клетки често е първата стъпка; Вътрешната стойност извлича измервания за всеки обект. Десетки характеристики на клетка, като площ, периметър, закръгленост, интензитет на флуоресценция (колко е изразен маркер), могат да бъдат изчислени от маска за сегментиране. Функцията regionprops в библиотеката scikit-image прави това. AI пише код, който извлича тези измервания и излива резултатите в таблица; можете също да сравнявате групи (напр. „третираните клетки по-малки ли са от контролните?“).
Извлечете площта, периметъра и средния интензитет на флуоресценция на всяка клетка от маската Cellpose с scikit-image regionprops. Запишете резултата в CSV; Сравнете контролните и третираните групи в диаграмата в кутията. Приложете калибриране на мащаба (µm/пиксел).
Съвет: Не забравяйте да премахнете фона, когато измервате плътността; Стойностите на некалибриран интензитет зависят от настройката на микроскопа и са сравними не в абсолютно, а в относително изражение между групи, взети при едни и същи условия.
Кога да се обучи модел: малко данни, внимателно етикетиране
Понякога готовите инструменти не са достатъчни и трябва да обучите свой собствен класификационен модел (напр. специфичен симптом на заболяване). Тук се открояват два капана. Първият е изтичането на данни: изображенията на един и същ индивид/извадка, включени както в наборите за обучение, така и в тестовите набори, правят модела да изглежда по-успешен, отколкото е; направете разделението на индивидуално ниво. Вторият е небалансираният клас: ако пробите от пациенти са малко, моделът показва висока точност, като казва „винаги здрави“, но е безполезен; Погледнете матрицата за чувствителност (припомняне) и объркване вместо точност. AI пише този код за обучение, но вашата работа е да навигирате в тези методологични капани.
Качество на изображението и предварителна обработка
Успехът на един модел дисплей зависи пряко от качеството на изображението, което предоставяте. Изображения, които не са на фокус, преекспонирани, с нисък контраст или заснети с различни увеличения, ще объркат дори най-добрия модел. Ето защо лесните стъпки за предварителна обработка преди сегментирането често значително подобряват резултата: корекция на фона (премахване на дисбаланса на осветлението), нормализиране на контраста и намаляване на шума. AI пише този код за предварителна обработка (със scikit-image или OpenCV); Но вие решавате каква корекция е необходима, като гледате изображението. Прекомерната предварителна обработка също е опасна: прекаленото „почистване“ на изображение може да изтрие действителната биологична структура и да се превърне в разкрасяване на данните. Правилото е следното: предварителната обработка трябва да се прилага към всички изображения по един и същ, предварително дефиниран начин, а не да се прави избирателно едно по едно, за да се разкраси резултатът.
Приложете стандартна предварителна обработка към моите микроскопски изображения преди сегментиране: корекция на фона, нормализиране на контраста, леко намаляване на шума. Приложете едни и същи параметри към ВСИЧКИ изображения (не селективно). Показване преди/след сравнение. Използвайте scikit-image.
В обобщение
Изкуственият интелект спестява много време при анализ на биологични изображения (сегментиране на клетки, откриване на видове/заболявания). Готови инструменти като Cellpose, StarDist, MegaDetector решават повечето задачи без обучение от нулата. Резултатът обаче трябва да бъде проверен ръчно, скалата трябва да бъде калибрирана и резултатите с ниска степен на достоверност трябва да бъдат насочени към хората. Моделът е ненадежден извън разпределението на обучението; Потвърждението е от съществено значение при преминаване към нови данни.
Задача за приложение
Направете изображение с микроскоп (или примерни данни). Накарайте изкуствения интелект да напише и изпълни код, който сегментира и брои клетки с Cellpose или StarDist. Сравнете на ръка, като преброите клетките, които моделът намира в поне едно изображение; Забележете колко клетки са пропуснати/обединени. Докладвайте площите на клетките в квадратни микрометри чрез добавяне на калибриране на мащаба.
контролен списък
- [ ] Добавих типа на изображението, картината и разделителната способност към подканата.
- [ ] Приложих калибриране на мащаба (пиксел-микрометър).
- [ ] Проверих ръчно резултата на поне едно изображение.
- [ ] Задавам параметрите за сегментиране според изображението.
- [ ] Препратих прогнози с ниски резултати на достоверност към проверка от хора.
- [ ] Нямах доверие на модела, без да го потвърдя в новия набор от данни.