Прибуток:
- Можливість розділяти завдання сегментації та класифікації та вибирати відповідний готовий інструмент (Cellpose, StarDist, MegaDetector) для кожного
- Можливість отримувати надійні вимірювання із зображень за допомогою калібрування масштабу та ручної перевірки
- Зрозумійте необхідність направляти прогнози з низьким показником достовірності на перевірку людиною та підтверджувати модель поза навчальним розподілом.
Біологія — це візуальна наука: клітини під мікроскопом, колонії в чашці Петрі, тварини в лісовій камері, плями хвороб на листі. Раніше підрахунок, вимірювання та класифікація цих зображень були виснажливим і суб’єктивним завданням, яке займало години. Штучний інтелект, особливо моделі зображень на основі глибокого навчання (розпізнавання образів за допомогою багатошарових штучних нейронних мереж), прискорили та стандартизували цю роботу. У цьому розділі ми обговоримо, як використовувати штучний інтелект для аналізу біологічних зображень, готові інструменти та вимоги до перевірки.
Попередження з самого початку: модель може «розпізнати» клітину або вид, але вона також може розпізнати неправильно; людське око та перевірка реальної етикетки важливі для прийняття важливих рішень.
Два типи завдань відображення
- Сегментація: Розділення та підрахунок об’єктів (клітин, ядер) на зображенні піксель за пікселем. Приклади інструментів: Cellpose, StarDist. «Скільки клітин на цьому зображенні під мікроскопом і яка кожна?»
- Класифікація/виявлення: визначення того, що зображено на зображенні, або визначення його місцезнаходження. Приклад: розпізнавання виду на фотографії фотокамери (iNaturalist, MegaDetector), класифікація того, чи є листок хворим чи ні.
Ці два завдання потребують різних інструментів. Штучний інтелект (LLM) допомагає вибрати правильний інструмент, написати код встановлення та виклику та інтерпретувати вихідні дані.
Порада: під час аналізу зображень у більшості випадків не потрібно навчати модель з нуля. Попередньо навчені інструменти, такі як Cellpose, працюють безпосередньо на багатьох типах клітин. Спочатку спробуйте готовий засіб; але підтвердіть результат вручну на кількох зображеннях.
Крок за кроком: підрахунок клітин на мікроскопічних зображеннях
- Підготуйте зображення: Послідовне збільшення, освітлення; зверніть увагу на формат файлу (TIFF тощо).
- Калібрування масштабу: дізнайтеся, скільки мікрометрів на піксель (необхідно для вимірювання розміру).
- Виберіть інструмент сегментації: StarDist, якщо фарбування ядра; Cellpose для цитоплазми.
- Запуск: спробуйте інструмент на зображенні.
- Перевірте вручну: порівняйте клітинки, знайдені моделлю, із фактичним зображенням; Підрахувати об'єднані/пропущені клітинки.
- Пакет: якщо перевірка задовільна, застосовуйте до всього набору.
- Звіт: кількість комірок, розподіл розмірів; Спосіб документування та точність.
Шаблони підказок, які можна копіювати
Роль: Ви асистент аналізу біозображень. Завдання: написати код Python, який сегментує та підраховує клітини на зображенні мікроскопа за допомогою Cellpose. Вхід: image.tif, одноканальний. Результат: підрахунок клітин і візуалізація маски. Наведіть робочий код із коментарями та обґрунтуйте вибір моделі.
Як перевірити результат сегментації? Запропонуйте метод і показник (точність, відкликання, F1), щоб порівняти кількість клітинок, знайдених моделлю, із зразком, який я підрахував вручну. Також напишіть код.
Поясніть робочий процес MegaDetector для виявлення тварин на моїх фотопастках. Поясніть економію часу та ризик хибних негативів при видаленні порожніх кадрів.
Напишіть код, який перетворює піксель на мікрометр із інформацією про шкалу та обчислює площу кожної комірки в квадратних мікрометрах. Калібрування: [X] піксель = [Y] мікрометр.
Слабка підказка / Сильна підказка
Слабкий: «Порахуйте клітинки на цій фотографії».
Сильно: «У мене є зображення ядер, забарвлене DAPI (TIFF, одноканальний, 2048x2048, масштаб 0,32 мкм/піксель). Напишіть код, який сегментує та підраховує ядра за допомогою попередньо навченої 2D-моделі StarDist, вказуючи площу кожного ядра в квадратних мікрометрах. Потім додайте код, який порівнює з ручним підрахунком у 3 зображеннях і створює звіт про точність».
Відмінність: потужна підказка має тип зображення, малювання, роздільну здатність, масштаб і схему перевірки. Модель використовує правильний інструмент і правильний масштаб.
три міні-чохла
Випадок 1 — Конфлюентні клітини: студент підрахував 400 клітин на зображенні щільної тканини за допомогою Cellpose; Коли я порахував вручну, вийшло 560. Модель об’єднала клітини, які торкалися одна одної, в одну клітинку. ШІ запропонував налаштувати параметр діаметра осередку і змінити поріг потоку; Кількість зросла до 545. Урок: налаштуйте параметри відповідно до реального зображення.
Випадок 2. Плутанина видів: в екологічному проекті автоматичне розпізнавання видів неодноразово позначало лисицю як «кішку» на нічних зображеннях. Модель пояснила, що слабке освітлення та дисбаланс даних навчання можуть спричинити цю помилку; Команда направила неоднозначні теги на перевірку людиною. Урок: якщо показник надійності моделі низький, перевірка людиною є обов’язковою.
Випадок 3 — Помилка масштабу: дослідник повідомив про площі клітинок у пікселях, але забув перетворити їх у мікрометри; Результат виявився несумісним з літературою. Коли штучний інтелект додав етап калібрування, значення потрапили в розумний діапазон. Урок: перетворення фізичних одиниць є критичним.
порівняльна таблиця
Квест
відповідний транспортний засіб
метрика перевірки
Сегментація ядра
StarDist
F1 з ручним підрахунком
Межа цитоплазма/клітина
cellose
IoU (швидкість перекриття)
Ідентифікація видів (дика природа)
МегаДетектор/iNaturalist
Оцінка довіри + схвалення людини
класифікація захворювання
Спеціально навчена модель
Матриця плутанини
Поширені помилки
- Пакетна обробка без перевірки вручну: поширення помилки моделі на всі дані.
- Пропуск калібрування масштабу: піксель не перетворюється на фізичну одиницю.
- Прийняття прогнозів із низькими оцінками достовірності: не передавання невизначених ситуацій людям.
- Залишити параметри за замовчуванням: не адаптувати такі параметри, як діаметр комірки, до зображення.
- Зображення поза розповсюдженням навчання: використання моделі наосліп у стані, якого вона ніколи не бачила (інший колір, тип).
Застереження: моделі зображень можуть добре працювати на зображеннях, подібних до навчальних даних, але неочікувано погано за інших умов (нова пляма, нові види, інший мікроскоп). Переходячи до нового набору даних, не довіряйте моделі, не перевіривши її вручну на кількох зображеннях. Згода людини необхідна для прийняття серйозних рішень, таких як збереження видів або діагностика.
Від сегментації до вимірювання: понад цифри
Підрахунок клітин часто є першим кроком; Внутрішня вартість витягує вимірювання кожного об’єкта. За допомогою маски сегментації можна обчислити десятки характеристик на комірку, таких як площа, периметр, округлість, інтенсивність флуоресценції (наскільки виражений маркер). Це робить функція regionprops у бібліотеці scikit-image. AI пише код, який витягує ці вимірювання та зливає результати в таблицю; ви також можете порівнювати групи (наприклад, «чи оброблені клітини менші за контрольні?»).
Витягніть площу, периметр і середню інтенсивність флуоресценції кожної клітини з маски Cellpose за допомогою scikit-image regionprops. Записати результат у CSV; Порівняйте контрольну та лікувальну групи на діаграмі. Застосуйте калібрування масштабу (мкм/піксель).
Порада: не забудьте видалити фон під час вимірювання щільності; Некалібровані значення інтенсивності залежать від налаштувань мікроскопа і порівнюються не в абсолютному, а у відносному вираженні між групами, взятими в однакових умовах.
Коли тренувати модель: мало даних, ретельне маркування
Іноді стандартних інструментів недостатньо, і вам потрібно навчити власну модель класифікації (наприклад, конкретний симптом захворювання). Тут виділяються дві пастки. По-перше, це витік даних: зображення одного і того ж індивідуума/зразка, включені як у навчальний, так і в тестовий набори, роблять модель більш успішною, ніж вона є; виконайте поділ на індивідуальному рівні. Другий — незбалансований клас: якщо зразків пацієнтів небагато, модель показує високу точність, кажучи «завжди здоровий», але марна; Подивіться на матрицю чутливості (запам'ятовування) і плутанини замість точності. ШІ пише цей навчальний код, але ваша робота — розібратися в цих методологічних пастках.
Якість зображення та попередня обробка
Успіх моделі дисплея безпосередньо залежить від якості наданого вами зображення. Зображення, які не у фокусі, перетримані, низькоконтрастні або зроблені з різним збільшенням, заплутають навіть найкращу модель. Тому прості етапи попередньої обробки перед сегментацією часто значно покращують результат: корекція фону (усунення дисбалансу освітлення), нормалізація контрасту та зменшення шуму. AI пише цей код попередньої обробки (за допомогою scikit-image або OpenCV); Але ви вирішуєте, яка корекція потрібна, дивлячись на зображення. Надмірна попередня обробка також небезпечна: надмірне «очищення» зображення може стерти фактичну біологічну структуру та перетворитися на прикрашання даних. Правило таке: попередню обробку слід застосовувати до всіх зображень однаковим, заздалегідь визначеним способом, а не робити вибірково одне за іншим, щоб прикрашати результат.
Застосувати стандартну попередню обробку зображень мого мікроскопа перед сегментацією: корекція фону, нормалізація контрасту, незначне зменшення шуму. Застосуйте однакові параметри до ВСІХ зображень (не вибірково). Показати до/після порівняння. Використовуйте scikit-image.
Підсумовуючи
Штучний інтелект економить багато часу при аналізі біологічних зображень (сегментація клітин, виявлення видів/хвороб). Готові інструменти, такі як Cellpose, StarDist, MegaDetector, вирішують більшість завдань без навчання з нуля. Однак результат має бути перевірений вручну, шкала має бути відкалібрована, а низькі показники достовірності мають бути спрямовані на людей. Модель ненадійна поза розподілом навчання; Підтвердження є важливим при переході до нових даних.
Аплікаційне завдання
Зробіть мікроскопічне зображення (або дані зразка). Нехай штучний інтелект напише та запустить код, який сегментує та підраховує клітинки за допомогою Cellpose або StarDist. Порівняйте вручну клітини, які модель знаходить принаймні на одному зображенні; Зверніть увагу, скільки клітинок було пропущено/об’єднано. Повідомте про площі клітинок у квадратних мікрометрах, додавши калібрування масштабу.
контрольний список
- [ ] Я додав тип зображення, малювання та роздільну здатність до підказки.
- [ ] Я застосував калібрування масштабу (піксель-мікрометр).
- [ ] Я вручну перевірив результат принаймні на одному зображенні.
- [ ] Я встановлюю параметри сегментації відповідно до зображення.
- [ ] Я переслав прогнози з низькими показниками достовірності на перевірку людиною.
- [ ] Я не довіряв моделі, не підтвердивши це в новому наборі даних.