Zyski:
- Możliwość rozdzielenia zadań segmentacji i klasyfikacji oraz dobrania dla każdego odpowiedniego, gotowego narzędzia (Cellpose, StarDist, MegaDetector)
- Możliwość wyodrębnienia wiarygodnych pomiarów z obrazów poprzez zastosowanie kalibracji skali i ręcznej weryfikacji
- Zrozumienie potrzeby skierowania przewidywań o niskim poziomie ufności do weryfikacji przez człowieka i potwierdzenia modelu poza dystrybucją szkoleniową.
Biologia to nauka wizualna: komórki pod mikroskopem, kolonie na szalce Petriego, zwierzęta w leśnej kamerze, plamy chorobowe na liściu. Liczenie, mierzenie i klasyfikowanie tych obrazów było kiedyś żmudnym i subiektywnym zadaniem, które zajmowało wiele godzin. Sztuczna inteligencja, zwłaszcza głębokie uczenie się (rozpoznawanie wzorców za pomocą wielowarstwowych sztucznych sieci neuronowych), modele obrazu oparte na modelach obrazu, przyspieszyły i ustandaryzowały tę pracę. W tym module omówimy wykorzystanie sztucznej inteligencji w analizie obrazu biologicznego, gotowe narzędzia i wymagania walidacyjne.
Ostrzeżenie od początku: model może „rozpoznać” komórkę lub gatunek, ale może też rozpoznać błędnie; ludzkie oczy i weryfikacja na prawdziwej etykiecie są niezbędne do podejmowania kluczowych decyzji.
Dwa typy zadań wyświetlania
- Segmentacja: Rozdzielanie i zliczanie obiektów (komórek, jąder) na obrazie piksel po pikselu. Przykładowe narzędzia: Cellpose, StarDist. „Ile komórek znajduje się na tym obrazie mikroskopowym i jak duża jest każda z nich?”
- Klasyfikacja/wykrywanie: Informowanie, co znajduje się na obrazie lub ustalanie jego lokalizacji. Przykład: rozpoznanie gatunku na zdjęciu wykonanym przez kamerę pułapkę (iNaturalist, MegaDetector), klasyfikacja, czy liść jest chory, czy nie.
Te dwa zadania wymagają różnych narzędzi. Sztuczna inteligencja (LLM) pomaga wybrać odpowiednie narzędzie, napisać kod instalacyjny i wywoławczy oraz zinterpretować dane wyjściowe.
Wskazówka: w analizie obrazu w większości przypadków nie trzeba uczyć modelu od zera. Wstępnie wyszkolone narzędzia, takie jak Cellpose, działają bezpośrednio na wielu typach komórek. Wypróbuj najpierw gotowe narzędzie; ale potwierdź wynik ręcznie na kilku obrazach.
Krok po kroku: liczenie komórek na obrazach mikroskopowych
- Przygotuj obrazy: Stałe powiększenie, oświetlenie; zwróć uwagę na format pliku (TIFF itp.).
- Kalibracja skali: Dowiedz się, ile mikrometrów przypada na piksel (niezbędne do pomiaru rozmiaru).
- Wybierz narzędzie segmentacji: StarDist w przypadku barwienia rdzenia; Cellpose dla cytoplazmy.
- Uruchom: wypróbuj narzędzie na obrazie.
- Weryfikacja ręczna: Porównaj komórki znalezione przez model z rzeczywistym obrazem; Policz połączone/pominięte komórki.
- Partia: Jeśli walidacja jest zadowalająca, zastosować do całego zestawu.
- Raport: Liczba komórek, rozkład wielkości; Sposób dokumentowania i dokładność.
Kopiowalne szablony podpowiedzi
Rola: Jesteś asystentem analizy bioobrazu. Zadanie: Napisz kod w Pythonie, który segmentuje i zlicza komórki na obrazie mikroskopowym za pomocą Cellpose. Wejście: image.tif, pojedynczy kanał. Wynik: liczba komórek i wizualizacja maski. Podaj działający kod z komentarzami i uzasadnij wybór modelu.
Jak sprawdzić wyniki segmentacji? Zaproponuj metodę i metrykę (precyzja, przywołanie, F1), aby porównać liczbę komórek znalezionych przez model z próbką, którą policzyłem ręcznie. Napisz też kod.
Wyjaśnij przebieg pracy MegaDetectora przy wykrywaniu zwierząt na zdjęciach z fotopułapki. Wyjaśnij oszczędność czasu i ryzyko fałszywych negatywów przy eliminowaniu pustych klatek.
Napisz kod, który dokona konwersji piksela na mikrometr z wykorzystaniem informacji ze słupka skali i obliczy obszar każdej komórki w mikrometrach kwadratowych. Kalibracja: [X] piksel = [Y] mikrometr.
Słaba zachęta/silna zachęta
Słabe: „Policz komórki na tym zdjęciu”.
Strong: „Mam obraz jądra wybarwiony metodą DAPI (TIFF, pojedynczy kanał, 2048x2048, skala 0,32 µm/piksel). Napisz kod, który segmentuje i zlicza jądra za pomocą wstępnie wytrenowanego modelu 2D StarDist, podając powierzchnię każdego jądra w mikrometrach kwadratowych. Następnie dodaj kod, który porównuje z ręcznym zliczaniem na 3 obrazach i tworzy raport dokładności.”
Różnica: Potężny monit zawiera typ obrazu, obraz, rozdzielczość, skalę i schemat weryfikacji. Model wykorzystuje właściwe narzędzie i właściwą skalę.
trzy mini etui
Przypadek 1 — Komórki zlewające się: Student policzył 400 komórek na obrazie gęstej tkanki za pomocą programu Cellpose; Kiedy policzyłem ręcznie, okazało się, że jest to 560. Model połączył stykające się ze sobą komórki w jedną komórkę. AI zasugerowała dostosowanie parametru średnicy ogniwa i zmianę progu przepływu; Liczba wzrosła do 545. Lekcja: dostosuj parametry do rzeczywistego obrazu.
Przypadek 2 — Pomieszanie gatunków: W ramach projektu ekologicznego automatyczne rozpoznawanie gatunków wielokrotnie oznaczało lisa jako „kota” na zdjęciach nocnych. Model wyjaśnił, że przyczyną tego błędu może być słabe oświetlenie i brak równowagi w danych uczących; Zespół przekazał niejednoznaczne znaczniki do weryfikacji przez człowieka. Lekcja: jeśli poziom pewności modelu jest niski, weryfikacja przez człowieka jest obowiązkowa.
Przypadek 3 – Błąd skali: Badacz podał obszary komórek w pikselach, ale zapomniał przeliczyć je na mikrometry; Wynik był niezgodny z literaturą. Kiedy sztuczna inteligencja dodała krok kalibracji, wartości mieściły się w rozsądnym zakresie. Lekcja: konwersja jednostek fizycznych ma kluczowe znaczenie.
tabela porównawcza
Zadanie
odpowiedni pojazd
metryka weryfikacji
Segmentacja rdzenia
Odległ.Gwiazd
F1 z ręcznym zliczaniem
Granica cytoplazma/komórka
pozycja komórkowa
IoU (współczynnik nakładania się)
Identyfikacja gatunku (dzika przyroda)
MegaDetector/iNaturalist
Wynik zaufania + akceptacja człowieka
klasyfikacja chorób
Specjalnie przeszkolony model
Matryca zamieszania
Typowe błędy
- Przetwarzanie wsadowe bez ręcznej walidacji: propagowanie błędu modelu na całe dane.
- Pomijanie kalibracji skali: Brak konwersji jednostki piksela na jednostkę fizyczną.
- Akceptowanie przewidywań o niskim wskaźniku pewności: Nieodnoszenie niepewnych sytuacji do ludzi.
- Pozostawienie parametrów domyślnych: Brak dostosowania ustawień, takich jak średnica komórki, do obrazu.
- Zdjęcie poza dystrybucją treningową: Używanie na ślepo modelu w stanie jakiego nigdy nie widział (inna kolorystyka, typ).
Uwaga: modele obrazów mogą działać dobrze na obrazach podobnych do danych szkoleniowych, ale nieoczekiwanie słabo w innych warunkach (nowe plamienie, nowy gatunek, inny mikroskop). Przechodząc do nowego zestawu danych, nie ufaj modelowi bez ręcznej walidacji go na kilku obrazach. Zgoda człowieka jest niezbędna do podejmowania decyzji o poważnych konsekwencjach, takich jak ochrona gatunków lub diagnoza.
Od segmentacji do pomiaru: poza liczbami
Liczenie komórek jest często pierwszym krokiem; Wartość wewnętrzna wyodrębnia pomiary dotyczące każdego obiektu. Dziesiątki cech na komórkę, takich jak powierzchnia, obwód, okrągłość, intensywność fluorescencji (stopień ekspresji markera) można obliczyć z maski segmentacji. Robi to funkcja regionprops w bibliotece scikit-image. Sztuczna inteligencja pisze kod, który wyodrębnia te pomiary i wlewa wyniki do tabeli; możesz także porównywać grupy (np. „czy komórki traktowane są mniejsze niż komórki kontrolne?”).
Wyodrębnij obszar, obwód i średnią intensywność fluorescencji każdej komórki z maski Cellpose za pomocą rekwizytów regionu obrazu scikit. Zapisz wynik w pliku CSV; Porównaj grupę kontrolną i grupę terapeutyczną na wykresie pudełkowym. Zastosuj kalibrację skali (µm/piksel).
Wskazówka: nie zapomnij usunąć tła podczas pomiaru gęstości; Nieskalibrowane wartości intensywności zależą od ustawienia mikroskopu i są porównywalne nie w wartościach bezwzględnych, ale w wartościach względnych pomiędzy grupami zebranymi w tych samych warunkach.
Kiedy trenować model: mało danych, ostrożne etykietowanie
Czasami gotowe narzędzia nie wystarczą i trzeba wytrenować własny model klasyfikacji (np. konkretny objaw chorobowy). Wyróżniają się tu dwie pułapki. Pierwszym z nich jest wyciek danych: obrazy tej samej osoby/próbki zawarte zarówno w zbiorze uczącym, jak i testowym sprawiają, że model wydaje się bardziej skuteczny, niż jest w rzeczywistości; dokonaj podziału na poziomie indywidualnym. Druga to klasa niezrównoważona: jeśli próbek pacjentów jest niewiele, model wykazuje dużą dokładność, mówiąc „zawsze zdrowy”, ale jest bezużyteczny; Zamiast na dokładność, spójrz na czułość (przypomnienie) i matrycę zamieszania. AI pisze ten kod szkoleniowy, ale Twoim zadaniem jest ominięcie tych metodologicznych pułapek.
Jakość obrazu i obróbka wstępna
Sukces modelu wyświetlacza zależy bezpośrednio od jakości dostarczonego obrazu. Zdjęcia nieostre, prześwietlone, o niskim kontraście lub wykonane przy różnych powiększeniach wprawią w zakłopotanie nawet najlepszego modela. Dlatego proste etapy wstępnego przetwarzania przed segmentacją często znacznie poprawiają wynik: korekta tła (usuwanie nierównowagi oświetlenia), normalizacja kontrastu i redukcja szumów. Sztuczna inteligencja zapisuje ten kod przetwarzania wstępnego (za pomocą obrazu scikit lub OpenCV); Ale o tym, jaka korekta jest konieczna, decydujesz, patrząc na obraz. Nadmierne przetwarzanie wstępne jest również niebezpieczne: zbytnie czyszczenie obrazu może spowodować wymazanie rzeczywistej struktury biologicznej i upiększenie danych. Zasada jest taka: obróbkę wstępną należy zastosować do wszystkich obrazów w ten sam, z góry określony sposób, a nie przeprowadzać je selektywnie, jeden po drugim, aby upiększyć wynik.
Zastosuj standardowe przetwarzanie wstępne do obrazów z mojego mikroskopu przed segmentacją: korekta tła, normalizacja kontrastu, niewielka redukcja szumów. Zastosuj te same parametry do WSZYSTKICH obrazów (nie wybiórczo). Pokaż porównanie przed/po. Użyj obrazu-scikit.
Podsumowując
Sztuczna inteligencja pozwala zaoszczędzić dużo czasu przy biologicznej analizie obrazu (segmentacja komórek, wykrywanie gatunków/chorób). Gotowe narzędzia, takie jak Cellpose, StarDist, MegaDetector, rozwiązują większość zadań bez szkolenia od zera. Jednakże wynik należy zweryfikować ręcznie, skalę należy skalibrować, a wyniki o niskim poziomie wiarygodności należy odnieść do ludzi. Model jest zawodny poza dystrybucją szkoleń; Potwierdzenie jest niezbędne w przypadku przejścia na nowe dane.
Zadanie aplikacji
Zrób zdjęcie mikroskopowe (lub przykładowe dane). Niech sztuczna inteligencja napisze i uruchomi kod, który segmentuje i zlicza komórki za pomocą Cellpose lub StarDist. Porównaj, licząc ręcznie komórki znalezione przez model na co najmniej jednym obrazie; Zwróć uwagę, ile komórek zostało pominiętych/połączonych. Podawaj obszary komórek w mikrometrach kwadratowych, dodając kalibrację skali.
lista kontrolna
- [ ] Dodałem typ obrazu, obraz i rozdzielczość do podpowiedzi.
- [ ] Zastosowałem kalibrację skali (piksel-mikrometr).
- [ ] Ręcznie zweryfikowałem wynik na co najmniej jednym obrazie.
- [ ] Ustawiam parametry segmentacji zgodnie z obrazem.
- [ ] Przekazałem przewidywania o niskim poziomie ufności do weryfikacji przez ludzi.
- [ ] Nie zaufałem modelowi bez potwierdzenia go w nowym zbiorze danych.