Lợi nhuận:
- Khả năng phân tách các nhiệm vụ phân đoạn và phân loại và chọn công cụ làm sẵn thích hợp (Cellpose, StarDist, MegaDetector) cho từng nhiệm vụ
- Khả năng trích xuất các phép đo đáng tin cậy từ hình ảnh bằng cách áp dụng hiệu chuẩn thang đo và xác minh thủ công
- Hiểu nhu cầu chuyển các dự đoán về điểm tin cậy thấp sang xác nhận của con người và xác nhận mô hình bên ngoài phân phối đào tạo.
Sinh học là một môn khoa học thị giác: tế bào dưới kính hiển vi, khuẩn lạc trong đĩa petri, động vật trong máy ảnh rừng, đốm bệnh trên lá. Việc đếm, đo và phân loại những hình ảnh này từng là một công việc tẻ nhạt và chủ quan, mất hàng giờ đồng hồ. Trí tuệ nhân tạo, đặc biệt là các mô hình hình ảnh dựa trên deep learning (nhận dạng mẫu bằng mạng lưới thần kinh nhân tạo nhiều lớp), đã đẩy nhanh và tiêu chuẩn hóa công việc này. Trong phần này, chúng ta sẽ thảo luận cách sử dụng trí tuệ nhân tạo trong phân tích hình ảnh sinh học, các công cụ làm sẵn và các yêu cầu xác nhận.
Cảnh báo ngay từ đầu: một mô hình có thể "nhận dạng" một tế bào hoặc một loài, nhưng nó cũng có thể nhận dạng sai; mắt người và xác minh nhãn thực là điều cần thiết cho các quyết định quan trọng.
Hai loại nhiệm vụ hiển thị
- Phân đoạn: Tách và đếm các đối tượng (ô, hạt nhân) trong pixel hình ảnh theo pixel. Các công cụ ví dụ: Cellpose, StarDist. “Có bao nhiêu tế bào trong hình ảnh kính hiển vi này và mỗi tế bào lớn bao nhiêu?”
- Phân loại/phát hiện: Cho biết nội dung trong hình ảnh hoặc tìm vị trí của nó. Ví dụ: nhận biết loài trong ảnh bẫy camera (iNaturalist, MegaDetector), phân loại lá có bệnh hay không.
Hai nhiệm vụ này yêu cầu các công cụ khác nhau. Trí tuệ nhân tạo (LLM) giúp bạn chọn công cụ phù hợp, viết mã cài đặt và lệnh gọi cũng như diễn giải kết quả.
Mẹo: Trong phân tích hình ảnh, hầu hết bạn không cần đào tạo mô hình từ đầu. Các công cụ được đào tạo trước như Cellpose hoạt động trực tiếp trên nhiều loại tế bào. Hãy thử công cụ sẵn sàng trước; nhưng hãy xác nhận kết quả theo cách thủ công trong một số hình ảnh.
Từng bước: đếm tế bào trên ảnh kính hiển vi
- Chuẩn bị hình ảnh: Độ phóng đại, độ sáng phù hợp; lưu ý định dạng tệp (TIFF, v.v.).
- Hiệu chỉnh tỷ lệ: Biết bao nhiêu micromet trên mỗi pixel (cần thiết để đo kích thước).
- Chọn công cụ phân đoạn: StarDist nếu nhuộm lõi; Cellpose cho tế bào chất.
- Chạy: Thử công cụ trên một hình ảnh.
- Xác minh thủ công: So sánh các ô mà mô hình tìm thấy với hình ảnh thực tế; Đếm các ô đã hợp nhất/bị bỏ sót.
- Lô: Nếu xác nhận đạt yêu cầu thì áp dụng cho toàn bộ.
- Báo cáo: Số lượng ô, phân bổ kích thước; Phương pháp ghi chép và độ chính xác.
Mẫu lời nhắc có thể sao chép
Vai trò: Bạn là trợ lý phân tích hình ảnh sinh học. Nhiệm vụ: Viết mã Python phân đoạn và đếm các ô trong ảnh kính hiển vi bằng Cellpose. Đầu vào: image.tif, kênh đơn. Đầu ra: số lượng tế bào và trực quan hóa mặt nạ. Đưa ra mã làm việc kèm theo nhận xét và chứng minh sự lựa chọn mô hình.
Làm cách nào để xác thực kết quả phân đoạn của tôi? Đề xuất một phương pháp và số liệu (độ chính xác, thu hồi, F1) để so sánh số lượng ô được mô hình tìm thấy với mẫu tôi đã đếm theo cách thủ công. Viết mã quá.
Giải thích quy trình làm việc của MegaDetector để phát hiện động vật trong ảnh bẫy máy ảnh của tôi. Giải thích việc tiết kiệm thời gian và nguy cơ âm tính giả khi loại bỏ các khung trống.
Viết mã thực hiện chuyển đổi pixel sang micromet với thông tin thanh tỷ lệ và tính diện tích của mỗi ô theo micromet vuông. Hiệu chuẩn: [X] pixel = [Y] micromet.
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: "Đếm các ô trong bức ảnh này."
Strong: "Tôi có hình ảnh hạt nhân được nhuộm màu DAPI (TIFF, kênh đơn, 2048x2048, tỷ lệ 0,32 µm/pixel). Viết mã phân đoạn và đếm hạt nhân bằng mô hình 2D được đào tạo trước của StarDist, đưa ra diện tích của mỗi hạt nhân tính bằng micromet vuông. Sau đó, thêm mã so sánh với việc đếm thủ công trong 3 hình ảnh và tạo ra báo cáo chính xác."
Sự khác biệt: Lời nhắc mạnh mẽ có loại hình ảnh, bức vẽ, độ phân giải, tỷ lệ và sơ đồ xác minh. Mô hình sử dụng đúng công cụ và đúng tỷ lệ.
ba trường hợp nhỏ
Trường hợp 1 - Các ô hợp lưu: Một học sinh đếm được 400 ô trong hình ảnh mô dày đặc bằng Cellpose; Khi tôi đếm bằng tay thì kết quả là 560. Mô hình gộp các ô tiếp xúc với nhau thành một ô duy nhất. AI đề xuất điều chỉnh tham số đường kính tế bào và thay đổi ngưỡng dòng chảy; Số đếm tăng lên 545. Bài học: chỉnh các thông số theo ảnh thật.
Trường hợp 2 - Nhầm lẫn về loài: Trong một dự án sinh thái, tính năng nhận dạng loài tự động liên tục gắn thẻ cáo là “mèo” trong các hình ảnh vào ban đêm. Mô hình giải thích rằng ánh sáng yếu và sự mất cân bằng trong dữ liệu huấn luyện có thể gây ra lỗi này; Nhóm đã chuyển tiếp các thẻ không rõ ràng để con người xác thực. Bài học: nếu điểm tin cậy của mô hình thấp thì việc xác minh của con người là bắt buộc.
Trường hợp 3 - Lỗi tỷ lệ: Một nhà nghiên cứu đã báo cáo diện tích ô tính bằng pixel nhưng quên chuyển đổi sang micromet; Kết quả là không tương thích với tài liệu. Khi trí tuệ nhân tạo thêm bước hiệu chỉnh, các giá trị đã nằm trong phạm vi hợp lý. Bài học: chuyển đổi đơn vị vật lý là rất quan trọng.
biểu đồ so sánh
Nhiệm vụ
xe phù hợp
số liệu xác minh
Phân khúc cốt lõi
StarDist
F1 với tính năng thủ công
Tế bào chất/ranh giới tế bào
tế bào
IoU (tỷ lệ trùng lặp)
Nhận dạng loài (động vật hoang dã)
MegaDetector/iNaturalist
Điểm tin cậy + sự chấp thuận của con người
phân loại bệnh
Người mẫu được đào tạo đặc biệt
Ma trận nhầm lẫn
Những lỗi thường gặp
- Xử lý hàng loạt mà không cần xác thực thủ công: Truyền lỗi của mô hình trên toàn bộ dữ liệu.
- Bỏ qua hiệu chỉnh tỷ lệ: Không chuyển đổi đơn vị pixel thành đơn vị vật lý.
- Chấp nhận những dự đoán có điểm tin cậy thấp: Không đề cập đến những tình huống không chắc chắn đối với con người.
- Để các thông số mặc định: Không điều chỉnh các cài đặt như đường kính ô cho phù hợp với hình ảnh.
- Hình ảnh bên ngoài bản phân phối huấn luyện: Sử dụng mô hình một cách mù quáng trong tình trạng chưa từng thấy (màu sắc, loại khác nhau).
Thận trọng: Các mô hình hình ảnh có thể hoạt động tốt trên các hình ảnh tương tự như dữ liệu huấn luyện, nhưng kém bất ngờ trong các điều kiện khác nhau (vết bẩn mới, loài mới, kính hiển vi khác). Khi chuyển sang tập dữ liệu mới, đừng tin tưởng vào mô hình mà không xác thực nó theo cách thủ công trên một số hình ảnh. Sự đồng ý của con người là cần thiết cho các quyết định có hậu quả cao như bảo tồn hoặc chẩn đoán loài.
Từ phân khúc đến đo lường: vượt xa con số
Đếm tế bào thường là bước đầu tiên; Giá trị nội tại trích xuất các phép đo về từng đối tượng. Hàng chục đặc điểm trên mỗi ô, chẳng hạn như diện tích, chu vi, độ tròn, cường độ huỳnh quang (mức độ biểu thị của điểm đánh dấu), có thể được tính toán từ mặt nạ phân đoạn. Hàm Regionprops trong thư viện scikit-image thực hiện việc này. AI viết mã trích xuất các phép đo này và đưa kết quả vào bảng; bạn cũng có thể so sánh các nhóm (ví dụ: “các ô được xử lý có nhỏ hơn ô đối chứng không?”).
Trích xuất diện tích, chu vi và cường độ huỳnh quang trung bình của từng ô từ mặt nạ Cellpose bằng các đạo cụ vùng hình ảnh scikit. Viết kết quả vào CSV; So sánh nhóm đối chứng và nhóm can thiệp trong biểu đồ hình hộp. Áp dụng hiệu chỉnh tỷ lệ (µm/pixel).
Mẹo: Đừng quên xóa nền khi đo mật độ; Các giá trị cường độ không được hiệu chỉnh phụ thuộc vào cài đặt kính hiển vi và có thể so sánh được không phải về mặt tuyệt đối mà về mặt tương đối giữa các nhóm được chụp trong cùng một điều kiện.
Khi nào cần huấn luyện mô hình: ít dữ liệu, ghi nhãn cẩn thận
Đôi khi các công cụ có sẵn là không đủ và bạn cần đào tạo mô hình phân loại của riêng mình (ví dụ: một triệu chứng bệnh cụ thể). Hai cái bẫy nổi bật ở đây. Đầu tiên là rò rỉ dữ liệu: hình ảnh của cùng một cá nhân/mẫu được đưa vào cả tập huấn luyện và tập kiểm tra khiến mô hình có vẻ thành công hơn thực tế; thực hiện phép chia ở cấp độ cá nhân. Thứ hai là lớp không cân bằng: nếu mẫu bệnh nhân ít, mô hình cho thấy độ chính xác cao khi nói “luôn khỏe mạnh” nhưng vô ích; Nhìn vào độ nhạy (thu hồi) và ma trận nhầm lẫn thay vì độ chính xác. AI viết mã đào tạo này, nhưng nhiệm vụ của bạn là giải quyết những cạm bẫy về mặt phương pháp này.
Chất lượng hình ảnh và tiền xử lý
Sự thành công của mô hình hiển thị phụ thuộc trực tiếp vào chất lượng hình ảnh bạn cung cấp. Hình ảnh bị mất nét, phơi sáng quá mức, độ tương phản thấp hoặc được chụp ở các độ phóng đại khác nhau sẽ gây nhầm lẫn ngay cả với người mẫu tốt nhất. Đó là lý do tại sao các bước xử lý trước đơn giản trước khi phân đoạn thường cải thiện đáng kể kết quả: hiệu chỉnh nền (loại bỏ sự mất cân bằng ánh sáng), chuẩn hóa độ tương phản và giảm nhiễu. AI viết mã tiền xử lý này (với scikit-image hoặc OpenCV); Nhưng bạn quyết định cần chỉnh sửa gì bằng cách nhìn vào hình ảnh. Việc xử lý trước quá mức cũng rất nguy hiểm: “làm sạch” hình ảnh quá nhiều có thể xóa cấu trúc sinh học thực tế và biến thành dữ liệu đẹp hơn. Quy tắc là thế này: quá trình xử lý trước phải được áp dụng cho tất cả các hình ảnh theo cách giống nhau, được xác định trước, không thực hiện có chọn lọc từng hình một để làm đẹp kết quả.
Áp dụng quy trình tiền xử lý tiêu chuẩn cho hình ảnh kính hiển vi của tôi trước khi phân đoạn: hiệu chỉnh nền, chuẩn hóa độ tương phản, giảm nhiễu nhẹ. Áp dụng các tham số tương tự cho TẤT CẢ hình ảnh (không chọn lọc). Hiển thị so sánh trước/sau. Sử dụng hình ảnh scikit.
Tóm lại
Trí tuệ nhân tạo giúp tiết kiệm rất nhiều thời gian trong việc phân tích hình ảnh sinh học (phân đoạn tế bào, phát hiện loài/bệnh). Các công cụ sẵn có như Cellpose, StarDist, MegaDetector giải quyết hầu hết các tác vụ mà không cần đào tạo lại từ đầu. Tuy nhiên, kết quả phải được xác minh thủ công, cân phải được hiệu chuẩn và điểm có độ tin cậy thấp phải hướng tới con người. Mô hình này không đáng tin cậy bên ngoài việc phân bổ đào tạo; Xác nhận là điều cần thiết khi chuyển sang dữ liệu mới.
Nhiệm vụ ứng dụng
Chụp ảnh kính hiển vi (hoặc dữ liệu mẫu). Yêu cầu trí tuệ nhân tạo viết và chạy mã để phân đoạn và đếm các ô bằng Cellpose hoặc StarDist. So sánh bằng cách đếm thủ công các ô mà mô hình tìm thấy trong ít nhất một hình ảnh; Lưu ý có bao nhiêu ô bị bỏ sót/hợp nhất. Báo cáo diện tích ô tính bằng micromet vuông bằng cách thêm hiệu chuẩn thang đo.
danh sách kiểm tra
- [ ] Tôi đã thêm loại hình ảnh, cách vẽ và độ phân giải vào dấu nhắc.
- [ ] Tôi đã áp dụng hiệu chuẩn tỷ lệ (pixel-micromet).
- [ ] Tôi đã xác minh thủ công kết quả trên ít nhất một hình ảnh.
- [ ] Tôi đặt tham số phân đoạn theo hình ảnh.
- [ ] Tôi đã chuyển tiếp những dự đoán có độ tin cậy thấp để con người xác thực.
- [ ] Tôi không tin tưởng vào mô hình nếu không xác nhận nó trong tập dữ liệu mới.