การวิเคราะห์รูปภาพและการระบุประเภท/เซลล์

กำไร:

• ความสามารถในการแยกงานการแบ่งเซ็กเมนต์และการจัดหมวดหมู่ และเลือกเครื่องมือสำเร็จรูปที่เหมาะสม (Cellpose, StarDist, MegaDetector) สำหรับแต่ละงาน
• ความสามารถในการแยกการวัดที่เชื่อถือได้จากภาพโดยใช้การสอบเทียบมาตราส่วนและการตรวจสอบยืนยันด้วยตนเอง
• ทำความเข้าใจความจำเป็นในการกำหนดทิศทางการทำนายคะแนนความเชื่อมั่นต่ำต่อการตรวจสอบความถูกต้องของมนุษย์ และยืนยันแบบจำลองนอกการกระจายการฝึกอบรม

ชีววิทยาเป็นศาสตร์แห่งการมองเห็น เช่น เซลล์ใต้กล้องจุลทรรศน์ อาณานิคมในจานเพาะเชื้อ สัตว์ในกล้องป่า จุดโรคบนใบไม้ การนับ วัด และจำแนกภาพเหล่านี้เคยเป็นงานที่น่าเบื่อและเป็นส่วนตัวซึ่งใช้เวลาหลายชั่วโมง ปัญญาประดิษฐ์ โดยเฉพาะอย่างยิ่งการเรียนรู้เชิงลึก (การจดจำรูปแบบด้วยโครงข่ายประสาทเทียมหลายชั้น) ที่ใช้โมเดลรูปภาพ ได้เร่งและสร้างมาตรฐานให้กับงานนี้ ในหน่วยนี้ เราจะพูดถึงวิธีใช้ปัญญาประดิษฐ์ในการวิเคราะห์ภาพทางชีววิทยา เครื่องมือสำเร็จรูป และข้อกำหนดในการตรวจสอบ

คำเตือนตั้งแต่เริ่มต้น: แบบจำลองอาจ "รู้จัก" เซลล์หรือสปีชีส์ แต่ก็อาจจดจำผิดเช่นกัน ดวงตาของมนุษย์และการตรวจสอบฉลากจริงถือเป็นสิ่งสำคัญสำหรับการตัดสินใจที่สำคัญ

งานแสดงสองประเภท

• การแบ่งส่วน: การแยกและการนับวัตถุ (เซลล์ นิวเคลียส) ในรูปภาพทีละพิกเซล เครื่องมือตัวอย่าง: Cellpose, StarDist “ภาพจากกล้องจุลทรรศน์นี้มีกี่เซลล์ และแต่ละเซลล์มีขนาดใหญ่แค่ไหน”
• การจำแนกประเภท/การตรวจจับ: บอกสิ่งที่อยู่ในภาพหรือค้นหาตำแหน่งของภาพ ตัวอย่าง: การจำแนกชนิดพันธุ์ในภาพถ่ายกับดักกล้อง (iNaturalist, MegaDetector) โดยจำแนกว่าใบไม้มีโรคหรือไม่

งานทั้งสองนี้ต้องใช้เครื่องมือที่แตกต่างกัน ปัญญาประดิษฐ์ (LLM) ช่วยให้คุณเลือกเครื่องมือที่เหมาะสม เขียนโค้ดการติดตั้งและเรียกใช้ และตีความผลลัพธ์

เคล็ดลับ: ในการวิเคราะห์รูปภาพ โดยส่วนใหญ่แล้วคุณไม่จำเป็นต้องฝึกโมเดลตั้งแต่เริ่มต้น เครื่องมือที่ได้รับการฝึกอบรมมาล่วงหน้า เช่น Cellpose ทำงานได้โดยตรงกับเซลล์หลายประเภท ลองใช้เครื่องมือที่พร้อมใช้งานก่อน แต่ยืนยันผลลัพธ์ด้วยตนเองในหลายภาพ

ทีละขั้นตอน: การนับเซลล์ด้วยภาพกล้องจุลทรรศน์

1. เตรียมภาพ: กำลังขยายที่สม่ำเสมอ, การส่องสว่าง; สังเกตรูปแบบไฟล์ (TIFF ฯลฯ)
2. การสอบเทียบมาตราส่วน: ทราบจำนวนไมโครเมตรต่อพิกเซล (จำเป็นสำหรับการวัดขนาด)
3. เลือกเครื่องมือแบ่งส่วน: StarDist ถ้ามีการย้อมสีแกนกลาง เซลโพสสำหรับไซโตพลาสซึม
4. เรียกใช้: ลองใช้เครื่องมือกับรูปภาพ
5. ตรวจสอบด้วยตนเอง: เปรียบเทียบเซลล์ที่โมเดลพบกับรูปภาพจริง นับเซลล์ที่ผสาน/พลาด
6. ชุดงาน: หากการตรวจสอบความถูกต้องเป็นที่น่าพอใจ ให้นำไปใช้กับทั้งชุด
7. รายงาน: จำนวนเซลล์ การกระจายขนาด วิธีการจัดทำเอกสารและความถูกต้อง

เทมเพลตพร้อมท์ที่คัดลอกได้

บทบาท: คุณเป็นผู้ช่วยวิเคราะห์ชีวอิมเมจ งาน: เขียนโค้ด Python ที่แบ่งส่วนและนับเซลล์ในภาพกล้องจุลทรรศน์ด้วย Cellpose อินพุต: image.tif ช่องทางเดียว เอาท์พุต: การนับเซลล์และการแสดงภาพมาส์ก ให้โค้ดการทำงานพร้อมความคิดเห็นและปรับตัวเลือกโมเดลให้เหมาะสม

ฉันจะตรวจสอบผลลัพธ์การแบ่งส่วนของฉันได้อย่างไร แนะนำวิธีการและหน่วยเมตริก (ความแม่นยำ การเรียกคืน F1) เพื่อเปรียบเทียบจำนวนเซลล์ที่พบโดยแบบจำลองกับตัวอย่างที่ฉันนับด้วยตนเอง เขียนโค้ดด้วยนะ

อธิบายขั้นตอนการทำงานของ MegaDetector ในการตรวจจับสัตว์ในภาพถ่ายกับดักกล้องของฉัน อธิบายการประหยัดเวลาและความเสี่ยงของการเกิดผลลบลวงในการกำจัดเฟรมว่าง

เขียนโค้ดที่ทำการแปลงพิกเซลเป็นไมโครเมตรด้วยข้อมูลสเกลบาร์และคำนวณพื้นที่ของแต่ละเซลล์ในหน่วยตารางไมโครเมตร การสอบเทียบ: [X] พิกเซล = [Y] ไมโครมิเตอร์

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ: "นับเซลล์ในภาพนี้"

แข็งแกร่ง: "ฉันมีภาพนิวเคลียสเปื้อน DAPI (TIFF, ช่องเดียว, 2048x2048, สเกล 0.32 µm/พิกเซล) เขียนโค้ดที่แบ่งส่วนและนับนิวเคลียสด้วยแบบจำลอง 2 มิติที่ได้รับการฝึกล่วงหน้าของ StarDist โดยให้พื้นที่ของแต่ละนิวเคลียสเป็นตารางไมโครเมตร จากนั้นเพิ่มโค้ดที่เปรียบเทียบกับการนับด้วยตนเองใน 3 ภาพและสร้างรายงานความแม่นยำ"

ความแตกต่าง: ข้อความแจ้งที่มีประสิทธิภาพประกอบด้วยประเภทรูปภาพ การวาดภาพ ความละเอียด ขนาด และรูปแบบการตรวจสอบ แบบจำลองใช้เครื่องมือที่ถูกต้องและมาตราส่วนที่ถูกต้อง

มินิเคสสามอัน

กรณีที่ 1 — เซลล์ที่ไหลมารวมกัน: นักเรียนคนหนึ่งนับ 400 เซลล์ในภาพเนื้อเยื่อหนาแน่นด้วย Cellpose พอนับด้วยมือก็กลายเป็น 560 แบบจำลองรวมเซลล์ที่สัมผัสกันเป็นเซลล์เดียว AI แนะนำให้ปรับพารามิเตอร์เส้นผ่านศูนย์กลางของเซลล์และเปลี่ยนเกณฑ์การไหล จำนวนเพิ่มขึ้นเป็น 545 บทเรียน: ปรับพารามิเตอร์ตามภาพจริง

กรณีที่ 2 — ความสับสนเกี่ยวกับสายพันธุ์: ในโครงการนิเวศวิทยา การจดจำสายพันธุ์โดยอัตโนมัติแท็กสุนัขจิ้งจอกว่าเป็น "แมว" ซ้ำแล้วซ้ำเล่าในภาพตอนกลางคืน แบบจำลองอธิบายว่าแสงน้อยและความไม่สมดุลในข้อมูลการฝึกอาจทำให้เกิดข้อผิดพลาดนี้ได้ ทีมงานส่งต่อแท็กที่ไม่ชัดเจนไปยังการตรวจสอบโดยมนุษย์ บทเรียน: หากคะแนนความเชื่อมั่นของแบบจำลองต่ำ จำเป็นต้องมีการตรวจสอบโดยมนุษย์

กรณีที่ 3 — ข้อผิดพลาดของมาตราส่วน: นักวิจัยรายงานพื้นที่เซลล์เป็นพิกเซลแต่ลืมแปลงเป็นไมโครเมตร ผลลัพธ์ไม่สอดคล้องกับวรรณกรรม เมื่อปัญญาประดิษฐ์เพิ่มขั้นตอนการสอบเทียบ ค่าต่างๆ ก็ตกอยู่ในช่วงที่เหมาะสม บทเรียน: การแปลงหน่วยทางกายภาพเป็นสิ่งสำคัญ

แผนภูมิเปรียบเทียบ

ภารกิจ

ยานพาหนะที่เหมาะสม

เมตริกการตรวจสอบ

การแบ่งส่วนหลัก

สตาร์ดิส

F1 พร้อมการนับแบบแมนนวล

ไซโตพลาสซึม/ขอบเขตของเซลล์

เซลโพส

IoU (อัตราทับซ้อน)

การจำแนกชนิด (สัตว์ป่า)

MegaDetector/iNaturalist

คะแนนความน่าเชื่อถือ + การอนุมัติจากมนุษย์

การจำแนกโรค

โมเดลที่ได้รับการฝึกมาเป็นพิเศษ

เมทริกซ์ความสับสน

ข้อผิดพลาดทั่วไป

• การประมวลผลเป็นชุดโดยไม่มีการตรวจสอบความถูกต้องด้วยตนเอง: การแพร่กระจายข้อผิดพลาดของโมเดลไปทั่วทั้งข้อมูลทั้งหมด
• การข้ามการปรับเทียบมาตราส่วน: ไม่แปลงหน่วยพิกเซลเป็นหน่วยทางกายภาพ
• การยอมรับการทำนายด้วยคะแนนความเชื่อมั่นต่ำ: ไม่ได้อ้างอิงถึงสถานการณ์ที่ไม่แน่นอนกับมนุษย์
• ปล่อยให้พารามิเตอร์เป็นค่าเริ่มต้น: ไม่ปรับการตั้งค่า เช่น เส้นผ่านศูนย์กลางของเซลล์ให้เข้ากับรูปภาพ
• ภาพนอกการกระจายการฝึก: สุ่มสี่สุ่มห้าใช้แบบจำลองในสภาพที่ไม่เคยเห็นมาก่อน (สีต่างกัน, ชนิด)

ข้อควรระวัง: โมเดลรูปภาพอาจทำงานได้ดีกับรูปภาพที่คล้ายกับข้อมูลการฝึกอบรม แต่แย่อย่างไม่คาดคิดภายใต้สภาวะที่แตกต่างกัน (คราบใหม่ สายพันธุ์ใหม่ กล้องจุลทรรศน์ที่แตกต่างกัน) เมื่อย้ายไปยังชุดข้อมูลใหม่ อย่าเชื่อถือโมเดลโดยไม่ตรวจสอบความถูกต้องด้วยตนเองกับรูปภาพหลายรูป ความยินยอมของมนุษย์เป็นสิ่งจำเป็นสำหรับการตัดสินใจที่มีผลตามมาสูง เช่น การอนุรักษ์หรือการวินิจฉัยชนิดพันธุ์

จากการแบ่งส่วนไปจนถึงการวัดผล: เกินกว่าตัวเลข

การนับเซลล์มักเป็นขั้นตอนแรก ค่าที่แท้จริงจะแยกการวัดเกี่ยวกับแต่ละวัตถุ คุณลักษณะต่างๆ มากมายต่อเซลล์ เช่น พื้นที่ เส้นรอบวง ความกลม ความเข้มของฟลูออเรสเซนต์ (จำนวนเครื่องหมายที่แสดง) สามารถคำนวณได้จากมาสก์การแบ่งส่วน ฟังก์ชัน Regionprops ในไลบรารี scikit-image ทำหน้าที่นี้ AI เขียนโค้ดที่แยกการวัดเหล่านี้และเทผลลัพธ์ลงในตาราง คุณยังสามารถเปรียบเทียบกลุ่มได้ (เช่น "เซลล์ที่ได้รับการบำบัดมีขนาดเล็กกว่ากลุ่มควบคุมหรือไม่")

แยกพื้นที่ เส้นรอบวง และความเข้มของแสงฟลูออเรสเซนซ์เฉลี่ยของแต่ละเซลล์จากมาสก์ Cellpose ด้วยอุปกรณ์ประกอบฉากขอบเขตภาพ scikit เขียนผลลัพธ์เป็น CSV เปรียบเทียบกลุ่มควบคุมและกลุ่มการรักษาในกล่องพล็อต ใช้การปรับเทียบมาตราส่วน (µm/พิกเซล)

เคล็ดลับ: อย่าลืมลบพื้นหลังเมื่อทำการวัดความหนาแน่น ค่าความเข้มที่ไม่ได้สอบเทียบขึ้นอยู่กับการตั้งค่าของกล้องจุลทรรศน์และเทียบเคียงไม่ได้ในแง่สัมบูรณ์ แต่ในแง่สัมพัทธ์ระหว่างกลุ่มที่ถ่ายภายใต้สภาวะเดียวกัน

เมื่อใดที่ควรฝึกโมเดล: ข้อมูลน้อย, การติดฉลากอย่างระมัดระวัง

บางครั้งเครื่องมือที่มีจำหน่ายทั่วไปอาจไม่เพียงพอ และคุณต้องฝึกแบบจำลองการจำแนกประเภทของคุณเอง (เช่น อาการของโรคเฉพาะ) กับดักสองอันโดดเด่นที่นี่ ประการแรกคือข้อมูลรั่วไหล: รูปภาพของแต่ละบุคคล/ตัวอย่างเดียวกันที่รวมอยู่ในทั้งชุดการฝึกอบรมและการทดสอบทำให้แบบจำลองดูประสบความสำเร็จมากกว่าที่เป็นอยู่ ทำการแบ่งระดับบุคคล ประการที่สองคือระดับที่ไม่สมดุล: หากตัวอย่างผู้ป่วยมีน้อย แบบจำลองจะแสดงความแม่นยำสูงโดยบอกว่า "มีสุขภาพดีอยู่เสมอ" แต่ไม่มีประโยชน์ ดูเมทริกซ์ความไว (การเรียกคืน) และความสับสนแทนความแม่นยำ AI เขียนโค้ดการฝึกอบรมนี้ แต่เป็นหน้าที่ของคุณที่จะต้องจัดการกับข้อผิดพลาดด้านระเบียบวิธีเหล่านี้

คุณภาพของภาพและการประมวลผลล่วงหน้า

ความสำเร็จของโมเดลดิสเพลย์นั้นขึ้นอยู่กับคุณภาพของรูปภาพที่คุณมอบให้โดยตรง รูปภาพที่อยู่นอกโฟกัส เปิดรับแสงมากเกินไป คอนทราสต์ต่ำ หรือถ่ายโดยใช้กำลังขยายที่แตกต่างกัน แม้แต่โมเดลที่ดีที่สุดก็ยังสร้างความสับสนได้ นั่นเป็นเหตุผลที่ขั้นตอนก่อนการประมวลผลง่ายๆ ก่อนการแบ่งส่วนมักจะปรับปรุงผลลัพธ์ได้อย่างมาก: การแก้ไขพื้นหลัง (กำจัดความไม่สมดุลของแสง) การทำให้คอนทราสต์เป็นมาตรฐาน และการลดสัญญาณรบกวน AI เขียนโค้ดประมวลผลล่วงหน้านี้ (ด้วย scikit-image หรือ OpenCV) แต่คุณตัดสินใจว่าจำเป็นต้องแก้ไขอะไรบ้างโดยดูที่รูปภาพ การประมวลผลล่วงหน้าที่มากเกินไปก็เป็นอันตรายเช่นกัน: "การทำความสะอาด" รูปภาพมากเกินไปสามารถลบโครงสร้างทางชีววิทยาที่เกิดขึ้นจริงและกลายเป็นการตกแต่งข้อมูลได้ กฎคือ: การประมวลผลล่วงหน้าควรใช้กับภาพทั้งหมดในลักษณะเดียวกันที่กำหนดไว้ล่วงหน้า ไม่ใช่เลือกทำทีละภาพเพื่อทำให้ผลลัพธ์ออกมาสวยงาม

ใช้การประมวลผลล่วงหน้าแบบมาตรฐานกับภาพกล้องจุลทรรศน์ของฉันก่อนการแบ่งส่วน: การแก้ไขพื้นหลัง การปรับความคมชัดให้เป็นมาตรฐาน การลดสัญญาณรบกวนเล็กน้อย ใช้พารามิเตอร์เดียวกันกับรูปภาพทั้งหมด (ไม่ใช่แบบเฉพาะเจาะจง) แสดงการเปรียบเทียบก่อน/หลัง ใช้ scikit-image

โดยสรุป

ปัญญาประดิษฐ์ช่วยประหยัดเวลาได้มากในการวิเคราะห์ภาพทางชีวภาพ (การแบ่งส่วนเซลล์ การตรวจหาชนิด/โรค) เครื่องมือที่มีจำหน่ายทั่วไป เช่น Cellpose, StarDist, MegaDetector จะช่วยแก้ปัญหางานส่วนใหญ่โดยไม่ต้องมีการฝึกอบรมตั้งแต่เริ่มต้น อย่างไรก็ตาม ผลลัพธ์จะต้องได้รับการตรวจสอบด้วยตนเอง ต้องสอบเทียบมาตราส่วน และต้องส่งคะแนนความเชื่อมั่นต่ำไปที่มนุษย์โดยตรง โมเดลไม่น่าเชื่อถือนอกการกระจายการฝึกอบรม การยืนยันถือเป็นสิ่งสำคัญเมื่อย้ายไปยังข้อมูลใหม่

งานสมัคร

ถ่ายภาพด้วยกล้องจุลทรรศน์ (หรือข้อมูลตัวอย่าง) ให้ปัญญาประดิษฐ์เขียนและรันโค้ดที่แบ่งส่วนและนับเซลล์ด้วย Cellpose หรือ StarDist เปรียบเทียบด้วยมือโดยนับเซลล์ที่แบบจำลองพบในรูปภาพอย่างน้อยหนึ่งภาพ สังเกตจำนวนเซลล์ที่พลาด/รวมเข้าด้วยกัน รายงานพื้นที่เซลล์ในหน่วยตารางไมโครเมตรโดยเพิ่มการสอบเทียบสเกล

รายการตรวจสอบ

• [ ] ฉันเพิ่มประเภทภาพ ภาพวาด และความละเอียดลงในพรอมต์
• [ ] ฉันใช้การปรับเทียบมาตราส่วน (พิกเซล-ไมโครมิเตอร์)
• [ ] ฉันตรวจสอบผลลัพธ์ด้วยตนเองในรูปภาพอย่างน้อยหนึ่งภาพ
• [ ] ฉันตั้งค่าพารามิเตอร์การแบ่งส่วนตามรูปภาพ
• [ ] ฉันส่งต่อการคาดการณ์ที่มีคะแนนความเชื่อมั่นต่ำไปยังการตรวจสอบของมนุษย์
• [ ] ฉันไม่เชื่อโมเดลโดยไม่ยืนยันในชุดข้อมูลใหม่