የምስል ትንተና እና አይነት/ህዋስ መለየት

ትርፍ፡

• የመከፋፈያ እና ምደባ ተግባራትን የመለየት እና ተገቢውን ዝግጁ-የተሰራ መሳሪያ (ሴልፖዝ ፣ ስታር ዲስት ፣ ሜጋዲቴክተር) ለእያንዳንዱ የመምረጥ ችሎታ።
• የመለኪያ ልኬትን እና በእጅ ማረጋገጫን በመተግበር አስተማማኝ ልኬቶችን ከምስሎች የማውጣት ችሎታ
• ዝቅተኛ በራስ መተማመን ውጤት ትንበያዎችን ወደ ሰው ትክክለኛነት የመምራት አስፈላጊነት ይረዱ እና ሞዴሉን ከስልጠና ስርጭቱ ውጭ ያረጋግጡ።

ባዮሎጂ የእይታ ሳይንስ ነው፡ በአጉሊ መነጽር ስር ያሉ ህዋሶች፣ ቅኝ ግዛቶች በፔትሪ ዲሽ ውስጥ፣ በጫካ ካሜራ ውስጥ ያሉ እንስሳት፣ በቅጠል ላይ ያሉ የበሽታ ቦታዎች። እነዚህን ምስሎች መቁጠር፣ መለካት እና መከፋፈል ሰአታት የሚፈጅ አሰልቺ እና ተጨባጭ ስራ ነበር። አርቴፊሻል ኢንተለጀንስ፣ በተለይም ጥልቅ ትምህርት (ከባለ ብዙ ሽፋን አርቴፊሻል ነርቭ ኔትወርኮች ጋር የስርዓተ-ጥለት እውቅና) የተመሰረቱ የምስል ሞዴሎች ይህንን ስራ አፋጥኖ እና ደረጃውን የጠበቀ እንዲሆን አድርጎታል። በዚህ ክፍል ውስጥ, በባዮሎጂካል ምስል ትንተና ውስጥ አርቴፊሻል ኢንተለጀንስ እንዴት እንደሚጠቀሙ እንነጋገራለን, ዝግጁ የሆኑ መሳሪያዎች እና የማረጋገጫ መስፈርቶች.

ከመጀመሪያው ማስጠንቀቂያ: አንድ ሞዴል ሕዋስ ወይም ዝርያን "ሊያውቅ" ይችላል, ነገር ግን በተሳሳተ መንገድ ሊያውቅ ይችላል; የሰው አይን እና የእውነተኛ መለያ ማረጋገጫ ወሳኝ ለሆኑ ውሳኔዎች አስፈላጊ ናቸው።

ሁለት ዓይነት የማሳያ ስራዎች

• ክፍልፋዮች፡ በምስል ፒክሴል ውስጥ ያሉትን ነገሮች (ሴሎች፣ ኒውክሊየስ) መለየት እና መቁጠር። የምሳሌ መሳሪያዎች፡ Cellpose፣ StarDist። "በዚህ ማይክሮስኮፕ ምስል ውስጥ ስንት ሴሎች አሉ እና እያንዳንዳቸው ምን ያህል ትልቅ ናቸው?"
• ምደባ/ማወቂያ፡ በምስሉ ላይ ያለውን ነገር መናገር ወይም ቦታውን ማግኘት። ምሳሌ፡ በካሜራ ወጥመድ ፎቶ (iNaturalist, MegaDetector) ውስጥ ያሉትን ዝርያዎች ለይቶ ማወቅ፣ ቅጠሉ በሽታ እንዳለበት ወይም እንደሌለበት መለየት።

እነዚህ ሁለት ተግባራት የተለያዩ መሳሪያዎች ያስፈልጋቸዋል. አርቴፊሻል ኢንተለጀንስ (LLM) ትክክለኛውን መሳሪያ እንዲመርጡ፣ የመጫኛ እና የጥሪ ኮድ እንዲጽፉ እና ውጤቱን እንዲተረጉሙ ይረዳዎታል።

ጠቃሚ ምክር: በምስል ትንተና ብዙ ጊዜ ሞዴል ከባዶ ማሰልጠን አያስፈልግዎትም. እንደ ሴልፖዝ ያሉ አስቀድሞ የሰለጠኑ መሳሪያዎች በብዙ የሕዋስ ዓይነቶች ላይ በቀጥታ ይሰራሉ። መጀመሪያ የተዘጋጀውን መሳሪያ ይሞክሩ; ነገር ግን ውጤቱን በበርካታ ምስሎች እራስዎ ያረጋግጡ.

ደረጃ በደረጃ፡ ሴሎችን በማይክሮስኮፕ ምስሎች ላይ መቁጠር

1. ምስሎችን አዘጋጁ: ወጥነት ያለው ማጉላት, ማብራት; የፋይል ቅርጸቱን (TIFF, ወዘተ) ያስተውሉ.
2. ልኬት ማስተካከል፡ በፒክሰል ስንት ማይክሮሜትሮች ይወቁ (ለመጠን መለኪያ አስፈላጊ)።
3. የመከፋፈያ መሳሪያ ምረጥ፡ StarDist ከሆነ ኮር ቀለም; ሴሎፕስ ለሳይቶፕላዝም.
4. አሂድ: መሣሪያውን በምስሉ ላይ ይሞክሩት.
5. በእጅ ያረጋግጡ: ሞዴሉ የሚያገኛቸውን ሴሎች ከትክክለኛው ምስል ጋር ያወዳድሩ; የተዋሃዱ/ያመለጡ ሴሎችን ይቁጠሩ።
6. ባች፡ ማረጋገጡ አጥጋቢ ከሆነ፣ ለጠቅላላው ስብስብ ያመልክቱ።
7. ሪፖርት: የሴሎች ብዛት, የመጠን ስርጭት; የሰነድ ዘዴ እና ትክክለኛነት.

ሊገለበጡ የሚችሉ የጥያቄ አብነቶች

ሚና፡ እርስዎ የባዮኢሜጅ ትንተና ረዳት ነዎት። ተግባር፡ ሴሎችን በአጉሊ መነጽር የሚከፋፍል እና የሚቆጥር የፓይዘን ኮድ በሴሉፖዝ ይፃፉ። ግቤት፡ image.tif፣ ነጠላ ሰርጥ። ውጤት፡ የሕዋስ ብዛት እና ጭንብል እይታ። የስራ ኮድ ከአስተያየቶች ጋር ይስጡ እና የሞዴል ምርጫን ያረጋግጡ።

የክፍልፋይ ውጤቴን እንዴት አረጋግጣለሁ? በአምሳያው የተገኙትን የሴሎች ብዛት በእጅ ከቆጠርኩት ናሙና ጋር ለማነፃፀር ዘዴ እና ሜትሪክ (ትክክለኛነት፣ አስታውስ፣ F1) ይጠቁሙ። ኮድም ጻፍ።

በካሜራዬ ወጥመድ ፎቶግራፎች ውስጥ እንስሳትን ለማግኘት የMegaDetector የስራ ፍሰትን ያብራሩ። ባዶ ፍሬሞችን በማስወገድ ጊዜ መቆጠብ እና የውሸት አሉታዊ ነገሮችን አደጋ ያብራሩ።

ከፒክሰል-ወደ-ማይክሮሜትር ልወጣ የሚያደርግ ኮድ በመለኪያ አሞሌ መረጃ ይፃፉ እና የእያንዳንዱን ሕዋስ ቦታ በካሬ ማይሚሜትር ያሰላል። ልኬት፡ [X] ፒክሴል = [Y] ማይክሮሜትር።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ፡ "በዚህ ፎቶ ውስጥ ያሉትን ሴሎች ይቁጠሩ።"

ጠንካራ፡ "በዲኤፒአይ የቆሸሸ ኒውክሊየስ ምስል አለኝ (TIFF፣ ነጠላ ቻናል፣ 2048x2048፣ ልኬት 0.32 μm/ፒክሰል)። ኮድ ፃፉ እና ኒውክላይዎችን ከStarDist ቀድሞ የሰለጠነ 2D አምሳያ በመቁጠር የእያንዳንዱን ኒውክሊየስ ስፋት በካሬ ማይክሮሜትር 3 ያነፃፅራል።

ልዩነት፡ ኃይለኛ መጠየቂያው የምስል አይነት፣ ስዕል፣ ጥራት፣ ሚዛን እና የማረጋገጫ እቅድ አለው። ሞዴሉ ትክክለኛውን መሳሪያ እና ትክክለኛውን መለኪያ ይጠቀማል.

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የተዋሃዱ ሴሎች: አንድ ተማሪ 400 ሴሎችን ከሴሉፖዝ ጋር ጥቅጥቅ ባለ የቲሹ ምስል ቆጥሯል; በእጅ ስቆጥር 560 ሆኖ ተገኘ። ኤአይኤው የሕዋስ ዲያሜትር መለኪያውን ማስተካከል እና የፍሰት መጠኑን መለወጥ; ቆጠራው ወደ 545 ከፍ ብሏል ትምህርት፡ በእውነተኛው ምስል መሰረት መለኪያዎችን ያስተካክሉ።

ጉዳይ 2 - የዝርያ ግራ መጋባት፡- በስነ-ምህዳር ፕሮጀክት፣ አውቶማቲክ ዝርያዎችን ማወቂያ በምሽት ምስሎች ላይ ቀበሮውን “ድመት” በማለት በተደጋጋሚ መለያ ሰጥቷል። ሞዴሉ ዝቅተኛ ብርሃን እና የስልጠና መረጃ አለመመጣጠን ይህንን ስህተት ሊፈጥር እንደሚችል ገልጿል; ቡድኑ አሻሚ መለያዎችን ወደ ሰው ማረጋገጫ አስተላልፏል። ትምህርት፡ የአምሳያው የመተማመን ነጥብ ዝቅተኛ ከሆነ የሰውን ማረጋገጥ ግዴታ ነው።

ጉዳይ 3 - የመጠን ስህተት: አንድ ተመራማሪ የሕዋስ ቦታዎችን በፒክሰሎች ሪፖርት አድርጓል ነገር ግን ወደ ማይክሮሜትሮች መለወጥ ረስቷል; ውጤቱ ከሥነ-ጽሑፍ ጋር ተኳሃኝ አልነበረም። ሰው ሰራሽ የማሰብ ችሎታ የመለኪያ ደረጃውን ሲጨምር እሴቶቹ ምክንያታዊ በሆነ ክልል ውስጥ ወድቀዋል። ትምህርት፡ የአካል ክፍል መቀየር ወሳኝ ነው።

የንጽጽር ሰንጠረዥ

ተልዕኮ

ተስማሚ ተሽከርካሪ

የማረጋገጫ መለኪያ

የኮር ክፍፍል

ስታርዲስት

F1 በእጅ ቆጠራ

የሳይቶፕላዝም/የህዋስ ድንበር

ሴሉስ ፖስ

IoU (የተደራራቢ መጠን)

ዝርያዎችን መለየት (የዱር እንስሳት)

MegaDetector/iNaturalist

የእምነት ነጥብ + የሰው ይሁንታ

የበሽታ ምደባ

ልዩ የሰለጠነ ሞዴል

ግራ መጋባት ማትሪክስ

የተለመዱ ስህተቶች

• ባች ማቀናበር ያለ በእጅ ማረጋገጫ፡ የአምሳያው ስህተት በጠቅላላው መረጃ ላይ ማሰራጨት።
• የመለኪያ ልኬትን መዝለል፡- ፒክሰል-አሃድ ወደ አካላዊ አሃድ አለመቀየር።
• በትንሽ በራስ የመተማመን ውጤቶች ትንበያዎችን መቀበል፡- እርግጠኛ ያልሆኑ ሁኔታዎችን ለሰው አለመጥቀስ።
• መለኪያዎችን እንደ ነባሪ በመተው፡ እንደ የሕዋስ ዲያሜትር ያሉ ቅንብሮችን ወደ ምስሉ አለመላመድ።
• ከሥልጠና ስርጭቱ ውጭ ያለ ምስል፡ ሞዴሉን አይቶ በማያውቀው ሁኔታ (የተለያዩ ማቅለሚያዎች፣ ዓይነት) በጭፍን በመጠቀም።

ጥንቃቄ፡ የምስል ሞዴሎች ከስልጠናው መረጃ ጋር በሚመሳሰሉ ምስሎች ላይ በደንብ ሊሰሩ ይችላሉ፣ነገር ግን ባልተጠበቀ ሁኔታ ደካማ በሆነ ሁኔታ በተለያዩ ሁኔታዎች (አዲስ እድፍ፣ አዲስ ዝርያ፣ የተለያዩ ማይክሮስኮፕ)። ወደ አዲስ የውሂብ ስብስብ ሲንቀሳቀሱ ሞዴሉን በበርካታ ምስሎች ላይ እራስዎ ሳያረጋግጡ አይመኑት. እንደ ዝርያ ጥበቃ ወይም ምርመራ ላሉ ከፍተኛ ውጤት ውሳኔዎች የሰው ፈቃድ አስፈላጊ ነው።

ከመከፋፈል እስከ መለኪያ፡ ከቁጥር በላይ

ሴሎችን መቁጠር ብዙውን ጊዜ የመጀመሪያው እርምጃ ነው; ውስጣዊ እሴቱ ስለ እያንዳንዱ ነገር መለኪያዎችን ያወጣል። እንደ አካባቢ፣ ፔሪሜትር፣ ክብነት፣ የፍሎረሰንት መጠን (ምልክት ማርክ ምን ያህል እንደሚገለጽ) ያሉ በሴል በደርዘን የሚቆጠሩ ባህሪያት ከፋፋይ ጭንብል ሊሰሉ ይችላሉ። በ scikit-image ላይብረሪ ውስጥ ያለው የክልላዊ ፕሮፕስ ተግባር ይህን ያደርጋል። AI እነዚህን መለኪያዎች የሚያወጣ ኮድ ይጽፋል እና ውጤቶቹን ወደ ሠንጠረዥ ያፈስሳል; እንዲሁም ቡድኖችን ማወዳደር ይችላሉ (ለምሳሌ "የታከሙት ሴሎች ከቁጥጥሩ ያነሱ ናቸው?")።

የእያንዳንዱን ሕዋስ አካባቢ፣ ፔሪሜትር እና አማካኝ የፍሎረሰንት መጠን ከሴሉፖዝ ጭንብል በscikit-image regionprops ያውጡ። ውጤቱን ወደ CSV ይፃፉ; በሳጥኑ ሴራ ውስጥ ያሉትን የቁጥጥር እና የሕክምና ቡድኖችን ያወዳድሩ. የመለኪያ ልኬትን ተግብር (µm/ፒክስል)።

ጠቃሚ ምክር: ጥግግት በሚለካበት ጊዜ ዳራውን ማስወገድን አይርሱ; ያልተስተካከሉ የጥንካሬ ዋጋዎች በአጉሊ መነጽር አቀማመጥ ላይ የተመሰረቱ ናቸው እና በፍፁም ቃላቶች ሳይሆን በአንፃራዊ ሁኔታ በተመሳሳይ ሁኔታ በተወሰዱ ቡድኖች መካከል የሚነፃፀሩ ናቸው።

ሞዴልን መቼ እንደሚያሠለጥኑ፡ ትንሽ መረጃ፣ በጥንቃቄ መለያ መስጠት

አንዳንድ ጊዜ ከመደርደሪያ ውጭ ያሉ መሳሪያዎች በቂ አይደሉም እና የራስዎን የምደባ ሞዴል (ለምሳሌ የተለየ የበሽታ ምልክት) ማሰልጠን ያስፈልግዎታል. እዚህ ሁለት ወጥመዶች ጎልተው ይታያሉ. የመጀመሪያው የመረጃ መፍሰስ ነው-በሁለቱም የስልጠና እና የፈተና ስብስቦች ውስጥ የተካተቱት ተመሳሳይ ግለሰብ / ናሙና ምስሎች ሞዴሉን ከእሱ የበለጠ ስኬታማ ያደርገዋል; ክፍፍልን በግለሰብ ደረጃ ያድርጉ. ሁለተኛው ሚዛናዊ ያልሆነ ክፍል ነው-የታካሚው ናሙናዎች ጥቂት ከሆኑ ሞዴሉ "ሁልጊዜ ጤናማ" በማለት ከፍተኛ ትክክለኛነት ያሳያል ነገር ግን ምንም ፋይዳ የለውም; ከትክክለኛነት ይልቅ ስሜታዊነት (ማስታወስ) እና ግራ መጋባትን ይመልከቱ። AI ይህንን የሥልጠና ኮድ ይጽፋል፣ ነገር ግን እነዚህን የሥልጠና ወጥመዶች ማሰስ የእርስዎ ሥራ ነው።

የምስል ጥራት እና ቅድመ ሂደት

የማሳያ ሞዴል ስኬት በቀጥታ በሚሰጡት ምስል ጥራት ላይ የተመሰረተ ነው. ከትኩረት ውጪ የሆኑ ምስሎች, ከመጠን በላይ የተጋለጡ, በንፅፅር ዝቅተኛነት ወይም በተለያየ ማጉላት የተወሰዱ ምስሎች በጣም ጥሩውን ሞዴል እንኳን ግራ ያጋባሉ. ለዚህም ነው ከመከፋፈሉ በፊት ቀላል የቅድመ-ሂደት ደረጃዎች ብዙውን ጊዜ ውጤቱን በእጅጉ ያሻሽላሉ-የጀርባ ማስተካከያ (የብርሃን ሚዛንን ማስወገድ) ፣ የንፅፅር መደበኛነት እና የድምፅ ቅነሳ። AI ይህንን የቅድሚያ ሂደት ኮድ (ከscikit-image ወይም OpenCV) ይጽፋል። ነገር ግን ምስሉን በማየት ምን እርማት እንደሚያስፈልግ ይወስናሉ. ከመጠን በላይ ቅድመ-ሂደትም አደገኛ ነው፡ ምስልን ከመጠን በላይ "ማጽዳት" ትክክለኛውን ባዮሎጂያዊ መዋቅር ይሰርዛል እና ወደ መረጃ ውበት ይቀየራል. ደንቡ ይህ ነው-ቅድመ-ሂደት በሁሉም ምስሎች ላይ በተመሳሳይ ፣ አስቀድሞ በተገለፀው መንገድ መተግበር አለበት ፣ ውጤቱን ለማስጌጥ አንድ በአንድ በተመረጠ መንገድ መደረግ የለበትም።

ከመከፋፈሉ በፊት መደበኛ ቅድመ-ሂደትን በአጉሊ መነጽር ምስሎቼ ላይ ተግብር፡ የጀርባ ማስተካከያ፣ የንፅፅር መደበኛነት፣ ትንሽ የድምፅ ቅነሳ። ተመሳሳዩን መመዘኛዎች በሁሉም ምስሎች ላይ ተግብር (በመመረጥ ሳይሆን)። ከማነጻጸር በፊት/በኋላ አሳይ። scikit-image ይጠቀሙ።

በማጠቃለያው

አርቲፊሻል ኢንተለጀንስ በባዮሎጂካል ምስል ትንተና (የህዋስ ክፍፍል, ዝርያ / በሽታን መለየት) ብዙ ጊዜ ይቆጥባል. እንደ Cellpose፣ StarDist፣ MegaDetector ያሉ ከመደርደሪያ ውጪ ያሉ መሳሪያዎች ከባዶ ስልጠና ሳይወስዱ አብዛኛዎቹን ተግባራት ይፈታሉ። ይሁን እንጂ ውጤቱ በእጅ መረጋገጥ አለበት, ልኬቱ መስተካከል አለበት, እና ዝቅተኛ በራስ መተማመን ውጤቶች ወደ ሰዎች መቅረብ አለባቸው. ሞዴሉ ከስልጠና ስርጭቱ ውጭ አስተማማኝ አይደለም; ወደ አዲስ ውሂብ በሚንቀሳቀስበት ጊዜ ማረጋገጫ አስፈላጊ ነው።

የመተግበሪያ ተግባር

የማይክሮስኮፕ ምስል (ወይም የናሙና ውሂብ) ይውሰዱ። አርቴፊሻል ኢንተለጀንስ በሴሉፖዝ ወይም ስታርዲስት ሴሎችን የሚከፋፍል እና የሚቆጥር ኮድ እንዲጽፍ እና እንዲሰራ ያድርጉ። ሞዴሉ ቢያንስ አንድ ምስል የሚያገኛቸውን ሴሎች በእጅ በመቁጠር ያወዳድሩ; ምን ያህል ሴሎች እንዳመለጡ/እንደተዋሃዱ ልብ ይበሉ። የመጠን መለኪያን በመጨመር የሕዋስ ቦታዎችን በካሬ ማይክሮሜትሮች ሪፖርት ያድርጉ።

የማረጋገጫ ዝርዝር

• [ ] የምስሉን አይነት፣ ስእል እና መፍትሄ ወደ መጠየቂያው ጨምሬያለሁ።
• [] የመለኪያ ልኬትን (ፒክሴል-ማይክሮሜትር) ተጠቀምኩ።
• [ ] ቢያንስ በአንድ ምስል ላይ ውጤቱን በእጅ አረጋግጫለሁ።
• [] በምስሉ መሰረት የመከፋፈያ መለኪያዎችን አዘጋጅቻለሁ.
• [] ትንበያዎችን በዝቅተኛ የመተማመን ውጤቶች ወደ ሰው ማረጋገጫ አስተላልፌአለሁ።
• [] ሞዴሉን በአዲሱ የውሂብ ስብስብ ውስጥ ሳላረጋግጥ አላመንኩትም።