ትርፍ፡
- በራዲዮሎጂ አውድ ውስጥ የስሜታዊነት ፣ የልዩነት ፣ የውሸት አሉታዊ እና የውሸት አወንታዊ ፅንሰ-ሀሳቦችን የመተርጎም ችሎታ እና የአንድን ሞዴል መለኪያዎች በጥልቀት የማንበብ ችሎታ።
- አውቶሜሽን አድሎአዊነትን ማወቅ መቻል (በአርቴፊሻል ኢንተለጀንስ ላይ ከመጠን በላይ መታመን) እና በተቃራኒው የማንቂያ ድካም እና የንባብ ዲሲፕሊን ከእነዚህ ሁለት ወጥመዶች መጠበቅ።
- የራዲዮሎጂ ባለሙያው በአርቴፊሻል ኢንተለጀንስ ያልተገለፀውን ቦታ ማንበብ እንዳለበት እና አሉታዊ የ AI ውፅዓት የምርመራ ዋስትና አለመሆኑን መረዳት።
ለራዲዮሎጂ AI ሁለቱ በጣም አስፈላጊ ቁጥሮች ምን ያህል ግኝቶች እንደሚይዙ እና ምን ያህል የውሸት ማንቂያዎችን እንደሚያነሳ ነው. አንድ አምራች "የእኛ ሞዴል 96% ትክክል ነው" ቢልዎ ያ ብቻ ምንም አይልም. ምክንያቱም ብርቅዬ ለሆነ ግኝት (በ1000 ፈተናዎች ውስጥ 10 በሽታዎች) ምንም ያላስቀመጠ ሞዴል እንኳን “99% ትክክል” መስሎ ሊታይ ይችላል - 990 ጤነኞችን በትክክል ይገነዘባል እና 10 ታካሚዎችን ብቻ ያጣል። በዚህ ክፍል ውስጥ፣ የራዲዮሎጂን ወሳኝ መለኪያዎች—ትብነት፣ ልዩነት፣ የውሸት አሉታዊ፣ የውሸት አዎንታዊ—እንደ ኤክስፐርት እንዴት በትችት ማንበብ እንዳለብን እንማራለን።
አንኳር መርሆ፡ በአርቴፊሻል ኢንተለጀንስ ያልተገለጸ ቦታም በራዲዮሎጂስቱ ይነበባል። አሉታዊ AI ውጤት የምርመራ ዋስትና አይደለም; ሞዴሉ ግኝቱን አምልጦ ሊሆን ይችላል (ውሸት አሉታዊ). የሰዎች ክትትል raison d'être ሞዴሉ ደህንነቱ ያልተጠበቀ ስህተት የሆነበትን ትክክለኛ ጊዜዎች ለመያዝ ነው።
መለኪያዎችን እንደ ባለሙያ ማንበብ
አራት መሰረታዊ ፅንሰ ሀሳቦችን እናብራራ። በ1000 ፈተናዎች ላይ ሞዴልን ፈትነን እና 100ዎቹ በትክክል በሽታው ነበራቸው እንበል።
- እውነተኛ አወንታዊ (TP): አምሳያው በሽተኛውን, በእውነትም ታሞ.
- የውሸት አሉታዊ (FN): ሞዴሉ ምልክት አላደረገም ነገር ግን በሽተኛው ታምሟል - ሚስ. በሬዲዮሎጂ ውስጥ በጣም አደገኛ.
- የውሸት አወንታዊ (FP)፡ ሞዴሉ ተጠቁሟል ነገር ግን በሽተኛው ጤናማ ነው - የውሸት ማንቂያ።
- እውነተኛ አሉታዊ (TN)፡ ሞዴል ምልክት አላደረገም፣ በእርግጥ ጤናማ።
ከእነዚህ ውስጥ ሁለት መሠረታዊ መለኪያዎች ይነሳሉ-
- ስሜታዊነት = TP / (TP + FN): ስንት እውነተኛ ታካሚዎችን ያዝን? ከፍተኛ ስሜታዊነት ዝቅተኛ ጠለፋ ማለት ነው.
- Specificity = TN / (TN + FP)፡ ስንቱን ጤነኞች እንደ ጤነኛ የቆጠርናቸው? ከፍተኛ ልዩነት ማለት ያነሱ የውሸት ማንቂያዎች ማለት ነው።
መለኪያ
ቀመር
ከፍ ሲል
ራዲዮሎጂካል ጠቀሜታ
ስሜታዊነት
TP/(TP+FN)
ጥቂት የውሸት አሉታዊ ነገሮች
ከመጥፋቱ ለመዳን በጣም አስፈላጊ (ማጣራት ፣ መለያየት)
ልዩነት
ቲኤን/(ቲኤን+ኤፍፒ)
ጥቂት የውሸት አዎንታዊ ውጤቶች
አላስፈላጊ ምርመራን ይቀንሳል
የውሸት አሉታዊ መጠን
ኤፍኤን/(TP+FN)
መጥፎ
ጸጥ ያለ ጉዳት; ራዲዮሎጂስት መያዝ አለበት
የውሸት አዎንታዊ ጭነት
የ FPs ብዛት
ጭነት ይጨምራል
የማንቂያ ድካም, አስታውስ
"ትክክለኛነት"
(TP+TN)/ጠቅላላ
አሳሳች
በጣም አልፎ አልፎ በሽታዎች ይታያል, ያታልላል
አንድ ሞዴል ደፍ አለው (ውጤቱ እንደ “አዎንታዊ” ከሚባለው በላይ)፣ እና ይህ ገደብ በተቃራኒ አቅጣጫዎች ትብነትን እና ልዩነትን ይለውጣል፡ ጣራውን ዝቅ ካደረጉት የበለጠ ይያዛሉ (ትብነት ↑) ግን ተጨማሪ የውሸት ማንቂያዎችን ያሳድጉ (ልዩነት ↓)። ይህ የምህንድስና መቼት አይደለም ፣ ግን ክሊኒካዊ ውሳኔ ነው-የጠፋው ከባድ ወጪ ፣ ወይም የውሸት ማንቂያ ሸክም? ስሜታዊነት በአጠቃላይ በማጣሪያ እና በመለየት ቅድሚያ ይሰጣል።
ማስጠንቀቂያ፡ እንደ "95% ትክክለኛነት" ያለ ነጠላ ቁጥር በጭራሽ አትመኑ። አልፎ አልፎ በተገኙ ግኝቶች ትክክለኛነት አሳሳች ነው። የአንድን ሞዴል ትክክለኛ አፈፃፀም ስሜታዊነት ፣ ልዩነት ፣ የውሸት አሉታዊ መጠን እና የተለካበትን ህዝብ ሳይጠየቅ ሊታወቅ አይችልም።
ሁለት የሰው ወጥመዶች
አውቶሜሽን አድሎአዊነት፡- ሰዎች በራስ-ሰር ስርዓት ውጤት ላይ ከመጠን በላይ ሲተማመኑ እና የራሳቸውን ገለልተኛ ፍርድ ሲያዝናኑ። የራዲዮሎጂ ባለሙያው "AI አሉታዊ ነበር አለ ስለዚህ ንጹህ ነው" በማለት ምስሉን ላይ ላዩን ከዘለለው በአምሳያው ያመለጠው ግኝት ሙሉ በሙሉ ይዘለላል. የውሸት አሉታዊ ነገሮች ከአውቶሜሽን አድሎአዊነት ጋር ሲዋሃዱ፣ የሰው ልጅን የመፈተሽ ስሜት ይወገዳል።
የማንቂያ ድካም: ሞዴሉ ብዙ ቁጥር ያላቸው የውሸት ውጤቶችን በማምረት ምክንያት, የራዲዮሎጂ ባለሙያው በባንዲራዎች ላይ ያለውን እምነት ያጣል እና ሁሉንም በንፅፅር ማስወገድ ይጀምራል. ከአሥረኛው የውሸት ማንቂያ በኋላ እውነተኛ ግኝትም ሊወገድ ይችላል። እነዚህ ሁለት ወጥመዶች በተቃራኒ አቅጣጫዎች ናቸው, ነገር ግን ውጤታቸው አንድ አይነት ነው: እውነተኛ ግኝት ይጎድላል.
የእነዚህ ሁለት ወጥመዶች መድሐኒት አንድ አይነት ነው፡ የ AI ውፅአት ምንም ቢናገር የራዲዮሎጂ ባለሙያው የራሱን ስልታዊ ንባብ ያደርጋል። አይአይ ምልክት ቢያደርግም ባያደርግም ምስሉ በሙሉ ይቃኛል። AI "ሁለተኛ ዓይን" ነው; የመጀመሪያው ዓይን ሁልጊዜ የራዲዮሎጂ ባለሙያ ነው.
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - የውሸት አሉታዊ + አውቶሜሽን አድልዎ። የደረት ራዲዮግራፍ CAD በላይኛው ግራ ዞን ውስጥ ያለ ትንሽ ኖድል (ሐሰት አሉታዊ) አምልጦታል። ሥራ በበዛበት ቀን የራዲዮሎጂ ባለሙያው "CAD ግልጽ ነው" (ራስ-ሰር አድልዎ) በማሰብ በሬዲዮግራፍ ውስጥ ይሮጣል. ኖዱል ከ 8 ወራት በኋላ በ 2 ሴ.ሜ መጠን ያለው ክብደት ይታያል. ሁለት ስህተቶች ተጣመሩ፡ ሞዴል አምልጦታል፣ የሰው ልጅ አላጣራም። ትምህርት፡ አሉታዊ CAD ቢሆንም፣ ስልታዊ ንባብ አስፈላጊ ነው።
ጉዳይ 2 - የማንቂያ ድካም. የ pneumothorax ሞዴል ለሁለት ሳምንታት በቀን በአማካይ 8 ባንዲራዎችን ይጥላል, ከእነዚህ ውስጥ 1-2 ብቻ እውነተኛ ናቸው (ወደ 80% የውሸት አዎንታዊ). የራዲዮሎጂ ባለሙያው በባንዲራዎች ላይ ያለውን እምነት ያጣል. በሦስተኛው ሳምንት ውስጥ, እውነተኛ apical pneumothorax ባንዲራ ደግሞ "አይ" እንደ reflexively አለፈ; ሕመምተኛው ከአንድ ቀን በኋላ እየባሰ ይሄዳል. ትምህርት፡ ከፍተኛ የውሸት አዎንታዊ መጠን ያላቸው ሞዴሎች ክትትል ሊደረግባቸው፣ ደፍ/ሞዴል መከለስ እና እያንዳንዱ ባንዲራ ለማንኛውም መረጋገጥ አለበት።
ጉዳይ 3 - ትክክለኛው ሚዛን. በስትሮክ ማእከል ውስጥ የአንጎል ሲቲ ትሪያጅ ሞዴል በከፍተኛ ስሜት ይሠራል; የውሸት አዎንታዊ ውጤቶች ከፍተኛ ናቸው, ነገር ግን የራዲዮሎጂ ባለሙያው እያንዳንዱን ባንዲራ በ 60 ሰከንድ ውስጥ ያረጋግጣል እና በደቂቃዎች ውስጥ እውነተኛ የደም መፍሰስን ይገነዘባል. ቡድኑ በየሳምንቱ የውሸት አወንታዊ ደረጃን ይከታተላል, ከ 70% በላይ በሚሆንበት ጊዜ ከአምራቹ ጋር ያለውን ገደብ ይገመግማል. እዚህ, መለኪያዎች በንቃተ-ህሊና ይተዳደሩ ነበር; አውቶሜሽን አድሎአዊነትም ሆነ የማንቂያ ድካም አልተጀመረም።
ደካማ ጥያቄ / ጠንካራ ጥያቄ
ደካማ ጥያቄ፡
ይህ ሞዴል 97% ትክክለኛ ነው, አስተማማኝ ነው?
ነጠላ መለኪያ አሳሳች ነው; ስለ ህዝብ ብዛት፣ ስሜታዊነት፣ ልዩነት እና የውሸት አሉታዊ ጉዳዮችን ሳይጠይቁ መመለስ አይቻልም።
ኃይለኛ ጥያቄ፡-
የእርስዎ ሚና፡ የ AI ሞዴል የአፈጻጸም መለኪያዎችን በትችት እንዳነብ እርዳኝ።የውሳኔ አሰጣጥ፤ የትኞቹን ጥያቄዎች መጠየቅ እንዳለብኝ እና ምላሾቹ ምን ማለት እንደሆኑ አስረዳ። የአንድ ሞዴል የይገባኛል ጥያቄዎችን እሰጥዎታለሁ. አስቡበት፡ (1) የትኛዎቹ መለኪያዎች እንደተሰጡ እና እንደጠፉ (ትብነት፣ ስፔስፊኬሽን፣ የውሸት አሉታዊ መጠን፣ የህዝብ ብዛት፣ መሳሪያ)፣ (2) “ትክክለኝነት” ብቻውን አሳሳች መሆኑን፣ (3) ይህንን ሞዴል ለልዩነት/ምርመራ ወይም ለምርመራ መጠቀሙ ተገቢ እንደሆነ። የመጨረሻው ውሳኔ የራዲዮሎጂስት / ተቋም ነው. የይገባኛል ጥያቄ: "በ 97% ትክክለኛነት በ 1200 ታካሚዎች የተፈተነ ሞዴል."
ጠንካራ ፍላጎት የጎደሉትን መለኪያዎች ጥያቄ ውስጥ ይጥላል እና በነጠላ ቁጥሮች ላይ ያለውን ጥገኝነት ይሰብራል።
ሊገለበጡ የሚችሉ የጥያቄ አብነቶች
ሜትሪክ ወሳኝ ንባብ አብነት የእርስዎ ሚና፡ እገዛ። የሞዴል አፈጻጸም ጥያቄን እሰጥዎታለሁ። የጎደሉትን መለኪያዎች (ትብነት፣ ልዩነት፣ የውሸት አሉታዊ መጠን፣ የፈተና ብዛት፣ መሳሪያ/ፕሮቶኮል) እና ነጠላ ቁጥር (ትክክለኝነት) አሳሳች ሊሆኑ የሚችሉበትን ይዘርዝሩ። ሞዴሉ የትኛውን ተግባር (የመለያ/የማጣራት/የመመርመሪያ-እርዳታ) መጠቀም ተገቢ እንደሆነ ተወያዩ። ውሳኔው በተቋሙ ውስጥ ነው። የይገባኛል ጥያቄ: [መጻፍ]
THRESHOLD BALANCE DESCRIPATION TEMPLATEI የአንድን ሞዴል ደረጃ ከፍ የማድረግ/ማሳነስ ሁኔታ ይሰጥዎታል። የእያንዲንደ ትዕይንት ተፅእኖ በስሜታዊነት፣ ስፔስፊፊሊቲ፣ የውሸት ኔጋቲቭ እና የውሸት አወንታዊ ተፅእኖ ይግለጹ እና ክሊኒካዊ ውጤቶቹን ይፃፉ (ሚስት እና አላስፈላጊ ትውስታ)። ውሳኔው ክሊኒካዊ/ተቋማዊ ነው። ስክሪፕት: [መጻፍ]
አውቶሜሽን በራስ የመመርመር አብነት የንባብ ዲሲፕሊንን ከአውቶሜሽን አድልዎ የሚከላከል የፍተሻ መዝገብ አዘጋጅልኝ፡ በአሉታዊ AI ውፅዓት እንኳን ምን አይነት እርምጃዎችን መውሰድ እንዳለብኝ፣ ስልታዊ ቅኝትን እንዴት ማስቀጠል እንዳለብኝ፣ AI እንዴት እንደ “ማድረስ” ሳይሆን እንደ “ረዳት” ማቆየት እንደሚቻል።
ALERT FATIGUE MONITORING TEMPLATEI ሳምንታዊ የባንዲራ ብዛት እና ትክክለኛ አወንታዊ ቁጥሮች ይሰጥዎታል። የውሸት አወንታዊውን መጠን አስሉ፣ የነቃ ድካም ስጋትን ይገምግሙ እና ደፍ/ሞዴሉን ለመከለስ በየትኛው ደፍ ላይ እርምጃ መውሰድ እንዳለብኝ ይጠቁሙ። እያንዳንዱ ባንዲራ አሁንም መረጋገጥ አለበት የሚለውን መርህ አስታውሰኝ. ውሂብ: [መጻፍ]
የተለመዱ ስህተቶች
- በነጠላ "እውነት" ቁጥር ላይ መተማመን. ያልተለመደው ግኝትም አሳሳች ነው; ስሜታዊነት እና ልዩነት አንድ ላይ ሊጠየቁ ይገባል.
- አሉታዊ የኤአይአይ ውጤትን እንደ የምርመራ ዋስትና ማከም። ሞዴሉ አምልጦት ሊሆን ይችላል; ሥርዓታዊ ንባብ የግድ ነው።
- ወደ አውቶሜሽን አድልዎ መውደቅ። በ AI ላይ ከመጠን በላይ መታመን ነፃ ፍርድን ያዳክማል።
- የማንቂያ ድካምን ችላ ማለት. ከፍተኛ የውሸት አወንታዊ ክትትል ሊደረግበት ይገባል; እያንዳንዱ ባንዲራ አሁንም መረጋገጥ አለበት።
- የ “ቴክኒካዊ መቼት” ጣራውን በመሳሳት ላይ። ጣራው ክሊኒካዊ ሚዛን ነው; የራዲዮሎጂ ባለሙያው/ተቋሙ የጠፉ እና የውሸት ማንቂያዎችን ዋጋ ይመዝናል።
ጠቃሚ ምክር: ለራስህ ህግ አውጣ: " AI ምንም ቢናገር, ሙሉውን ምስል አንብቤዋለሁ." ይህ ነጠላ ህግ ሁለቱንም አውቶሜሽን አድልዎ (በአሉታዊው ዘና የማይል) እና የማንቂያ ደክሞትን (አዎንታዊ በሆነ መልኩ አያስወግድም) ይገድባል።
በማጠቃለያው
የራዲዮሎጂ ሞዴልን መገምገም አንድ ነጠላ "ትክክለኛነት" ቁጥርን መመልከት አይደለም. ስሜታዊነት (ምንም አያመልጡም) ፣ ልዩነት (የሐሰት ማንቂያዎች የሉም) ፣ የውሸት አሉታዊ መጠን እና የፈተና ብዛት አንድ ላይ መነበብ አለባቸው። የመነሻ ምርጫው ክሊኒካዊ ሚዛን ነው. ሁለቱ የሰዎች ወጥመዶች - በ AI ከመጠን በላይ በራስ መተማመን (አውቶሜትድ አድልዎ) እና የውሸት ማንቂያዎችን መለማመድ እና ባንዲራውን (የደወል ድካም) ማስወገድ - በተቃራኒ አቅጣጫዎች ይሂዱ ነገር ግን በተመሳሳይ ውጤት ያበቃል, እውነተኛ ግኝት ይጎድላል. አንድ መድሃኒት ብቻ አለ: AI ምንም ቢናገር, ራዲዮሎጂስቱ የራሱን ስልታዊ ንባብ ያደርገዋል. አሉታዊ AI ዋስትና አይደለም, ነገር ግን ቢበዛ ጠቃሚ ምልክት; ምልክት ያልተደረገበት ቦታም መነበብ አለበት።
የመተግበሪያ ተግባር
ያለዎትን ሞዴል (ወይም ናሙና) የማስተዋወቂያ ጽሑፍ ይውሰዱ። በ "ሜትሪክስ ወሳኝ ንባብ" አብነት, የትኞቹ መለኪያዎች እንደሚሰጡ, የትኞቹ እንደጠፉ እና ለየትኛው ተግባር ሞዴሉን መጠቀም ተገቢ እንደሆነ ይገምግሙ. ከዚያ በሳምንት ጊዜ ውስጥ የሶስትዮሽ ባንዲራ ስንት ጊዜ እውን እንደሚሆን ለመከታተል ቀለል ያለ ቻርት ይንደፉ። የውሸት አወንታዊ መጠን እርስዎ ካስቀመጡት ገደብ (ለምሳሌ 70%) ካለፉ ምን አይነት እርምጃ እንደሚወስዱ ይጻፉ። በመጨረሻም፣ “Automation Bias Self-Audit” የሚለውን ዝርዝር ወደ ራስህ የማንበብ ልማድ አስተካክል።
የማረጋገጫ ዝርዝር
- [ ] በነጠላ "ትክክለኛነት" ቁጥር ላይ አልታመንኩም; ስለ ስሜታዊነት እና ልዩነት ጠየኩኝ።
- [ ] የውሸት አሉታዊ መጠን ተማርኩ እና የህዝብ ብዛትን ፈትሽ።
- [] አሉታዊ የኤአይኤ ውጤት ቢኖረውም, ስልታዊ ንባብዬን አደረግሁ.
- [] በ AI (ከአውቶሜሽን አድሎአዊነት ጋር) ከመጠን በላይ በራስ መተማመን አልነበረኝም።
- [] የውሸት አወንታዊ ነገሮችን ተመለከትኩኝ; እያንዳንዱን ባንዲራ አረጋግጫለሁ (በንቃት ድካም)።
- [] የመግቢያው ምርጫ ክሊኒካዊ ሚዛን መሆኑን ግምት ውስጥ ያስገባሁ።
- [] " AI ምንም ቢናገር ሙሉውን ምስል አነባለሁ" የሚለውን ህግ ተከትዬ ነበር.