ஆதாயங்கள்:
- கதிரியக்கத்தின் பின்னணியில் உணர்திறன், தனித்தன்மை, தவறான எதிர்மறை மற்றும் தவறான நேர்மறை ஆகியவற்றின் கருத்துகளை விளக்குவது மற்றும் ஒரு மாதிரியின் அளவீடுகளை விமர்சன ரீதியாக படிக்கும் திறன்.
- தன்னியக்க சார்பு (செயற்கை நுண்ணறிவை அதிகமாக நம்புதல்) மற்றும், மாறாக, எச்சரிக்கை சோர்வு மற்றும் இந்த இரண்டு பொறிகளுக்கு எதிராக வாசிப்பு ஒழுக்கத்தை பாதுகாக்க முடியும்
- செயற்கை நுண்ணறிவால் குறிக்கப்படாத ஒரு பகுதியை கதிரியக்க நிபுணர் படிக்க வேண்டும் என்பதையும், எதிர்மறையான AI வெளியீடு நோயறிதலுக்கு உத்தரவாதம் இல்லை என்பதையும் புரிந்துகொள்வது.
கதிரியக்க AIக்கான இரண்டு மிக முக்கியமான எண்கள், அது எத்தனை கண்டுபிடிப்புகளைப் பிடிக்கிறது மற்றும் எத்தனை தவறான அலாரங்களை எழுப்புகிறது. ஒரு உற்பத்தியாளர் உங்களிடம் "எங்கள் மாதிரி 96% துல்லியமானது" என்று சொன்னால், அது மட்டும் எதுவும் கூறவில்லை. ஏனென்றால், அரிதான கண்டுபிடிப்புக்கு (1000 தேர்வுகளில் 10 நோய்கள்), எதையும் கொடியிடாத மாதிரி கூட "99% துல்லியமாக" தோன்றலாம் - இது 990 ஆரோக்கியமானவர்களை சரியாக அடையாளம் கண்டு, 10 நோயாளிகளை மட்டுமே இழக்கிறது. இந்த யூனிட்டில், கதிரியக்கத்தின் முக்கியமான அளவீடுகளான உணர்திறன், தனித்தன்மை, தவறான எதிர்மறை, தவறான நேர்மறை போன்றவற்றை ஒரு நிபுணரைப் போல விமர்சன ரீதியாகப் படிப்பது மற்றும் இரண்டு ஆபத்தான மனிதப் பொறிகளான ஆட்டோமேஷன் சார்பு மற்றும் எச்சரிக்கை சோர்வு ஆகியவற்றை எவ்வாறு கண்டறிவது என்பதைக் கற்றுக்கொள்வோம்.
அடிப்படைக் கொள்கை: செயற்கை நுண்ணறிவால் குறிக்கப்படாத பகுதியும் கதிரியக்கவியலாளரால் படிக்கப்படுகிறது. எதிர்மறையான AI முடிவு நோயறிதலுக்கு உத்தரவாதம் அல்ல; மாதிரி கண்டுபிடிப்பை தவறவிட்டிருக்கலாம் (தவறான எதிர்மறை). மாடல் பாதுகாப்பாக தவறாக இருக்கும் போது சரியான தருணங்களைப் படம்பிடிப்பதே மனித கண்காணிப்பின் முக்கிய அம்சமாகும்.
ஒரு நிபுணரைப் போல அளவீடுகளைப் படித்தல்
நான்கு அடிப்படைக் கருத்துக்களைத் தெளிவுபடுத்துவோம். 1000 தேர்வுகளில் ஒரு மாதிரியை சோதித்தோம், அவர்களில் 100 பேருக்கு உண்மையில் நோய் இருந்தது என்று வைத்துக்கொள்வோம்.
- உண்மை நேர்மறை (TP): மாதிரி நோயாளி, உண்மையிலேயே நோய்வாய்ப்பட்டிருப்பதைக் குறித்தது.
- தவறான எதிர்மறை (FN): மாதிரி குறிக்கப்படவில்லை ஆனால் நோயாளி உடல்நிலை சரியில்லாமல் இருக்கிறார் - தவறவிட்டார். கதிரியக்கத்தில் மிகவும் ஆபத்தானது.
- தவறான நேர்மறை (FP): மாதிரி கொடியிடப்பட்டது ஆனால் நோயாளி ஆரோக்கியமாக இருக்கிறார் - தவறான எச்சரிக்கை.
- உண்மை எதிர்மறை (TN): மாடல் குறிக்கப்படவில்லை, உண்மையில் ஆரோக்கியமானது.
இவற்றிலிருந்து இரண்டு அடிப்படை அளவீடுகள் எழுகின்றன:
- உணர்திறன் = TP / (TP + FN): எத்தனை உண்மையான நோயாளிகளைப் பிடித்தோம்? அதிக உணர்திறன் குறைந்த கடத்தல் என்று பொருள்.
- விவரக்குறிப்பு = TN / (TN + FP): ஆரோக்கியமானவர்களில் எத்தனை பேர் ஆரோக்கியமானவர்கள் என்று எண்ணினோம்? அதிக விவரக்குறிப்பு என்பது குறைவான தவறான அலாரங்களைக் குறிக்கிறது.
மெட்ரிக்
சூத்திரம்
அது அதிகமாக இருக்கும்போது
கதிரியக்க முக்கியத்துவம்
உணர்திறன்
TP/(TP+FN)
சில தவறான எதிர்மறைகள்
தவறவிடாமல் இருக்க முக்கியமானது (திரையிடல், சோதனை)
தனித்தன்மை
TN/(TN+FP)
சில தவறான நேர்மறைகள்
தேவையற்ற பரிசோதனையை குறைக்கிறது
தவறான எதிர்மறை விகிதம்
FN/(TP+FN)
மோசமான
அமைதியான தீங்கு; கதிரியக்க நிபுணர் பிடிக்க வேண்டும்
தவறான நேர்மறை சுமை
FP களின் எண்ணிக்கை
சுமை அதிகரிக்கிறது
அலாரம் சோர்வு, நினைவு
"துல்லியம்"
(TP+TN)/மொத்தம்
தவறாக வழிநடத்தும்
அரிதான நோயில் அதிகமாக தோன்றும், ஏமாற்றுகிறது
ஒரு மாடலுக்கு த்ரெஷோல்ட் உள்ளது (அதற்கு மேல் மதிப்பெண் "பாசிட்டிவ்" என்று கருதப்படுகிறது), மேலும் இந்த வரம்பு எதிரெதிர் திசைகளில் உணர்திறன் மற்றும் தனித்துவத்தை மாற்றுகிறது: நீங்கள் வாசலைக் குறைத்தால், நீங்கள் அதிகமாகப் பிடிப்பீர்கள் (உணர்திறன் ↑) ஆனால் அதிக தவறான அலாரங்களை எழுப்புவீர்கள் (குறிப்பு ↓). இது ஒரு பொறியியல் அமைப்பு அல்ல, ஆனால் ஒரு மருத்துவ முடிவு: காணாமல் போனதற்கான அதிக செலவு, அல்லது தவறான எச்சரிக்கையின் சுமை? ஸ்கிரீனிங் மற்றும் ட்ரேஜில் பொதுவாக உணர்திறன் முன்னுரிமை அளிக்கப்படுகிறது.
எச்சரிக்கை: "95% துல்லியம்" போன்ற ஒற்றை எண்ணை ஒருபோதும் நம்ப வேண்டாம். அரிதான கண்டுபிடிப்புகளில், துல்லியம் தவறாக வழிநடத்துகிறது. ஒரு மாதிரியின் உண்மையான செயல்திறனை உணர்திறன், குறிப்பிட்ட தன்மை, தவறான எதிர்மறை விகிதம் மற்றும் அது அளவிடப்பட்ட மக்கள் தொகை ஆகியவற்றைக் கேட்காமல் அறிய முடியாது.
இரண்டு மனித பொறிகள்
ஆட்டோமேஷன் சார்பு: மக்கள் தன்னியக்க அமைப்பின் வெளியீட்டை அதிகமாக நம்பி, தங்கள் சொந்த சுயாதீன தீர்ப்பை தளர்த்தும்போது. கதிரியக்க நிபுணர் மேலோட்டமாக "AI சொன்னது நெகட்டிவ், அதனால் சுத்தமானது" என்று சொல்லி படத்தைத் தவிர்த்துவிட்டால், மாதிரி தவறவிட்ட கண்டுபிடிப்பு முற்றிலும் தவிர்க்கப்படும். தவறான எதிர்மறைகள் தன்னியக்க சார்புடன் இணைந்தால், மனித ஆய்வுக்கான தூண்டுதல் அகற்றப்படுகிறது.
எச்சரிக்கை சோர்வு: மாடல் அதிக எண்ணிக்கையிலான தவறான நேர்மறைகளை உருவாக்குவதன் விளைவாக, கதிரியக்க நிபுணர் கொடிகள் மீதான நம்பிக்கையை இழந்து, அவை அனைத்தையும் பிரதிபலிப்புடன் அகற்றத் தொடங்குகிறார். பத்தாவது தவறான அலாரத்திற்குப் பிறகு உண்மையான கண்டுபிடிப்பு அகற்றப்படலாம். இந்த இரண்டு பொறிகளும் எதிர் திசையில் உள்ளன, ஆனால் அவற்றின் முடிவுகள் ஒன்றே: உண்மையான கண்டுபிடிப்பை காணவில்லை.
இந்த இரண்டு பொறிகளுக்கான மாற்று மருந்து ஒன்றுதான்: AI வெளியீடு என்ன சொன்னாலும், கதிரியக்க நிபுணர் தனது சொந்த முறையான வாசிப்பைச் செய்கிறார். AI அதைக் குறிக்கிறதோ இல்லையோ, முழுப் படமும் ஸ்கேன் செய்யப்படுகிறது. AI என்பது "இரண்டாவது கண்"; முதல் கண் எப்போதும் கதிரியக்க நிபுணர்.
மூன்று சிறிய வழக்குகள்
வழக்கு 1 — தவறான எதிர்மறை + ஆட்டோமேஷன் சார்பு. ஒரு மார்பு ரேடியோகிராஃப் CAD மேல் இடது மண்டலத்தில் ஒரு சிறிய முடிச்சு (தவறான எதிர்மறை) தவறிவிட்டது. ஒரு வேலையான நாளில், கதிரியக்க நிபுணர் "CAD தெளிவாக உள்ளது" (தானியங்கு சார்பு) என்று ரேடியோகிராஃப் மூலம் விரைகிறார். முடிச்சு 8 மாதங்களுக்குப் பிறகு 2 செ.மீ. இரண்டு பிழைகள் இணைந்துள்ளன: மாதிரி தவறிவிட்டது, மனிதர் சரிபார்க்கவில்லை. பாடம்: எதிர்மறை CAD இருந்தாலும், முறையான வாசிப்பு அவசியம்.
வழக்கு 2 - அலாரம் சோர்வு. ஒரு நியூமோதோராக்ஸ் மாதிரி இரண்டு வாரங்களுக்கு ஒரு நாளைக்கு சராசரியாக 8 கொடிகளை வீசுகிறது, அவற்றில் 1-2 மட்டுமே உண்மையானவை (சுமார் 80% தவறான நேர்மறைகள்). கதிரியக்க நிபுணர் கொடிகள் மீதான நம்பிக்கையை இழக்கிறார். மூன்றாவது வாரத்தில், ஒரு உண்மையான நுனி நியூமோதோராக்ஸ் கொடியும் "இல்லை" என அனிச்சையாக அனுப்பப்படுகிறது; ஒரு நாளுக்குப் பிறகு நோயாளி மோசமாகிவிடுகிறார். பாடம்: அதிக தவறான நேர்மறை விகிதத்தைக் கொண்ட மாதிரிகள் கண்காணிக்கப்பட வேண்டும், வரம்பு/மாடல் மதிப்பாய்வு செய்யப்பட வேண்டும், மேலும் ஒவ்வொரு கொடியும் எப்படியும் உறுதிப்படுத்தப்பட வேண்டும்.
வழக்கு 3 - சரியான சமநிலை. ஒரு பக்கவாதம் மையத்தில், மூளை CT டிரேஜ் மாதிரி அதிக உணர்திறனுடன் வேலை செய்கிறது; தவறான நேர்மறைகள் அதிகம், ஆனால் ரேடியலஜிஸ்ட் ஒவ்வொரு கொடியையும் 60 வினாடிகளில் உறுதிசெய்து சில நிமிடங்களில் உண்மையான இரத்தப்போக்கைக் கண்டறிவார். குழுவானது தவறான நேர்மறை விகிதத்தை வாரந்தோறும் கண்காணித்து, அது 70% ஐத் தாண்டும்போது உற்பத்தியாளரிடம் மதிப்பாய்வு செய்கிறது. இங்கே, அளவீடுகள் உணர்வுபூர்வமாக நிர்வகிக்கப்பட்டன; ஆட்டோமேஷன் சார்பு அல்லது எச்சரிக்கை சோர்வு எதுவும் அமைக்கப்படவில்லை.
பலவீனமான வரியில் / வலுவான வரியில்
பலவீனமான உடனடி:
இந்த மாதிரி 97% துல்லியமானது, இது நம்பகமானதா?
ஒற்றை மெட்ரிக் தவறானது; மக்கள் தொகை, உணர்திறன், தனித்தன்மை மற்றும் தவறான எதிர்மறைகள் பற்றிய கேள்விகளைக் கேட்காமல் பதிலளிக்க முடியாது.
சக்திவாய்ந்த தூண்டுதல்:
உங்கள் பங்கு: AI மாதிரியின் செயல்திறன் அளவீடுகளை விமர்சன ரீதியாகப் படிக்க எனக்கு உதவுங்கள். முடிவெடுத்தல்; நான் என்ன கேள்விகளைக் கேட்க வேண்டும் மற்றும் பதில்கள் என்ன என்பதை விளக்குங்கள். ஒரு மாதிரியின் உரிமைகோரல்களை நான் உங்களுக்கு தருகிறேன். கருத்தில் கொள்ளுங்கள்: (1) எந்த அளவீடுகள் கொடுக்கப்பட்டுள்ளன, எவை காணவில்லை (உணர்திறன், விவரக்குறிப்பு, தவறான எதிர்மறை விகிதம், மக்கள் தொகை, சாதனம்), (2) "துல்லியம்" மட்டும் தவறாக வழிநடத்துகிறதா, (3) சோதனை/திரையிடல் அல்லது நோயறிதலுக்கு இந்த மாதிரியைப் பயன்படுத்துவது பொருத்தமானதா. இறுதி முடிவு கதிரியக்க நிபுணர்/நிறுவனம் சார்ந்தது. உரிமைகோரல்: "97% துல்லியத்துடன் 1200 நோயாளிகளில் மாதிரி சோதனை செய்யப்பட்டது."
வலுவான கோரிக்கை விடுபட்ட அளவீடுகளை கேள்விக்குள்ளாக்குகிறது மற்றும் ஒற்றை எண்களின் மீதான நம்பிக்கையை உடைக்கிறது.
நகலெடுக்கக்கூடிய உடனடி வார்ப்புருக்கள்
மெட்ரிக் கிரிடிகல் ரீடிங் டெம்ப்ளேட் உங்கள் பங்கு: உதவி. ஒரு மாதிரியின் செயல்திறன் உரிமைகோரலை நான் உங்களுக்கு வழங்குகிறேன். விடுபட்ட அளவீடுகள் (உணர்திறன், விவரக்குறிப்பு, தவறான எதிர்மறை விகிதம், சோதனை மக்கள்தொகை, சாதனம்/நெறிமுறை) மற்றும் ஒற்றை எண் (துல்லியம்) தவறாக வழிநடத்தக்கூடியவற்றைப் பட்டியலிடுங்கள். எந்தப் பணிக்கு (சோதனை/திரையிடல்/கண்டறிதல்-உதவி) மாதிரியைப் பயன்படுத்துவது பொருத்தமானது என்பதைப் பற்றி விவாதிக்கவும். முடிவு நிறுவனத்தில் உள்ளது. உரிமைகோரல்: [எழுது]
த்ரெஷோல்ட் பேலன்ஸ் விளக்க டெம்ப்ளேட், மாதிரியின் வரம்பை உயர்த்துவது/குறைப்பது போன்ற ஒரு காட்சியை உங்களுக்கு வழங்கும். உணர்திறன், தனித்தன்மை, தவறான எதிர்மறை மற்றும் தவறான நேர்மறை ஆகியவற்றில் ஒவ்வொரு காட்சியின் தாக்கத்தையும் விவரிக்கவும் மற்றும் அதன் மருத்துவ முடிவை எழுதவும் (மிஸ் vs. தேவையற்ற நினைவு). முடிவு மருத்துவம்/நிறுவனமானது. ஸ்கிரிப்ட்: [எழுது]
ஆட்டோமேஷன் பயாஸ் சுய-தணிக்கை டெம்ப்ளேட் எனக்கு ஒரு சரிபார்ப்பு பட்டியலை உருவாக்கவும், இது ஆட்டோமேஷன் சார்புக்கு எதிராக எனது வாசிப்பு ஒழுக்கத்தை பாதுகாக்கும்: எதிர்மறை AI வெளியீட்டில் கூட நான் என்ன நடவடிக்கைகளை எடுக்க வேண்டும், முறையான ஸ்கேனிங்கை எவ்வாறு பராமரிப்பது, AI ஐ "டெலிவரி கருவியாக" இல்லாமல் "உதவியாக" வைத்திருப்பது எப்படி.
எச்சரிக்கை சோர்வு கண்காணிப்பு டெம்ப்ளேட் வாராந்திர கொடி எண்ணிக்கைகள் மற்றும் உண்மையான நேர்மறை எண்களை உங்களுக்கு வழங்கும். தவறான நேர்மறை விகிதத்தைக் கணக்கிடவும், விழிப்பூட்டல் சோர்வின் அபாயத்தை மதிப்பிடவும், மற்றும் த்ரெஷோல்ட்/மாடலை மறுபரிசீலனை செய்ய நான் எந்த வாசலில் நடவடிக்கை எடுக்க வேண்டும் என்று பரிந்துரைக்கவும். ஒவ்வொரு கொடியும் இன்னும் உறுதிப்படுத்தப்பட வேண்டும் என்ற கொள்கையை எனக்கு நினைவூட்டுங்கள். தரவு: [எழுது]
பொதுவான தவறுகள்
- ஒற்றை "உண்மை" எண்ணை நம்பி. அரிய கண்டுபிடிப்பும் தவறானது; உணர்திறன் மற்றும் தனித்தன்மையை ஒன்றாகக் கேட்க வேண்டும்.
- எதிர்மறை AI வெளியீட்டை கண்டறியும் உத்தரவாதமாக கருதுதல். மாதிரி அதை தவற விட்டிருக்கலாம்; முறையான வாசிப்பு அவசியம்.
- ஆட்டோமேஷன் சார்புக்குள் விழுகிறது. AI மீதான அதிகப்படியான நம்பிக்கையானது சுயாதீனமான தீர்ப்பைக் குறைமதிப்பிற்கு உட்படுத்துகிறது.
- அலார சோர்வை புறக்கணித்தல். உயர் தவறான நேர்மறைகள் கண்காணிக்கப்பட வேண்டும்; ஒவ்வொரு கொடியும் இன்னும் உறுதிப்படுத்தப்பட வேண்டும்.
- வாசலை "தொழில்நுட்ப அமைப்பு" என்று தவறாகப் புரிந்துகொள்வது. வாசலில் ஒரு மருத்துவ சமநிலை உள்ளது; கதிரியக்க நிபுணர்/நிறுவனம் தவறவிட்ட மற்றும் தவறான அலாரங்களின் விலையை எடைபோடுகிறது.
உதவிக்குறிப்பு: உங்களுக்காக ஒரு விதியை உருவாக்கவும்: "AI என்ன சொன்னாலும், நான் முழு படத்தையும் படிக்கிறேன்." இந்த ஒற்றை விதி ஒரே நேரத்தில் தன்னியக்க சார்பு (எதிர்மறையில் ஓய்வெடுக்காது) மற்றும் அலாரம் சோர்வு (நேர்மறையை நீக்காமல்) இரண்டையும் கட்டுப்படுத்துகிறது.
சுருக்கமாக
கதிரியக்க மாதிரியை மதிப்பிடுவது என்பது ஒரு "துல்லியம்" எண்ணைப் பார்ப்பது அல்ல. உணர்திறன் (தவறல்கள் இல்லை), குறிப்பிட்ட தன்மை (தவறான அலாரங்கள் இல்லை), தவறான எதிர்மறை விகிதம் மற்றும் சோதனை மக்கள் தொகை ஆகியவற்றை ஒன்றாகப் படிக்க வேண்டும்; வாசலின் தேர்வு ஒரு மருத்துவ சமநிலை. இரண்டு மனிதப் பொறிகள் - AI மீதான அதீத நம்பிக்கை (ஆட்டோமேஷன் சார்பு) மற்றும் தவறான அலாரங்களுக்குப் பழகுதல் மற்றும் கொடியை (அலாரம் சோர்வு) நீக்குதல் - எதிர் திசைகளில் சென்று அதே முடிவுடன் முடிவடைகிறது, உண்மையான கண்டுபிடிப்பை இழக்கிறது. ஒரே ஒரு மாற்று மருந்து உள்ளது: AI என்ன சொன்னாலும், கதிரியக்க நிபுணர் தனது சொந்த முறையான வாசிப்பை உருவாக்குகிறார். எதிர்மறை AI ஒரு உத்தரவாதம் அல்ல, ஆனால் அதிகபட்சம் ஒரு பயனுள்ள சமிக்ஞை; குறிக்கப்படாத பகுதியையும் படிக்க வேண்டும்.
விண்ணப்ப பணி
உங்களிடம் உள்ள மாதிரியின் (அல்லது ஒரு மாதிரி) விளம்பர உரையை எடுத்துக் கொள்ளுங்கள். "மெட்ரிக்ஸ் கிரிட்டிகல் ரீடிங்" டெம்ப்ளேட்டைக் கொண்டு, எந்த அளவீடுகள் வழங்கப்பட்டுள்ளன, எவை விடுபட்டுள்ளன, எந்தப் பணிக்கு மாதிரியைப் பயன்படுத்துவது பொருத்தமானது என்பதை மதிப்பீடு செய்யவும். ஒரு வாரத்தில் ட்ரையேஜ் கொடி எத்தனை முறை உண்மையாகிறது என்பதைக் கண்காணிக்க எளிய விளக்கப்படத்தை வடிவமைக்கவும்; தவறான நேர்மறை விகிதம் நீங்கள் நிர்ணயித்த வரம்பை விட அதிகமாக இருந்தால் என்ன நடவடிக்கை எடுப்பீர்கள் என்பதை எழுதுங்கள் (உதாரணமாக, 70%). இறுதியாக, "ஆட்டோமேஷன் பயாஸ் சுய-தணிக்கை" பட்டியலை உங்கள் சொந்த வாசிப்பு வழக்கத்திற்கு மாற்றவும்.
சரிபார்ப்பு பட்டியல்
- [ ] நான் ஒற்றை "துல்லியம்" எண்ணை நம்பவில்லை; நான் உணர்திறன் மற்றும் தனித்தன்மை பற்றி கேட்டேன்.
- [ ] நான் தவறான எதிர்மறை விகிதம் மற்றும் சோதனை மக்கள்தொகையைக் கற்றுக்கொண்டேன்.
- [ ] எதிர்மறையான AI வெளியீடு இருந்தபோதிலும், நான் எனது முறையான வாசிப்பை செய்தேன்.
- [ ] எனக்கு AI (எதிராக ஆட்டோமேஷன் சார்பு) மீது அதிக நம்பிக்கை இல்லை.
- [ ] நான் தவறான நேர்மறைகளை கவனித்தேன்; நான் ஒவ்வொரு கொடியையும் உறுதிப்படுத்தினேன் (எச்சரிக்கை சோர்வுக்கு எதிராக).
- [ ] வாசலின் தேர்வு ஒரு மருத்துவ சமநிலை என்பதை நான் கணக்கில் எடுத்துக் கொண்டேன்.
- [ ] "AI என்ன சொன்னாலும் முழுப் படத்தையும் படிக்கிறேன்" என்ற விதியைப் பின்பற்றினேன்.