ලාභ:
- ගැටළු වර්ගයට සහ ව්යාපාරික සන්දර්භයට ගැළපෙන මෙට්රික් තෝරා ගැනීමේ හැකියාව (PR-AUC/ අසමතුලිත දත්තවල නැවත කැඳවීම, MAE/RMSE ප්රතිගමනයේ දී) සහ ඉගෙනීම වැඩි/අතර හඳුනා ගැනීමේ හැකියාව
- එක් එක් මෙට්රික් මූලික රේඛාවකට එරෙහිව අර්ථකථනය කිරීමේ හැකියාව සහ අපගමනය මැනීම සහ හරස් වලංගුකරණය සමඟ ප්රගතියෙන් ශබ්දය වෙන් කිරීම
- වලංගුකරණ කට්ටලය සමඟ අධිපරාමිතීන් සුසර කිරීමෙන් සහ අවසානයේ පමණක් පරීක්ෂණ කට්ටලය භාවිතා කිරීමෙන් ශුභවාදී නොවන ප්රතිඵල වාර්තා කිරීමේ හැකියාව
ආදර්ශ පුහුණුව (පුහුණුව: දත්ත වලින් රටා ඉගෙනීමේ ක්රියාවලිය) ML ඉංජිනේරු විද්යාවේ වඩාත්ම දෘශ්යමාන නමුත් වඩාත්ම නොමඟ යවන පියවර වේ. එය දිස්වන්නේ එය "නිරවද්යතාව 95%" වැනි සතුටුදායක සංඛ්යාවක් නිපදවන බැවිනි. එම අංකය බොහෝ විට වැරදි ප්රශ්නයට නිවැරදි පිළිතුර වන නිසා නොමඟ යැවීම. මෙම ඒකකය තුළ අධ්යාපනය සහ ඇගයීම ඉංජිනේරු විනය සමඟ සාකච්ඡා කෙරේ; අපි පර්යේෂණාත්මක නිර්මාණයේ හවුල්කරුවෙකු ලෙස කෘතිම බුද්ධිය භාවිතා කරන අතර මිනුම් මත තීරණය පදනම් කරමු.
පුහුණු චක්රයේ තර්කනය
අලාභ ශ්රිතයක් අවම කිරීම මගින් ආකෘතියක් දත්තවල රටාව ඉගෙන ගනී: ආකෘතියේ දෝෂය සංඛ්යාත්මකව මනින ශ්රිතයකි. ප්රශස්තිකරණ ඇල්ගොරිතම (උදා: ශ්රේණිගත සම්භවය) පියවරෙන් පියවර පරාමිතීන් සකස් කිරීමෙන් පාඩුව අඩු කරයි. අරමුණ පුහුණු දත්ත කටපාඩම් කිරීම නොව, පෙර නොවූ විරූ දත්ත වලට සාමාන්යකරණය කිරීමයි.
ප්රධාන අන්තරායන් දෙකක්:
- වැඩිපුර ගැළපීම: ආකෘතිය පුහුණු දත්ත මතක තබා ගන්නා අතර නව දත්ත මත අසාර්ථක වේ. පුහුණු සාර්ථකත්වය ඉහළයි, සත්යාපන සාර්ථකත්වය අඩුයි.
- යටපත් කිරීම: ආකෘතියට රටාව අල්ලා ගත නොහැක; පුහුණුව සහ වලංගු කිරීමේ සාර්ථකත්වය යන දෙකම අඩුය.
සමතුලිතතාවය සොයා ගැනීම අධ්යාපනයේ කලාවයි. මෙම ශේෂය නිරීක්ෂණය කිරීම සඳහා වලංගුකරණ කට්ටලය ඇත: පුහුණු සාර්ථකත්වය වැඩි වන අතර වලංගු කිරීමේ සාර්ථකත්වය අඩු වීමට පටන් ගනී නම්, ඉගෙනීම ආරම්භ වී ඇත.
ඉඟිය: සෑම පියවරකදීම පුහුණුව සහ වලංගු කිරීමේ පාඩුව සැලසුම් කරන්න. වක්ර දෙක අපසරනය වීමට පටන් ගන්නා ලක්ෂ්යය අධි ඉගෙනීම ආරම්භ වන අතර එය "ඉක්මන් නැවැත්වීමට" නියම මොහොත වේ.
මෙට්රික් තේරීම: වඩාත්ම තීරණාත්මක තීරණය
වැරදි මෙට්රික් නිසා හොඳ ආකෘතියක් නරක ලෙසත් නරක ආකෘතියක් හොඳ පෙනුමක්ත් ඇති කරයි. ගැටළුව මෙට්රික් තීරණය කරයි:
- අසමතුලිත වර්ගීකරණය (එක් පන්තියක් ඉතා දුර්ලභ ය, උදා. වංචාව): නිරවද්යතාව නොමඟ යවන සුළුය. "සියල්ල සාමාන්ය ලෙස අමතන්න" යැයි පවසන මාදිලියකට 99% නිරවද්යතාවයක් ලැබෙනු ඇත, නමුත් එක වංචාවක්වත් හසු නොවනු ඇත. ඒ වෙනුවට, නිරවද්යතාවය (මා අල්ලා ගත් දෙයින් කොපමණ ප්රමාණයක් ඇත්ත වශයෙන්ම ධනාත්මකද), සිහිපත් කිරීම (මා අල්ලා ගත් දෙයින් කොපමණ ප්රමාණයක් සත්ය ධනාත්මකද) සහ ඒවායේ ශේෂය F1 හෝ PR-AUC භාවිතා වේ.
- සමබර වර්ගීකරණය: නිරවද්යතාවය සහ ROC-AUC සුදුසු විය හැක.
- ප්රතිගාමීත්වය (සංඛ්යා ඇස්තමේන්තුව): MAE (මධ්යන්ය නිරපේක්ෂ දෝෂය), RMSE (විශාල දෝෂ සඳහා දඬුවම් කරයි), MAPE (ප්රතිශත දෝෂය).
- ශ්රේණිගත කිරීම/නිර්දේශය: NDCG, MRR, Recall@K.
නිරවද්යතාවය හෝ නැවත කැඳවීම වැදගත්ද යන්න ව්යාපාරික සන්දර්භය මත රඳා පවතී. නැවත කැඳවීම (කිසිදු රෝගියෙකු අතුරුදහන් නොවේ) පිළිකා පරීක්ෂාවේදී ප්රමුඛතාවයකි; ස්පෑම් ෆිල්ටරයේ නිරවද්යතාව (වැදගත් ඊමේල් ස්පෑම් වෙත නොයැවීම) වැදගත් වේ. මෙය ව්යාපාරික තීරණයක් මිස තාක්ෂණික තීරණයක් නොවන අතර ඉංජිනේරුවරයා සහ හිමිකරු එක්ව ගනු ලැබේ.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල විමසුම: "මගේ ආකෘතියේ කාර්ය සාධනය, නිරවද්යතාවය 0.97 තක්සේරු කරන්න."
ප්රබල විමසුම: "මා සතුව වංචා හඳුනාගැනීමේ ආකෘතියක් ඇත; ධනාත්මක පන්ති අනුපාතය 1.5%කි. නිරවද්යතාව 0.97 ලෙස වාර්තා වේ. මෙම මිතිකය නොමඟ යවන්නේ මන්දැයි පැහැදිලි කරන්න, කුමන ප්රමිතික (නිරවද්යතාවය, නැවත කැඳවීම, PR-AUC) මා කැමති විය යුතුද සහ ඇයි දැයි මට කියන්න. එසේම 'ඇමතුම් සියල්ල සෘණාත්මකව බලන්න' යන නියම අගයක් කොපමණ නිවැරදිද යන්න ගණනය කරන්න."
වෙනස: ප්රබල විමසුම පන්ති අනුපාතය සහ ව්යාපාරික සන්දර්භය ලබා දෙයි; එය මූලික ආදර්ශ සැසඳීමක් ද ඉල්ලා සිටී - මෙට්රික් අර්ථවත් ද යන්න සඳහා වඩාත්ම වැදගත් නැංගුරම මෙයයි.
මූලික: සැසඳීමකින් තොරව මෙට්රික් අර්ථ විරහිත ය
මෙට්රික් එකක් තනියම හොඳ හෝ නරක නැත; එය මූලික ආකෘතියකට අනුව හොඳ හෝ නරක ය. මූලික ආකෘතිය යනු මතකයට එන සරලම විසඳුමයි: "සෑම විටම බහුතර පන්තියට කියන්න", "පසුගිය සතියේ අගය නැවත කරන්න", "මධ්යන්යය අනුමාන කරන්න". ඔබේ ආකෘතියට මෙම සරල විසඳුම පැහැදිලිව සමත් විය නොහැකි නම්, සියලු සංකීර්ණත්වය කිසිවක් සඳහා නොවේ.
අවවාදයයි: "මගේ ආකෘතිය 85% නිවැරදියි" යන වාක්යයම කිසිවක් නොකියයි. මූලික ආකෘතිය දැනටමත් 84% ලබා ගන්නේ නම්, ඔබේ ආකෘතිය පාහේ වටිනාකමක් නැත; මූලික ආකෘතිය 50% ලබා ගන්නේ නම්, ඔබේ ආකෘතිය පරිපූර්ණයි. සෑම විටම මූලික ආකෘතිය අනුව කතා කරන්න.
හරස් වලංගුකරණය සහ විශ්වාසය
තනි පුහුණු/පරීක්ෂණ භේදයක් අහම්බයක් නිසා විය හැක. හරස් වලංගුකරණය: දත්ත k කොටස් වලට බෙදීම සහ එක් එක් කොටස අනුපිළිවෙලින් පරීක්ෂා කිරීම කාර්ය සාධනය කෙතරම් ස්ථායී දැයි පෙන්වයි. 5-ගුණයක හරස් වලංගුකරණයේදී ඔබට විවිධ ලකුණු පහක් ලැබේ; ඔවුන්ගේ මධ්යන්ය සහ සම්මත අපගමනය වැදගත් වේ. සාමාන්යය 80% නමුත් අපගමනය ± 12% නම්, ඔබේ ආකෘතිය අස්ථායී වේ - එය මීළඟ දත්ත කාණ්ඩයේ ඉතා වෙනස් ලෙස හැසිරිය හැක.
මෙය "ආකෘති දෙකේ සංසන්දනය" සඳහා ද තීරනාත්මක ය. A ආකෘතියට 81% සහ B ආකෘතියට 82% ලැබුණේ නම්, B ඇත්තෙන්ම හොඳද? අපගමනය ± 3% නම්, මෙම වෙනස ශබ්දය විය හැකිය. තීරණය කිරීමට පෙර වෙනස සැලකිය යුතුද යන්න සලකා බලන්න.
අධි පරාමිති සුසර කිරීම: වලංගුකරණය සමඟ, පරීක්ෂා කිරීම නොවේ
Hyperparameters (පුහුණුවීමට පෙර අතින් තීරණය කරන සැකසුම්-ඉගෙනීමේ අනුපාතය, ගස් ගැඹුර, ආදිය) වලංගු කිරීමේ කට්ටලය සමඟ සකසා ඇත. පරීක්ෂණ කට්ටලය අවසානයේ, එක් වරක් පමණක් භාවිතා වේ. ඔබ පරීක්ෂණ කට්ටලය දෙස බලා අධි පරාමිති තෝරා ගන්නේ නම්, පරීක්ෂණ කට්ටලය දූෂිත වන අතර ඔබ වාර්තා කරන කාර්ය සාධනය ශුභවාදී වනු ඇත, එය යථාර්ථයේ දී නොවේ.
කෘතිම බුද්ධිය යනු අධි පරාමිති සෙවුම් අවකාශය සැලසුම් කිරීමේදී සහ සෙවුම් කේතය ලිවීමේදී (ග්රිඩ් සෙවුම, අහඹු සෙවුම, බයිසියානු ප්රශස්තකරණය) හොඳ සහායකයෙකි. නමුත් ඔබ තවමත් තීරණය කරන්නේ "අපි ප්රශස්ත කරන්නේ කුමන මෙට්රික් ද?"
කුඩා නඩු තුනක්
නඩුව 1 - නිරවද්යතා උගුල. දුර්ලභ රෝගයක් හඳුනාගත් ආකෘතියක් ගැන වෛද්ය කණ්ඩායමක් ආඩම්බර විය: 98% නිරවද්යතාවය. මූලික ආකෘති සංසන්දනය කළ විට, සත්යය මතු විය: රෝග අනුපාතය 2% ක් වූ බැවින්, "සියලු දෙනා නිරෝගීව අමතන්න" යැයි පැවසූ ආකෘතියට ද 98% ක් ලැබුණි. ආකෘතිය නැවත කැඳවීම 11% ක් පමණි - බොහෝ රෝගීන් අතුරුදහන් විය. මෙට්රික් PR-AUC බවට පරිවර්තනය කළ පසු, සැබෑ කාර්ය සාධනය මනිනු ලබන අතර ආකෘතිය නැවත සැලසුම් කරන ලදී.
නඩුව 2 - ප්රගතිය සඳහා වැරදි ශබ්දය. කණ්ඩායමක් 86.2% සිට 86.9% දක්වා ආකෘතිය වැඩිදියුණු කිරීමට මාස ගණනක් ගත කළහ. හරස් වලංගුකරණය පෙන්නුම් කළේ පක්ෂග්රාහීත්වය ± 1.4% - එබැවින් 0.7 ලක්ෂ්ය “වැඩිදියුණු කිරීම” සංඛ්යානමය ශබ්දයයි. කණ්ඩායම සත්ය නොවන ඉපැයීම් සඳහා සති තුනක් නාස්ති කර ඇත. පාඩම: අපගමනයට වඩා දියුණුව වැඩි බව තහවුරු කර නොගෙන ජයග්රහණය ප්රකාශ නොකරන්න.
නඩුව 3 - පරීක්ෂණ කට්ටලයේ දූෂණය. ඉන්ජිනේරුවෙක් හොඳම අධිපරිමාණ තෝරා ගැනීමට පරීක්ෂණ කට්ටලය නැවත නැවතත් බැලුවා. එය වාර්තා කළ 91% නිෂ්පාදනයේ දී 83% දක්වා පහත වැටී ඇත. ඇයි: ඔහු නොදැනුවත්වම පරීක්ෂණ කට්ටලය නැවත නැවත බැලීමෙන් (පරීක්ෂණ කට්ටලය මත ඉගෙනීම) ඒ අනුව ආකෘතිය තෝරාගෙන ඇත. වෙනම වලංගුකරණ කට්ටලයක් භාවිතා කළ විට වාර්තා කරන ලද සහ සැබෑ කාර්ය සාධනය අතිච්ඡාදනය විය.
පිටපත් කළ හැකි සැකිලි
මෙම වර්ගීකරණ ගැටලුව සඳහා නිවැරදි මිතික තෝරා ගැනීමට මට උදවු කරන්න. ගැටලුව: [අනාවැකි දේ] පන්ති බෙදා හැරීම: [ධනාත්මක අනුපාතය
පහත ආදර්ශ දෙකෙහි සංසන්දනය ඇගයීම.ආදර්ශ A හරස් වලංගුකරණය: [ලකුණු ලැයිස්තුව]ආදර්ශ B හරස් වලංගුකරණය: [ලකුණු ලැයිස්තුව] මධ්යන්ය සහ සම්මත අපගමනය ගණනය කරන්න. වෙනස සංඛ්යානමය වශයෙන් වැදගත් ද නැතහොත් එය අපගමනය තුළ ශබ්දය පමණක් ද? මා තෝරා ගැනීමට ඔබ නිර්දේශ කරන්නේ කුමන එකක්ද සහ ඇයි?
පහත සඳහන් දෑ සඳහා මෙම පුහුණු කේතය පරීක්ෂා කරන්න: 1) අධිපරාමිති තෝරාගෙන ඇත්තේ පරීක්ෂණ කට්ටලය හෝ වලංගු කිරීමේ කට්ටලය සමඟද? 2) නිවැරදි කට්ටලය සමඟ කලින් නැවැත්වීම නිරීක්ෂණය කෙරේද? 3) අධික ලෙස ඉගෙනීමේ යම් සලකුණු තිබේද (පුහුණු කිරීමේ/වලංගු කිරීමේ පාඩු වෙනස)? කේතය: [කේතය]
මෙම ප්රතිගාමී ගැටලුව සඳහා මා වාර්තා කළ යුත්තේ MAE, RMSE, සහ MAPE මොනවාද?ඉලක්ක විචල්යයේ පරිමාණය: [පරාසය]විශාල දෝෂ අසමානුපාතික ලෙස නරකද (RMSE), නැතහොත් ඒවා සියල්ලම සමානද (MAE)? ශුන්යයට ආසන්න අගයන් තිබේද (ඒවා MAPE විකෘති කරයිද)? කෙටි සාධාරණීකරණයක් සහිතව යෝජනා කරන්න.
මෙට්රික් තේරීම් වගුව
ගැටළු වර්ගය
සුදුසු මෙට්රික්
වළක්වා ගත යුතු ය
ඇයි
අසමතුලිත වර්ගීකරණය
PR-AUC, F1, නැවත කැඳවීම
නිරවද්යතාව
බහුතර පන්තිය මෙට්රික් පුම්බනවා
සමබර වර්ගීකරණය
නිරවද්යතාව, ROC-AUC
-
සමතුලිත දත්තවල විශ්වසනීයයි
පසුබෑම (සැලකිය යුතු පිටත)
ආර්එම්එස්ඊ
MAPE (ශුන්ය නම්)
ප්රධාන වැරදි වලට දඬුවම් කරයි
පසුබෑම (සමාන බර)
MAE
-
අර්ථ දැක්වීමට පහසුය
ශ්රේණිගත කිරීම / නිර්දේශ කිරීම
NDCG, Recall@K
නිරවද්යතාව
පිළිවෙල වැදගත් වේ
පොදු වැරදි
- අසමතුලිත දත්ත මත නිරවද්යතාව භාවිතා කිරීම. වඩාත් පොදු මෙට්රික් දෝෂය.
- මූලික ආදර්ශ සැසඳීම් නොකිරීම. ඒකෙන් මෙට්රික් එකේ තේරුම නැති වෙනවා.
- අධි පරාමිති සඳහා පරීක්ෂණ කට්ටලය දෙස බලමින්. ශුභවාදී, යථාර්ථවාදී නොවන ප්රතිඵලය.
- තනි මැදිරියක් මත රඳා පවතී. හරස් වලංගුකරණයකින් තොරව ඔබට පක්ෂග්රාහී බව නොපෙනේ.
- ප්රගතිය සඳහා වැරදි ශබ්දය. අපගමනය සිට කුඩා "වැඩිදියුණු කිරීම්" බොහෝ විට වාසනාව වේ.
- ව්යාපාරික සන්දර්භය නොසලකා හැරීම. නිරවද්යතාවය / ආපසු කැඳවීමේ ශේෂය ව්යාපාරික තීරණයකි.
සාරාංශයක් ලෙස
ආකෘති පුහුණුවේ සැබෑ කුසලතාව වන්නේ ඉහළ සංඛ්යාවක් නිෂ්පාදනය කිරීම නොව, එම සංඛ්යාවෙන් අදහස් කරන්නේ කුමක්ද යන්න දැන ගැනීමයි. ගැටලුව සහ ව්යාපාරික සන්දර්භය නිවැරදි මෙට්රික් තීරණය කරයි; මූලික ආකෘතියක් අනුව එක් එක් මෙට්රික් අර්ථ නිරූපණය කරන්න; හරස් වලංගුකරණය සමඟ නැඹුරුව මැනීම සහ ප්රගතිය සඳහා ශබ්දය වරදවා වටහා නොගන්න; පරීක්ෂණ කට්ටලය අවසානයේ පමණක්, එක් වරක් භාවිතා කරන්න. AI යනු අත්හදා බැලීම් සැලසුම් කිරීමේදී ඔබේ සහකරු වේ, නමුත් “ප්රමාණවත් තරම් හොඳ” තීරණය ඔබ සහ ඔබේ වේ.
යෙදුම් කාර්යය
වර්ගීකරණ ආකෘතියක් සඳහා: (1) පන්ති ව්යාප්තිය ලියන්න, (2) සුදුසු පාදක ආකෘතියක් ගොඩනඟා එහි ලකුණු මැනීම, (3) ඔබේ ආකෘතිය 5-ගුණයක හරස් වලංගුකරණයකින් තක්සේරු කර මධ්යන්ය සහ සම්මත අපගමනය වාර්තා කරන්න, (4) නිරවද්යතාව වෙනුවට ගැටලුවට සුදුසු මෙට්රික් ගණනය කරන්න (උදා: PR-AUC). ඔබේ ආකෘතිය පක්ෂග්රාහීවකින් තොරව විශාල ආන්තිකයකින් මූලික ආකෘතිය පරදවන්නේද යන්න ලියන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම ගැටළු වර්ගය සහ ව්යාපාරික සන්දර්භය මත පදනම්ව මෙට්රික් තෝරා ගත්තෙමි.
- [ ] මම මූලික ආකෘතියක් ගොඩනඟා එයට සාපේක්ෂව සංසන්දනය කළෙමි.
- [ ] මම හරස් වලංගුකරණය සමඟ මධ්යන්ය සහ අපගමනය වාර්තා කළෙමි.
- [ ] වැඩිදියුණු කිරීම අපගමනයට වඩා වැඩි බව මම තහවුරු කළෙමි.
- [ ] මම වලංගුකරණ කට්ටලය සමඟ අධි පරාමිති තෝරා ගත්තෙමි.
- [ ] මම ටෙස්ට් කට්ටලය අවසානයේ භාවිතා කළේ එක් වරක් පමණි.