ලාභ:
- රැකියාවේ අරමුණ අනුව වර්ගීකරණ සහ ප්රතිගාමී ප්රමිතික (ව්යාකූල න්යාසය, නිරවද්යතාව/ආයාචනය/F1, MAE/RMSE/R²) තෝරා ගැනීමට සහ අර්ථකථනය කිරීමට හැකියාව
- පුහුණුව සහ පරීක්ෂණ ලකුණු සංසන්දනය කිරීමෙන් අධි ඉගෙනීම හඳුනා ගැනීමට සහ හරස් වලංගුකරණය සමඟ විශ්වාසදායක කාර්ය සාධනයක් ලබා ගැනීමේ හැකියාව
- එක් එක් ආකෘතිය මූලික අගයක් සමඟ සංසන්දනය කිරීමෙන් සැබෑ අගය එකතු කරන්නේ දැයි තක්සේරු කිරීමේ හැකියාව
ආකෘතියක් සකස් කිරීම පහසුය; එය සැබවින්ම ක්රියාත්මක වේද යන්න අවංකව මැන බැලීම අපහසුය. මෙම ඒකකයේ විෂය දත්ත විද්යාඥයෙකුගේ වඩාත්ම විවේචනාත්මක කුසලතාව වේ: නිවැරදි මිනුම් දණ්ඩ සමඟ ආකෘතිය ඇගයීම, විශ්වාසදායක පුරෝකථන කාර්ය සාධනය සාක්ෂාත් කර ගැනීම සහ වඩාත් ද්රෝහී උගුල අල්ලා ගැනීම: overlearning (මතක තබා ගැනීම). AI ප්රමිතික ගණනය කිරීම, අර්ථ නිරූපණය කිරීම සහ සංසන්දනය කිරීම; නමුත් ඔබේ ව්යාපාරයට ගැලපෙන මෙට්රික් මොනවාද සහ ආකෘතියක් "ප්රමාණවත්" දැයි තීරණය කිරීම මිනිසාට භාරයි. වැරදි ප්රමිතික දෙස බලන කණ්ඩායමකට මාස ගණනක් නරක ආකෘතියක් “සාර්ථකත්වයක්” ලෙස වරදවා වටහා ගත හැකිය.
නිරවද්යතාවය ප්රමාණවත් නොවන්නේ ඇයි: ව්යාකූල අනුකෘතිය
වර්ගීකරණයේදී මතකයට එන පළමු මෙට්රික් එක නම් නිරවද්යතාවයයි (නිරවද්යතාව - නිවැරදි අනාවැකිවල සම්පූර්ණ අනුපාතය). නමුත් අපි ඒකක 6 හි දුටු පරිදි, නිරවද්යතාවය අසමතුලිත දත්ත සමඟ නොමඟ යවයි. වඩා හොඳ ආරම්භයක් වන්නේ ව්යාකූල න්යාසය - අනාවැකි බඳුන් හතරකට බෙදන වගුවකි:
- සත්ය ධනාත්මක (TP): අපි ව්යාජ ලෙස හැඳින්වූයේ ඇත්ත වශයෙන්ම ව්යාජ ය. (හොඳයි)
- සත්ය ඍණාත්මක (TN): අපි කිව්වේ ඇත්තටම පිරිසිදුයි කියලා. (හොඳයි)
- False positive (FP): අපි වැරදියට කිව්වේ පිරිසිදු එක ව්යාජ එකක් කියලා. (බොරු අනතුරු ඇඟවීම)
- ව්යාජ සෘණ (FN): අපි ව්යාජ එක මඟ හැර එය පිරිසිදු ලෙස හැඳින්වුවෙමු. (මිස් වූ තර්ජනය)
මෙම කොටු හතරෙන් ප්රධාන මිතික දෙකක් ලැබේ. නිරවද්යතාවය: "මම ව්යාජ ලෙස හඳුන්වන දෙයින් කොපමණ ප්රමාණයක් ඇත්ත වශයෙන්ම ව්යාජද?" - බොරු අනතුරු ඇඟවීමේ පිරිවැය ඉහළ නම් වැදගත් වේ. සංවේදීතාව (ඉංග්රීසියෙන් සිහිපත් කරන්න): "මම සැබෑ ව්යාජ කීයක් අල්ලා ගත්තාද?" - තර්ජනයක් නැතිවීම මිල අධික වන විට වැදගත් වේ. මෙම දෙක බොහෝ විට එකිනෙකා සමඟ පරස්පර වේ: ඔබ එළිපත්ත අඩු කර "ව්යාජ" වැඩි යැයි පැවසුවහොත්, මතකය වැඩි වන නමුත් නිරවද්යතාවය අඩු වේ. F1 ලකුණු යනු මේ දෙකේ සමබර සාමාන්යය (harmonic mean) වේ.
අවධානය: "වැදගත් මෙට්රික් එක" යන ප්රශ්නයට පිළිතුර ව්යාපාරික තීරණයක් මිස තාක්ෂණික එකක් නොවේ. පිළිකා පිරික්සීමේදී නඩුවක් මග හැරීම (අඩු මතකයක්) විනාශකාරී ය; ස්පෑම් ෆිල්ටරයේ ස්පෑම් (අඩු නිරවද්යතාවය) වෙත වැදගත් විද්යුත් තැපෑලක් යැවීම කරදරකාරී ය. පිරිවැය මෙට්රික් තීරණය කරයි.
ප්රතිගාමී මිනුම්
ප්රතිදානය සංඛ්යා නම්, විවිධ ප්රමිතික භාවිතා වේ. MAE (මධ්යන්ය නිරපේක්ෂ දෝෂය): ඇස්තමේන්තු සත්ය සාමාන්යයෙන් කොපමණ ප්රමාණයක්, එකම ඒකකයේ අපගමනය වේද (උදා: "අපි සාමාන්යයෙන් TL 4,200 කින් වැරදියි"). RMSE (Root Mean Squared Error): ප්රධාන දෝෂ වලට වඩා දරුණු ලෙස දඬුවම් කරන අතර පිටස්තරයන්ට සංවේදී වේ. R² (R-squared — නිර්ණය කිරීමේ සංගුණකය): ආකෘතිය පැහැදිලි කරන ඉලක්කයේ විචල්යතාවයෙන් කොපමණ ප්රමාණයක් (1 ට ආසන්න නම් හොඳයි, 0 මධ්යන්යය පුරෝකථනය කරන තරමට නරක ය, සෘණ ඊටත් වඩා නරක ය).
වඩාත්ම ද්රෝහී උගුල: අධික ලෙස ඉගෙනීම
වැඩිපුර ගැළපීම - මොඩලය පුහුණු දත්ත කටපාඩම් කරන නමුත් නව දත්ත මත අසමත් වීම - දත්ත විද්යාවේ වඩාත් පොදු වැරැද්දයි. රෝග ලක්ෂණය පැහැදිලිය: පුහුණු කට්ටලය (98%), පරීක්ෂණ කට්ටලය මත නරක (72%) ආකෘතිය විශිෂ්ටයි. ආකෘතිය මතක තබාගෙන ඇත්තේ එම නිශ්චිත නියැදියේ ශබ්දය මිස දත්තවල සත්ය රටාව නොවේ. එහි ප්රතිවිරුද්ධ දෙයද ඇත: underfitting—ආකෘතිය පුහුණු කිරීම සහ පරීක්ෂා කිරීම යන දෙකෙහිම නරක ය, මන්ද එය රටාව ග්රහණය කර ගැනීමට ඉතා සරල ය.
අධි ඉගෙනීමට එරෙහිව සටන් කිරීමට ක්රම: ආකෘතිය සරල කිරීම, වැඩි දත්ත, විධිමත් කිරීම - ආකෘතිය ඉතා සංකීර්ණ වීම වළක්වන ගණිතමය තිරිංග - සහ වඩාත්ම වැදගත් ලෙස හරස් වලංගුකරණය.
හරස් වලංගුකරණය: තනි කවුළුව විශ්වාස නොකරන්න
තනි පුහුණුවක්/පරීක්ෂණයක් වාසනාවන්ත හෝ අවාසනාවන්ත විය හැක; එම සාම්පලය පහසු නිසාම පරීක්ෂණ කට්ටලයට ඉහළ ලකුණු ලබා ගත හැක. හරස් වලංගුකරණය (කෙටියෙන් CV) මෙය විසඳයි. වඩාත් පොදු ආකාරය k-fold CV වේ: දත්ත k කොටස් වලට බෙදා ඇත (උදා. 5); එක් එක් වටය තුළ, එක් කොටසක් පරීක්ෂණයක් වන අතර ඉතිරි කොටස පුහුණු වේ; මෙය 5 වතාවක් පෙරළෙන අතර ලකුණු 5 සාමාන්ය වේ. එබැවින් කාර්ය සාධනය පදනම් වී ඇත්තේ බහු බෙදීම්වල සාමාන්යය මත මිස එක වාසනාවන්ත බෙදීමක් නොවන බව ඔබට පෙනෙනු ඇත. ලකුණු බෙදා හැරීම ද තොරතුරු සපයයි: ඉතා වාෂ්පශීලී ලකුණු (එක් මහලේ 85%, අනෙක් 62%) ආකෘතිය අස්ථායී බව පෙන්නුම් කරයි.
සාමාන්ය k-fold කාල ශ්රේණියේ භාවිතා නොවේ (අනාගතය කාන්දු කරයි); ඒ වෙනුවට, ඔබ කරන්නේ "ඉදිරියට දාම" (කාල ශ්රේණි බෙදීම): සෑම විටම අතීතය සමඟ පුහුණු කිරීම සහ අනාගතය පරීක්ෂා කිරීම.
මෙට්රික්
ගැටළු වර්ගය
එය වැදගත් වන්නේ කවදාද?
නිරවද්යතාව
වර්ගීකරණය
පන්ති සමබර නම්
නිරවද්යතාව
වර්ගීකරණය
ව්යාජ අනතුරු ඇඟවීම මිල අධිකයි
සංවේදීතාව (මතක් කිරීම)
වර්ගීකරණය
අතපසු කිරීම මිල අධික නම්
F1
වර්ගීකරණය
ශේෂය අවශ්ය නම්
MAE
පසුබෑම
අර්ථකථනය කළ හැකි දෝෂයකි
ආර්එම්එස්ඊ
පසුබෑම
විශාල වැරදි විවේචනාත්මක නම්
R²
පසුබෑම
පැහැදිලි කිරීමේ බලය
කුඩා නඩු තුනක්
නඩුව 1 - ඉහළ නිරවද්යතාව පිළිබඳ මිත්යාව. එක් වංචා ආකෘතියක් 99.2% නිරවද්යතාවයක් පෙන්නුම් කළ අතර කණ්ඩායම සමරනු ලැබීය. ව්යාකූල අනුකෘතිය දෙස බලන විට, සැබෑ: දත්තවල ව්යාජ අනුපාතය 0.8%; "සියල්ල පැහැදිලියි" කියමින් නිරූපිකාවට ව්යාජ කිසිවක් හසු නොවීය. නැවත කැඳවීම 6% කි. පාඩම: නිරවද්යතාවය නොව ප්රමිතික දෙස බලන්න.
නඩුව 2 - ගුප්ත ඉගෙනීම. එක් කණ්ඩායමක් ලබා දී පුහුණු කට්ටලය මත XGBoost 97% දක්වා ඉහළ නැංවීය. පරීක්ෂණ කට්ටලය 69%, නමුත් කිසිවෙකු බැලුවේ නැත. නිෂ්පාදනයේදී ආකෘතිය කඩා වැටුණි. හරස් වලංගුකරණය සිදු කර ඇත්නම්, folds (overlearning) අතර විශාල වෙනස මුල සිටම පෙනෙනු ඇත. පාඩම: අධ්යාපන ලකුණු නොව CV සහ පරීක්ෂණ ලකුණු විශ්වාස කරන්න.
නඩුව 3 - වාසනාවන්ත බෙදීම. එක් විශ්ලේෂකයෙකු තනි භේදයකින් 88% ලබා ගැනීමට සතුටු විය. ඔහුගේ සගයා 5 ගුණයක CV එකක් කළ විට, ලකුණු 88%, 71%, 83%, 64%, 79% - සාමාන්යය 77%, නමුත් එය ඉතා වාෂ්පශීලීයි. ආකෘතිය අස්ථායී විය; තනි මැදිරිය නොමඟ යවන සුළු විය. පාඩම: CV මධ්යන්යය සහ බෙදා හැරීම දෙස බලන්න, තනි බඳුනට නොවේ.
පිටපත් කළ හැකි සැකිලි හතරක්
1) සම්පූර්ණ වර්ගීකරණ වාර්තාව:
මම පුහුණු ආකෘතියක් සහ පරීක්ෂණ කට්ටලයක් ඇත. උත්පාදනය කරන්න: ව්යාකූල න්යාසය, නිරවද්යතාවය, නැවත කැඳවීම, F1 (එක් එක් පන්තිය සඳහා) සහ ආධාරක ගණන්. මම අනුමාන කරනවා, නමුත් එය මට භාරයි: කුමන මෙට්රික් වැදගත් දැයි මම ඔබට කියමි. අසමතුලිත දත්ත සමඟ නිරවද්යතාවය නොමඟ යවන බව සලකන්න.
2) අධි ඉගෙනුම් පාලනය:
පුහුණුවීම් සහ පරීක්ෂණ කට්ටල දෙකෙහිම මගේ මාදිලියේ ලකුණු දෙපැත්තෙන්ම මුද්රණය කරන්න. ඔවුන් අතර වෙනස ගණනය කර විශාල වෙනසක් අධි ඉගෙනීමේ ලකුණක් ලෙස අනතුරු අඟවන්න. වෙනස විශාල නම්, විධිමත් කිරීම හෝ සරල කිරීම යෝජනා කරන්න.
3) හරස් වලංගුකරණය:
5-ගුණයක හරස් වලංගු කිරීම සිදු කරන්න (ස්ථර, වර්ගීකරණය සඳහා). එක් එක් ගුණයකින් ලකුණු, මධ්යන්ය සහ සම්මත අපගමනය මුද්රණය කරන්න. ලකුණු ඉතා වාෂ්පශීලී (ඉහළ std) නම්, ආකෘතිය අස්ථායී බව දක්වන්න. එක් එක් ස්ථරයේ පුහුණු කොටසෙන් පමණක් පරිවර්තනයන් ඉගෙන ගත හැකි වන පරිදි නල මාර්ග භාවිතා කරන්න.
4) මූලික සංසන්දනය:
මගේ මාදිලියේ මෙට්රික් එක DummyClassifier මූලික රේඛාවක් සමඟින් පැත්තකින් තබන්න. ආකෘතිය සැලකිය යුතු ලෙස මූලික මට්ටම පරාජය කරයිද? එය සමත් නොවන්නේ නම්, ආකෘතිය කිසිදු සැබෑ අගයක් එකතු නොකරන බව පැහැදිලි කරන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මගේ ආකෘතිය හොඳද?
"හොඳ" යන්න නිර්වචනය කර නැත; කුමන මෙට්රික්, කුමන එළිපත්ත, කුමන මූලික පදනම ද යන්න පැහැදිලි නැත. AI හට තනි නිරවද්යතා අංකයක් ලබා දී නොමඟ යැවිය හැක.
බලවත් විමසුම:
ඔබේ කාර්යභාරය: තක්සේරු සහායක. වර්ගීකරණය, අසමතුලිත දත්ත (12% ධනාත්මක). ප්රමුඛත්වය: නැවත කැඳවීම (ධනාත්මක කරුණු අතපසු නොකරන්න). කාර්යය: (1) ව්යාකූල න්යාසය, (2) නිරවද්යතාව/ආයාචනය/F1, (3) 5-ගුණයක ස්තරීකරණය වූ CV මධ්යන්යය සහ std, (4) DummyClassifier මූලික සංසන්දනය. නැවත කැඳවීම සහ මූලික වෙනස කෙරෙහි අවධානය යොමු කරන්න, නිරවද්යතාව නොවේ. අදහස් දක්වන්න, නමුත් මම අවසාන තීරණය ගන්නෙමි.
මෙහිදී, මෙට්රික් ප්රමුඛතාවය, CV සහ මූලික තත්ත්වය පැහැදිලිය.
පොදු වැරදි
- අසමතුලිත දත්තවල නිරවද්යතාවය විශ්වාස කිරීම. 99% නිරවද්යතාවය සුළුතර පන්තිය කිසිසේත් ග්රහණය කර නොගනී; ව්යාකූල අනුකෘතිය දෙස බලන්න.
- ඔබේ අධ්යාපන ලකුණු දෙස බැලීම පමණි. උසස් අධ්යාපනය, අඩු පරීක්ෂණ ලකුණු අධික ලෙස ඉගෙනීම; සෑම විටම ලකුණු දෙකක් සසඳන්න.
- තනි මැදිරියක් මත රඳා පවතී. වාසනාවන්ත බෙදීම නොමඟ යවන සුළුය; හරස් වලංගුකරණය සමඟ මධ්යන්ය සහ ව්යාප්තිය දෙස බලන්න.
- මූලික පදනම සමඟ සංසන්දනය නොකරයි. මොඩල් එක මෝඩ පුරෝකතනයක් පරදවනවාද කියලා නොදැන "හොඳයි" කියන්න බෑ.
- කාල ශ්රේණියේ සාමාන්ය k-fold භාවිතා කිරීම. එය අනාගතය කාන්දු කරයි; කාල ශ්රේණි බෙදීම අවශ්ය වේ.
ඉඟිය: එක් එක් ආකෘතිය අසල අංක තුනක් ලියන්න: පුහුණු ලකුණු, හරස් වලංගු කිරීමේ සාමාන්යය සහ මූලික ලකුණු. මෙම ත්රිත්වය බැලූ බැල්මට ඉගෙනීම (පුහුණු >> CV) සහ අවතක්සේරු කිරීම (CV ≈ මූලික) හෙළි කරයි.
සාරාංශයක් ලෙස
ආකෘතියක් තැනීම පහසු ය, නමුත් එය අවංකව ඇගයීම දුෂ්කර ය. වර්ගීකරණයේදී, ව්යාකූල න්යාසය, නිරවද්යතාවය සහ නැවත කැඳවීම නිරවද්යතාවයට වඩා බොහෝ තොරතුරු සපයයි; කාර්යයේ පිරිවැය වැදගත් වන්නේ කුමන එකද යන්න තීරණය කරයි. MAE, RMSE සහ R² ප්රතිගමනයේදී භාවිතා වේ. වඩාත්ම ද්රෝහී උගුල වන්නේ ඉගෙනීමයි: සෑම විටම පුහුණුව සහ පරීක්ෂණ ලකුණු සංසන්දනය කරන්න. හරස් වලංගුකරණයේ මධ්යන්ය සහ ව්යාප්තිය මත රඳා සිටින්න, එක බෙදීමක් නොවේ; සෑම දෙයක්ම මූලික පදනමකට සසඳන්න. AI මේ සියල්ල ගණනය කරයි, නමුත් කුමන මෙට්රික් භාවිතා කළ යුතුද යන්න තීරණය කිරීම මිනිසාට භාරයි.
යෙදුම් කාර්යය
වර්ගීකරණ ආකෘතියක් සඳහා ව්යාකූල අනුකෘතිය, නිරවද්යතාවය, නැවත කැඳවීම සහ F1 උපුටා ගන්න; ඉන්පසු 5-ගුණයක හරස් වලංගුකරණය සිදු කර නැමීම් හරහා ලකුණු බෙදා හැරීම බලන්න. අවසාන වශයෙන්, පුහුණු ලකුණු, CV සාමාන්යය සහ මූලික ලකුණු එක පැත්තකින් ලියන්න. ඔබේ ආදර්ශය ඉගෙනීම සහ මූලික මට්ටම සමත්ද යන්න එක් වාක්යයකින් අදහස් දක්වන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම නිරවද්යතාව වෙනුවට රැකියාවේ සැබෑ මෙට්රික් (නිරවද්යතාව/ආයාචනය/F1 ආදිය) දෙස බැලුවද?
- [ ] මම ව්යාකූල අනුකෘතිය පරීක්ෂා කර බැලුවාද?
- [ ] මම පුහුණුව සහ පරීක්ෂණ ලකුණු සංසන්දනය කර අධි ඉගෙනීම සඳහා පරීක්ෂා කර තිබේද?
- [ ] මම හරස් වලංගුකරණය සමඟ මධ්යන්ය සහ ව්යාප්තිය දෙස බැලුවද?
- [ ] මම ආකෘතිය මූලික පදනමකට සංසන්දනය කර තිබේද?