ලාභ:
- දත්ත කාන්දුවීම් වර්ග හඳුනාගැනීමේ හැකියාව (ඉලක්කය, වේලාව, පෙර සැකසුම්, සමූහගත පේළිය) සහ අනතුරු ඇඟවීමක් ලෙස 'සැබෑ වීමට වඩා හොඳ' ලකුණු විමසීම
- පරීක්ෂණ කට්ටලය, නල මාර්ගය සහ නිවැරදි බෙදීම (කාලානුක්රමික/කණ්ඩායම්) කලින් වෙන් කිරීමත් සමඟ කාන්දු වීම වැළැක්වීමේ හැකියාව
- ස්ථාවර බීජ, අනුවාද පාලනය සහ අතින් පියවර ඉවත් කිරීම සමඟ විශ්ලේෂණය නැවත සකස් කිරීමේ හැකියාව
දත්ත විද්යාවේ වැඩි උත්සාහයක් අපතේ හරින වැරදි දෙකක් ඇති අතර, ඒවා දෙකම ද්රෝහී ය, මන්ද ඒවා සියල්ලම "හොඳ බව පෙනෙන විට" ව්යසනයට තුඩු දෙන බැවිනි. පළමුවැන්න දත්ත කාන්දු වීම: මාදිලිය පරීක්ෂණ කට්ටලය මත විශිෂ්ට ලෙස ක්රියා කරන නමුත් නිෂ්පාදනයේදී කඩා වැටේ. දෙවැන්න ප්රතිනිෂ්පාදනය කළ නොහැකි ය: ඔබ මාස හයකට පසුව විශ්ලේෂණයක් පවත්වා සම්පූර්ණයෙන්ම වෙනස් ප්රතිඵලය ලබා ගන්න. මෙම අන්තරායන් දෙක ගැඹුරින් දැන ගැනීමට සහ වළක්වා ගැනීමට මෙම ඒකකය කැපවී ඇත. AI අවදානම් දෙකම වැඩි කළ හැක (ඉක්මන් ජනනය කරයි, සැඟවුණු කාන්දුවීම් යෝජනා කරයි, ඔබට අතින් පියවර ගැනීම පහසු කරයි) නමුත් නිවැරදිව භාවිතා කළහොත් ඒවා අඩු කළ හැක. වෙනස ඇත්තේ විනය තුළ ය.
දත්ත කාන්දු වීම: පැහැදිලි ආකෘතිය
දත්ත කාන්දු වීම යනු පුහුණුව අතරතුර ආකෘතියට සත්ය පුරෝකථනය කරන අවස්ථාවේ නොමැති තොරතුරු දකින විටය. මෙම ආකෘතිය මෙම තොරතුරු සමඟ "වංචා" කරයි, පරීක්ෂණ කට්ටලය මත විශිෂ්ට ලෙස පෙනේ, නමුත් එම තොරතුරු නොමැතිව නිෂ්පාදනයේ කඩා වැටේ. කාන්දු වීමේ රෝග ලක්ෂණය සෑම විටම පාහේ සමාන වේ: සත්ය වීමට වඩා හොඳය. ඔබ 99% නිරවද්යතාවය දුටු විට ඔබ ප්රීති වීමට පෙර, ඔබ කාන්දුවීම් සොයා බැලිය යුතුය.
කාන්දුවීම් වල ප්රධාන වර්ග වන්නේ:
1. ඉලක්ක කාන්දු වීම: විශේෂාංගයක් යනු ඉලක්කයේ ප්රතිඵලයකි. "අවලංගු කරන ලදී" පුරෝකථනය තුළ, "අවලංගු කිරීමේ දිනය" හෝ "ආපසු මුදල් ආපසු ගෙවීමේ මුදල" යන තීරු ඉලක්කයේ ප්රතිඵලයකි; ප්රතිඵලය පැහැදිලි වූ විට පමණක් ඒවා පුරවනු ලැබේ.
2. කාලය කාන්දු වීම: අනාගත තොරතුරු අතීතයට ගෙන ඒම. "පසුගිය දින 30 සාමාන්යය" ගණනය කිරීමේදී, පුරෝකථනය කළ දිනට පසු දින ඇතුළත් කරන්න, නැතහොත් කාල ශ්රේණිය අහඹු ලෙස බෙදන්න.
3. පෙර-සැකසුම් කාන්දු වීම: පුහුණු/පරීක්ෂණ කොටසට පෙර සියලු දත්ත වලින් පරිමාණ කිරීම, පිරවීම, කේතනය කිරීම වැනි පරිවර්තන ඉගෙනීම. පරීක්ෂණ දත්තවල සාමාන්යය පුහුණුවට බාධා කරයි.
4. අනුපිටපත්/සමූහගත පේළි කාන්දුව: පුහුණුවීම් සහ පරීක්ෂණ යන දෙකෙහිම එකම පුද්ගලයාට අයත් පේළි පවතී (එකම රෝගියෙකු විවිධ කට්ටලවල පැමිණීම් දෙකක්). ආකෘතිය පුද්ගලයා කටපාඩම් කරයි.
කාන්දු වර්ගය
කොහොමද ඉපදෙන්නේ
වළක්වා ගන්නේ කෙසේද
ඉලක්ක කාන්දු වීම
ඉලක්කයේ ප්රතිඵලය වන තීරුව
"පුරෝකථනය කරන අවස්ථාවේ මට එය තිබේද" පරීක්ෂණය
කාලය කාන්දු වීම
අනාගතය අතීතයට ගෙන ඒම
කාලානුක්රමික බෙදීම, කවුළු පාලනය
පෙර සැකසුම් කාන්දු වීම
පෙර-බෙදීම පරිවර්තනය
නල මාර්ගය, පුහුණුවෙන් පමණක් ගැලපේ
සමූහගත පේළි කාන්දු වීම
කට්ටල දෙකකින් එකම ඒකකය
කණ්ඩායම අනුව බෙදන්න (GroupKFold)
කාන්දු වීම වැළැක්වීම සඳහා එකම විනය
සියලු වර්ගවල කාන්දුවීම් සඳහා පොදු විසඳුම එක් වාක්යයකට පහත වැටේ: සැබෑ අනාගතය අනුකරණය කිරීම සඳහා පරීක්ෂණ කට්ටලය හැකි ඉක්මනින් හුදකලා කරන්න, එයට කිසිවක් "ඉගැන්වීම" නොකරන්න. ප්රායෝගිකව, මෙයින් අදහස් කරන්නේ: පළමුව බෙදීම, පසුව පුහුණුවෙන් පමණක් සියලු පරිවර්තනයන් ඉගෙන ගෙන ඒවා නල මාර්ගයක යොදන්න (එක් දාමයේ සියලුම පියවර එකතු කරන ව්යුහයක්). එක් එක් විශේෂාංගය සඳහා, "පුරෝකථනය කරන අවස්ථාවේ මෙම තොරතුරු මා සතුව තිබේද?" යන ප්රශ්නය අසන්න. කාලය තිබේ නම්, එය කාලානුක්රමිකව බෙදන්න; එකම ඒකකය පුනරාවර්තන නම්, කණ්ඩායම අනුව බෙදන්න.
අවවාදයයි: කාන්දු වීමක ඇති භයානකම අංගය නම් එය සාර්ථකත්වයක් ලෙස පෙනී සිටීමයි. නරක ආකෘතියක් පැහැදිලිවම දුර්වල ප්රතිඵල ලබා දෙන අතර අවධානයට ලක් වනු ඇත; කාන්දු වූ ආකෘතියක් විශිෂ්ට ලෙස ක්රියා කරයි, සියල්ලන් සතුටු කරයි, සහ නිෂ්පාදනයට ඇතුළත් වේ - බිඳවැටීම ආරම්භ වන්නේ එතැනිනි. "ඉතා හොඳ" ප්රතිඵලයක් සැමරීමට නොව අනතුරු ඇඟවීමට හේතුව වන්නේ එබැවිනි.
ප්රතිනිෂ්පාදනය: එකම ප්රතිඵලය දෙවරක් ලබා ගැනීම
ප්රතිනිෂ්පාදනය යනු ඔබ නැවත වරක් විශ්ලේෂණයක් වෙනත් යන්ත්රයක ක්රියාත්මක කරන විට එම ප්රතිඵලයම ලබා ගැනීමේ හැකියාවයි. මෙය නොමැතිව, ඔබේ විශ්ලේෂණය අහඹුවක් මිස විද්යාත්මක නොවේ. ප්රජනනය අඩාල කරන ප්රධාන හේතු සහ විසඳුම්:
අතින් පියවර: Excel හි සෛලයක් අතින් වෙනස් කිරීම, ප්රස්ථාරයක් අතින් සංස්කරණය කිරීම. විසඳුම: කේතයේ සෑම පියවරක්ම ඇත.
සවි නොකළ අහඹු බව: ආදර්ශ පුහුණුව, නියැදීම, බෙදීම අහඹු බව ඇතුළත් වේ. විසඳුම: සසම්භාවී බීජය සවි කරන්න (අහඹු උත්පාදකයේ ආරම්භක අගය) (random_state=42).
අනුවාද මාරුවීම්: පුස්තකාල අනුවාදය වෙනස් වන විට ප්රතිඵලය වෙනස් විය හැක. විසඳුම: පරායත්තතා නිවැරදි කරන්න (requirements.txt, පරිසර ගොනුව).
වාර්තා තබා ගැනීමක් නැත: කුමන දත්තද, කුමන කේතයද, කුමන පරාමිතියද භාවිතා කළේද යන්න පැහැදිලි නැත. විසඳුම: අනුවාද පාලනය (Git — කේතයේ සියලුම අනුවාද සුරකින පද්ධතිය) සහ දත්ත අනුවාදනය.
"එය මගේ යන්ත්රයේ පමණක් ක්රියා කරයි": විසඳුම: පරිසරය ලේඛනගත කරන්න, හැකි නම් බහාලුම් (ඩොකර්) භාවිතා කරන්න.
කුඩා නඩු තුනක්
නඩුව 1 - ඉලක්ක කාන්දු වීම. සෞඛ්ය විශ්ලේෂණයක "පශ්චාත් විසර්ජන ඖෂධ" තීරුව "රෝගියා නැවත ඇතුළත් කරන්නේද යන්න" පුරෝකථනය කරන ලදී. මෙම තීරුව පුරවා ඇත්තේ රෝගියා මුදා හැරීමෙන් පසුව පමණි. ආකෘතිය 96%, නිෂ්පාදනයේ 61% ලබා දුන්නේය. සති 8 ව්යාපෘතිය කුණු. පාඩම: සෑම අංගයක්ම "අනාවැකි කරන අවස්ථාවේ එය තිබේද?"
නඩුව 2 - පෙර සැකසුම් කාන්දු වීම. එක් කණ්ඩායමක් සියලු දත්ත පරිමාණය කර පසුව එය බෙදා ඇත. පරීක්ෂණ දත්තවල මධ්යන්යය පරිමාණයට සම්බන්ධ විය. CV ලකුණු 89%, සැබෑ නිෂ්පාදනය 76%. මම නල මාර්ගයට ගොස් පුහුණුවෙන් පමණක් පරිවර්තනයන් ගැන ඉගෙන ගත් විට ව්යාජ සාර්ථකත්වය අතුරුදහන් විය. පාඩම: පළමුව බෙදන්න, පසුව පරිවර්තනය කරන්න.
නඩුව 3 - ප්රතිනිෂ්පාදනය කිරීමට අසමත් වීම. විශ්ලේෂකයෙකුට මාස තුනකට පසු ඔහු කළමනාකාරිත්වයට ඉදිරිපත් කළ ප්රස්ථාරය යාවත්කාලීන කිරීමට අවශ්ය වූ නමුත් ඔහු එය නිෂ්පාදනය කළේ කෙසේදැයි මතක නැත; බොහෝ පියවර Excel හි අතින් සිදු කරන ලදී. ප්රතිඵලය සාර්ථක නොවූ අතර විශ්වාසය කැළඹී ඇත. පාඩම: අතින් පියවර නැත, සියල්ල කේතය සහ Git තුළ ඇත.
පිටපත් කළ හැකි සැකිලි හතරක්
1) කාන්දු පරීක්ෂාව:
ඔබේ කාර්යභාරය: කාන්දු පරීක්ෂක. ඉලක්කය: "චන්" (0/1), පුරෝකථන යොමු දිනය: වාර්තා_දිනය. මම ඔබට මෙම විශේෂාංග ලැයිස්තුව ලබා දෙන්නෙමි. සෑම විශේෂාංගයක් සඳහාම: (අ) එය ඉලක්කයේ ප්රතිවිපාකයක්ද, (ආ) පුරෝකථනය කරන අවස්ථාවේදී එය මට ලබා ගත හැකිද, (ඇ) කාල කවුළුවේ අනාගතය ඇතුළත් වේද? එය "අනාරක්ෂිත / සැක සහිත / කාන්දු වීම" ලෙස සලකුණු කර හේතුවක් ලියන්න. විශේෂාංග: [ලැයිස්තුව]
2) කාන්දු නොවන නල මාර්ගය:
sklearn නල මාර්ගය සකසන්න: පළමුව බෙදුණු දුම්රිය/පරීක්ෂණය (ස්ථරගත, බීජ=42), පසුව පුහුණුවීම් වලින් පමණක් සියලුම පෙර සැකසුම් (ආරෝපණය, පරිමාණය, සංකේතනය) නල මාර්ගයට ගලපන්න. කේතය කාන්දු-නිදහස් වන්නේ මන්දැයි පැහැදිලි කරන්න, කුමන පියවර ඉගෙන ගත්තේ කොහෙන්ද යන්න.
3) ප්රතිනිෂ්පාදන පිරික්සුම් ලැයිස්තු කේතය:
මට මගේ විග්රහය ප්රතිනිෂ්පාදනය කිරීමට අවශ්යයි. එකතු කරන කේතය/ව්යුහය යෝජනා කරන්න: (1) සියලු අහඹු බව සඳහා දෘඩ බීජ, (2) භාවිතා කරන ලද මුද්රණ පුස්තකාල අනුවාද, (3) දත්ත සහ ප්රතිදානය සඳහා දිනය/අනුවාද ටැගය. අතින් පියවර කිසිවක් නොමැති බව සහතික කර ගැනීමට මට පිරික්සුම් ලැයිස්තුවක් ද ලබා දෙන්න.
4) සමූහගත කොටස (එකම ඒකකය කාන්දු වීම):
දත්තවල එකම customer_id පේළි කිහිපයක පවතී. එකම පාරිභෝගිකයා පුහුණු කිරීම සහ පරීක්ෂා කිරීම යන දෙකෙහිම සිටීම වළක්වන බෙදීමක් (GroupKFold orGroupShuffleSplit, group = customer_id) කරන්න. බෙදීමෙන් පසු කට්ටල දෙකෙහිම ගනුදෙනුකරුවන් නොමැති බව තහවුරු කිරීමට කේතය ඇතුළත් කරන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මගේ ආකෘතිය 98% නිරවද්යතාවයක් ලබා දුන්නා, එය විශිෂ්ටයි නේද? කේතය ප්රශස්ත කරන්න.
98% සැමරීම කාන්දුව සඟවයි. ප්රශස්ත කිරීමට පෙර, මෙම ලකුණු සත්යද නැද්ද යන්න ප්රශ්න කළ යුතුය.
බලවත් විමසුම:
ඔබේ කාර්යභාරය: කාන්දු පරීක්ෂක. මගේ ආකෘතිය පරීක්ෂණ කට්ටලය මත 98% නිරවද්යතාවයක් ලබා දෙයි, එය මට "සත්ය වීමට තරම් හොඳ නැත". පිරික්සන්න: (1) ඉලක්කයේ ප්රතිඵලයක් වන යම් ලක්ෂණද, (2) බෙදීමට පෙර කරන ලද පරිවර්තනද, (3) එකම ඒකකය කට්ටල දෙකකින්ද, (4) ඕනෑම වේලාවක කාන්දුවීම් තිබේද. කිසියම් සැක කටයුතු කරුණු ලැයිස්තුගත කරන්න; ලකුණු නිවැරදි කිරීම නොව කාන්දුව සොයා ගැනීම කෙරෙහි අවධානය යොමු කරන්න.
මෙහිදී, ඉහළ ලකුණු ප්රශ්න කළ යුතු ලකුණක් ලෙස සලකනු ලැබේ, සැමරීමට නොවේ.
පොදු වැරදි
- "ඉතා හොඳ" ප්රතිඵලය සමරමින්. සත්ය වීමට වඩා හොඳ ලකුණු යනු කාන්දු වීමේ අනතුරු ඇඟවීමක් මිස ජයග්රහණයක් නොවේ.
- බෙදීමට පෙර සියලු දත්ත වලින් පරිවර්තනය ඉගෙන ගැනීම. වඩාත් පොදු කාන්දුව; නල මාර්ගය සමඟ මුලින්ම බෙදන්න.
- කාල ශ්රේණිය අහඹු ලෙස බෙදීම. ආකෘතිය අනාගතය දකිනවා; කාලානුක්රමික බෙදීම අනිවාර්ය වේ.
- එකම ඒකකය කට්ටල දෙකකින් පිටවීම. ආකෘතිය පුද්ගලයා කටපාඩම් කරයි; කණ්ඩායම අනුව බෙදන්න.
- අතින් ඇතුල් නොවී කේතයට ලිවීම. විශ්ලේෂණය ආපසු හැරවිය නොහැකි බවට පත් වේ; සෑම දෙයක්ම කේතය සහ Git විය යුතුය.
ඉඟිය: ඔබේ ව්යාපෘතියේ ආරම්භයේදී වාක්ය දෙකක "ගෞරවයේ ප්රතිඥාවක්" ලියන්න: "මම එය නිෂ්පාදනයේදී දැකීමට පෙර කිසිම ආකාරයකින් පරීක්ෂණ කට්ටලය ස්පර්ශ කර නැත. සෑම පියවරක්ම කේතයේ ඇති අතර බීජය සවි කර ඇත." ඔබට මෙම වාක්ය දෙක අවංකව අත්සන් කළ නොහැකි නම්, ඔබේ ප්රතිඵලය තවමත් විශ්වාසදායක නොවේ.
සාරාංශයක් ලෙස
දත්ත කාන්දු වීම සහ ප්රතිනිෂ්පාදනය නොකිරීම යනු දත්ත විද්යාවේ මිල අධිකම නිහඬ දෝෂ දෙකයි. කාන්දු වීම යනු අනාගතය පිළිබඳ ආකෘතියේ දැක්ම වන අතර එය ව්යාජ සාර්ථකත්වයක් ලෙස ඉදිරිපත් කරයි; විසඳුම වන්නේ පරීක්ෂණ කට්ටලය කලින් බෙදීම, පුහුණුවෙන් (නල මාර්ගයෙන්) පමණක් පරිවර්තනයන් ඉගෙන ගැනීමයි, එක් එක් විශේෂාංගයෙන් "අනාවැකි කරන අවස්ථාවේ එය මා සතුව තිබේද" යන ප්රශ්නය ඇසීම සහ නිවැරදි බෙදීම (කාලානුක්රමික/කණ්ඩායම්) සිදු කිරීමයි. ප්රතිනිෂ්පාදනය යනු එකම ප්රතිඵලය දෙවරක් ලබා ගැනීමට හැකිවීමයි; ඔහුගේ විසඳුම වන්නේ අතින් පියවර ඉවත් කිරීම, බීජය ඇලවීම, අනුවාද කැටි කිරීම සහ සියල්ල Git තුළ තබා ගැනීමයි. AI හට මෙම අවදානම් වැඩි කිරීමට හෝ අඩු කිරීමට හැකිය; එය තීරණය කරන්නේ ඔබේ විනයයි.
යෙදුම් කාර්යය
ඔබ ගොඩනගා ඇති ආකෘතියක (හෝ උපකල්පිත එකක්) විශේෂාංග ලැයිස්තුව ගෙන "අනාවැකි කරන අවස්ථාවේ මෙම තොරතුරු මා සතුව තිබේද?" යන ප්රශ්නය එක් එක් විශේෂාංගයෙන් අසන්න. ලිඛිතව; අවම වශයෙන් එක් කාන්දු අපේක්ෂකයෙකු සොයා ගන්න. ඉන්පසු ඔබේ විශ්ලේෂණය ප්රතිනිෂ්පාදනය කිරීමට පිරික්සුම් ලැයිස්තුවක් පුරවන්න: බීජය සවි කර තිබේද, අතින් පියවර තිබේද, අනුවාද ලියාපදිංචි කර තිබේද, ඒවා Git හි තිබේද. අඩුපාඩු සකස් කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම කාන්දු ඇඟවීමක් ලෙස "සත්ය වීමට ඉතා හොඳ" ලකුණු විමසුවද?
- [ ] මම භේදයෙන් පසු සියලුම පරිවර්තනයන් ඉගෙන ගත්තේ පුහුණුවෙන් පමණක්ද?
- [ ] මම කාලය/කණ්ඩායම් ව්යුහය (කාලානුක්රමික/GroupKFold) අනුව බෙදුවද?
- [ ] මම ස්ථාවර බීජ සමඟ සියලු අහඹු බව පුනරාවර්තනය කර තිබේද?
- [ ] මම අතින් පියවර ඉවත් කර සියල්ල කේත සහ අනුවාද පාලනයේ තබා ගත්තද?