ලාභ:
- වසම් දැනුම සමඟ අර්ථවත් ව්යුත්පන්න විශේෂාංග නිෂ්පාදනය කිරීමට සහ සුදුසු ක්රම සමඟ වර්ගීකරණ කාණ්ඩ කේතනය කිරීමේ හැකියාව (එක්-උණුසුම්, ලේබලය, ඉලක්කය)
- ආකෘති වර්ගය අනුව සංඛ්යාත්මක විචල්ය පරිමාණය කිරීමේ හැකියාව (ප්රමිතිකරණය, සාමාන්යකරණය) සහ අනවශ්ය හෝ අසම්පූර්ණ පරිමාණයෙන් වැළකී සිටීම
- පුහුණුව/පරීක්ෂණ භේදයෙන් පසුව සහ පුහුණුවෙන් පමණක් සියලුම පරිවර්තනයන් ඉගෙන ගැනීමෙන් විශේෂාංග කාන්දු වීම වළක්වා ගැනීමේ හැකියාව
යන්ත්ර ඉගෙනීමේ පැරණි කියමනක් තිබේ: "ව්යවහාරික යන්ත්ර ඉගෙනීම අත්යවශ්යයෙන්ම විශේෂාංග ඉංජිනේරු විද්යාවයි." මක්නිසාද යත්, ආකෘතියක සාර්ථකත්වය බොහෝ විට ඔබ තෝරා ගන්නා ඇල්ගොරිතමයට වඩා, ඔබ මොඩලයට ලබා දෙන යෙදවුම් වලින් පැමිණේ. විශේෂාංග ඉංජිනේරු විද්යාව යනු ආකෘතියට ඉගෙන ගත හැකි අමු දත්ත වලින් අර්ථවත් සංඥා නිපදවීමේ කලාවයි. කෘත්රිම බුද්ධිය මෙම අවස්ථාවෙහි පොහොසත් අදහස් ප්රභවයකි: ඔබ "මෙම දත්ත වලින් නිපදවිය හැකි විශේෂාංග මොනවාද" යනුවෙන් විමසූ විට, එය යෝජනා දුසිම් ගණනක් ලැයිස්තුගත කරයි. නමුත් මෙම යෝජනා වලින් සමහරක් වටිනා ඒවා විය හැකිය, සමහරක් නිෂ්ඵල විය හැකිය, සමහරක් අනතුරුදායක විය හැකිය (කාන්දු වීම). එය නිරාකරණය කිරීම ඔබේ කාර්යයයි.
ඇයි විශේෂාංග ඉංජිනේරු
අමු දත්ත එහි හොඳම ආකාරයෙන් ආකෘතියට පැමිණෙන්නේ කලාතුරකිනි. "උපන් දිනය" තීරුව පමණක් අර්ථ විරහිත වුවද, එයින් ජනනය වන "වයස" අගය ප්රබල සංඥාවකි. ඔබට "සතියේ දිනය", "දිවා/රාත්රිය", "නිවාඩු දිනයක්ද" වැනි ගුණාංග "ඇණවුම් කාල මුද්රාවෙන්" උපුටා ගත හැක. ඔබට අනුපාතයක් ("ණය/ආදායම් අනුපාතය") නිෂ්පාදනය කිරීම සඳහා තීරු දෙකක් ඒකාබද්ධ කළ හැකිය. මෙහිදී, විශේෂාංග ඉංජිනේරු විද්යාව වසම් දැනුම ගණිතමය සංඥා බවට පරිවර්තනය කරයි; ඒ වගේම තමයි මිනිස් බුද්ධිය වැඩිපුරම අවශ්ය වේදිකාව.
වර්ගීකරණ විචල්ය සංඛ්යා බවට පරිවර්තනය කිරීම: කේතීකරණය
ආකෘති සාමාන්යයෙන් ක්රියා කරන්නේ අංක සමඟ මිස පෙළ සමඟ නොවේ. වර්ගීකරණ විචල්යයන් (නගරය, වර්ණය, නිෂ්පාදන වර්ගය වැනි) සංඛ්යා බවට පරිවර්තනය කිරීම සංකේතනය ලෙස හැඳින්වේ. පොදු ක්රම තුනක්:
එක්-උණුසුම් කේතනය: එක් එක් කාණ්ඩය සඳහා 0/1 අගයක් සහිත වෙනම තීරුවක් විවෘත කරයි. "නගරය" සඳහා, ඉස්තාන්බුල්, අන්කාරා, ඉස්මීර් තීරු සෑදී ඇත; පාරිභෝගිකයෙකු ඉස්තාන්බුල්හි සිට නම්, එම තීරුව පමණක් වනු ඇත 1. කාණ්ඩ ගණන කුඩා වන විට වඩාත් සුදුසුය; බොහෝ කාණ්ඩ තිබේ නම් එය තීරු සිය ගණනක් නිපදවයි (මෙය "ප්රමාණයේ පිපිරීම" ලෙස හැඳින්වේ).
ලේබල් කේතනය: එක් එක් කාණ්ඩයට අංකයක් ලබා දෙයි (Istanbul=0, Ankara=1). එය සරලයි, නමුත් එය අහම්බෙන් ආකෘතියට අනුපිළිවෙලක් ඉගැන්විය හැකිය (අන්කාරා > ඉස්තාන්බුල් වැනි); එබැවින් එය ඇණවුම් නොකළ කාණ්ඩවලදී ප්රවේශමෙන් භාවිතා වේ.
ඉලක්ක කේතීකරණය: එක් එක් කාණ්ඩය එම කාණ්ඩයේ ඉලක්ක විචල්යයේ සාමාන්යය සමඟ ප්රතිස්ථාපනය කරයි. එය ඉතා බලවත්, නමුත් කාන්දු වීමේ වඩාත් භයානක මූලාශ්රය: ඔබ පරීක්ෂණ දත්තවල ඉලක්කය සැලකිල්ලට ගතහොත්, ආකෘතිය අනාගතය දකියි. එය ගණනය කළ යුත්තේ පුහුණු දත්ත වලින් පමණක් සහ ප්රවේශමෙන් (හරස් වලංගුකරණය තුළ).
පරිමාණය: විශාල සංඛ්යා ආකෘතිය යටපත් නොකරයි
සමහර ආකෘතීන් (දුර මත පදනම් වූ ඒවා, රේඛීය ආකෘති, ස්නායු ජාල) විචල්යයන්ගේ පරිමාණයට සංවේදී වේ. "ආදායම" (0-500,000) සහ "වයස" (0-100) එකම රටාවකට වැටේ නම්, එය විශාල වීම නිසා ආදායම ආධිපත්යය දරයි. පරිමාණය මෙය නිවැරදි කරයි. සාමාන්ය ක්රම දෙකක්: ප්රමිතිකරණය (එක් එක් අගය "මධ්යන්යයේ සිට සම්මත අපගමන කීයක්" බවට පරිවර්තනය කරයි) සහ සාමාන්යකරණය (අවම-උපරිම සාමාන්යකරණය - අගයන් 0-1 පරාසයට සම්පීඩනය කරයි). ගස් මත පදනම් වූ ආකෘති (තීරණ ගස්, අහඹු වනාන්තර) පරිමාණයෙන් සංවේදී නොවේ, ඒවාට පරිමාණය අවශ්ය නොවේ.
අවවාදයයි: පරිමාණ සහ කේතීකරණ පරාමිතීන් (මධ්යන්ය, සම්මත අපගමනය, ප්රවර්ග-මධ්යන්ය සිතියම්කරණය) ගණනය කළ යුත්තේ පුහුණු දත්ත වලින් පමණක් වන අතර පසුව එයම පරීක්ෂණ දත්තවලට යෙදිය යුතුය. පරීක්ෂණ දත්ත ඇතුළු කිරීම කාන්දු වන අතර ඔබේ ආකෘතිය ඇත්ත වශයෙන්ම වඩා හොඳ පෙනුමක් ලබා දෙයි.
විශේෂාංග ඉංජිනේරු විද්යාවේ කාන්දු වීමේ හදවත
විශේෂාංග උත්පාදනය යනු දත්ත කාන්දු වීම බොහෝ විට ආරම්භ වන ස්ථානයයි. සාමාන්ය වැරදි දෙකක්: කාල කාන්දුව — අනාගත තොරතුරු ඇතුළත් විශේෂාංගයක් නිෂ්පාදනය කිරීම (“පසුගිය දින 30 සාමාන්යය” ගණනය කිරීමේදී පුරෝකථනය කළ දිනට පසු දින ඇතුළුව). සංඛ්යාලේඛන කාන්දු වීම - පුහුණුව/පරීක්ෂණ බෙදීමට පෙර සියලුම දත්ත වලින් විශේෂාංගයක් (පරිමාණ සාමාන්ය, ඉලක්ක කේතීකරණ අගය) ගණනය කිරීම. රීතිය: දුම්රිය/පරීක්ෂණ බෙදීම සිදු කිරීමෙන් පසු එක් එක් පරිවර්තනය ඉගෙන ගන්න සහ පුහුණු දත්ත වලින් පමණි. මෙය නිතිපතා සිදු කිරීම සඳහා ආරක්ෂිතම ක්රමය වන්නේ නල මාර්ගයක් භාවිතා කිරීමයි - එක් දම්වැලක සියලු පරිවර්තන එකතු කර ඒවා බෙදීමෙන් පසුව ඒවා යොදන ව්යුහයකි.
ක්රමය
කුමක් සඳහාද
කාන්දු වීමේ අවදානම
සටහන
එක්-උණුසුම් කේතනය
කාණ්ඩ කිහිපයක් සමඟ විචල්ය වේ
අඩු
විවිධ වර්ගවල ප්රමාණය පුපුරයි
ලේබල් කේතීකරණය
වර්ග කළ ප්රවර්ගය
අඩු
අවුල් පිළිවෙළ වැරදි පිළිවෙල උගන්වයි
ඉලක්ක කේතනය කිරීම
බහු-කාණ්ඩ, ශක්තිමත් සංඥා
ඉතා ඉහළ
අධ්යාපනයෙන් පමණක්, CV හි
ප්රමිතිකරණය
රේඛීය/දුර ආකෘති
මධ්යම
පරාමිතිය අධ්යාපනය මත පමණක් රඳා පවතී
කාල කවුළුව විශේෂාංගය
කාල මාලාව
ඉහළ
අනාගතය එකතු කරන්න
කුඩා නඩු තුනක්
නඩුව 1 - වටිනා දේපල. ණය කණ්ඩායමක් අමු "මාසික ආදායම" සහ "මාසික ණය ගෙවීම" තීරු වලින් "ණය-ආදායම් අනුපාතය" විශේෂාංගය ජනනය කළේය. මෙම තනි ව්යුත්පන්න විශේෂාංගය මාදිලියේ නිරවද්යතාවය 71% සිට 79% දක්වා වැඩි කළේය; මක්නිසාද යත්, ඇත්ත වශයෙන්ම අවදානම තීරණය කළේ නිරපේක්ෂ ආදායම නොව අනුපාතයයි. පාඩම: වසම් දැනුම මගින් ජනනය වන අනුපාත ශක්තිමත් සංඥා වේ.
නඩුව 2 - ඉලක්ක කේතීකරණ කාන්දු වීම. එක් කණ්ඩායමක් "සිප් කේතය" ඉලක්ක කේතනය (එම ප්රදේශයේ සාමාන්ය චක්ර අනුපාතය) සහිත අංකයක් බවට පරිවර්තනය කළ නමුත් එය බෙදීමට පෙර සියලු දත්ත වලින් එය කළේය. මෙම ආකෘතිය පරීක්ෂණ කට්ටලය මත 94% ලබා දුන් අතර, නිෂ්පාදනයේ දී 68% දක්වා පහත වැටුණි. සති 6ක උත්සාහය අපතේ ගියා. පාඩම: ඉලක්ක කේතීකරණය ප්රවේශමෙන් සිදු කරනු ලැබේ, පුහුණුව තුළ පමණි.
නඩුව 3 - පරිමාණය අමතක වීම. එක් විශ්ලේෂකයෙක් ආදායම (0-400,000) සහ පාරිභෝගික වයස (18-75) පරිමාණයෙන් තොරව දුර පදනම් ආකෘතියකට පෝෂණය කළේය. මෙම ආකෘතිය වයස් ආචරණය තලා දැමීමෙන් පාහේ ආදායම දෙස බලයි. පරිමාණය එකතු කළ විට, ඛණ්ඩනය අර්ථවත් විය. පාඩම: දුර/රේඛීය ආකෘතිවල පරිමාණය නොසලකා හරිනු නොලැබේ.
පිටපත් කළ හැකි සැකිලි හතරක්
1) විශේෂාංග අදහස් උත්පාදනය (ඉවත් කිරීම ඔබට භාරයි):
ඔබේ කාර්යභාරය: විශේෂාංග ඉංජිනේරු සහකාර. මගේ df තීරු: උපන්_දිනය, ඇණවුම්_වේලාව (වේලා මුද්රාව), ආදායම්_tl, ණය_tl, නගරය, නිෂ්පාදන_ප්රවර්ගය. ඉලක්කය: "ණය ආපසු ගෙවනු ලැබේද" (0/1). මෙම තීරු වලින් ජනනය කළ හැකි විශේෂාංග 15ක් යෝජනා කරන්න; එක් එක් සඳහා කාන්දු වීමේ අවදානම (අඩු/මධ්යම/ඉහළ) සඳහන් කරන්න. අනාගත තොරතුරු අඩංගු ඒවා පැහැදිලිව සලකුණු කරන්න.
2) ආරක්ෂිත කේතීකරණය (පශ්චාත් භේදය):
එක්-උණුසුම් "නගරය" සහ "නිෂ්පාදන_ප්රවර්ගය" කේතනය කරන කේතය ලියන්න. වැදගත්: කේතීකරණය පුහුණු දත්ත වලට පමණක් ගලපන්න, පසුව පරීක්ෂණ දත්ත පරිවර්තනය කරන්න (sklearn OneHotEncoder සමඟ). අධ්යාපනය තුළ ඔබ නොදුටු ප්රවර්ගය (හැන්ඩ්ල්_නොදන්නා) හසුරුවන ආකාරය පැහැදිලි කරන්න.
3) නල මාර්ගය සමඟ කාන්දු නොවන පරිවර්තනය:
sklearn Pipeline සකසන්න: සංඛ්යාත්මක තීරු වලට StandardScaler යොදන්න, වර්ගීකරණ තීරු වලට OneHotEncoder යොදන්න, අවසානයේ වර්ගීකරණයක් එක් කරන්න. සියලුම පරිවර්තනයන් දුම්රිය/පරීක්ෂණ බෙදීමෙන් පසුව සහ පුහුණුවෙන් පමණක් ඉගෙන ගන්නා බවට සහතික වන්න. කේතය සහ එය කාන්දු නොවන බව පැහැදිලි කරන්න.
4) කාල කවුළු විශේෂාංගය (කාන්දු පාලනය):
එක් එක් පාරිභෝගිකයා සඳහා "පසුගිය දින 30 තුළ ඇණවුම් ගණන" උත්පාදනය කරන්න, නමුත් පුරෝකථනය කළ දිනට පසුව දත්ත ඇතුළත් නොකරන්න. කේතය අනාගතය දෙස නොබලන බව පේළියෙන් පේළියෙන් පැහැදිලි කරන්න. මම යොමු දින තීරුව ලබා දෙන්නෙමි.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මෙම දත්ත වලට හොඳ ගුණාංග එක් කරන්න.
"හොඳ" නිර්වචනය කර නැත, ඉලක්කය අපැහැදිලි ය, කාන්දුවීම් පාලනයක් නොමැත. AI අහඹු, සමහර විට කාන්දු වන විශේෂාංග ජනනය කරයි.
බලවත් විමසුම:
ඔබේ භූමිකාව: විශේෂාංග ඉංජිනේරු. ඉලක්කය: "දින 30කින් ඉවත දමන්න" (0/1), ඇස්තමේන්තුගත යොමු දිනය: save_date. df.Task හි ගණුදෙණු ඉතිහාසය ඇත: විශේෂාංග 8ක් ජනනය කරන්න, සෑම එකක් සඳහාම "අනාවැකි කරන අවස්ථාවේ මෙම තොරතුරු මා සතුව තිබේද" යන ප්රශ්නයට පිළිතුරු දෙන්න. කාල කවුළු විශේෂාංගවල යොමු දිනයට පසු දිනය එකතු කිරීම. දුම්රිය/පරීක්ෂණ අංශයෙන් පසුව ක්රියාත්මක කිරීමට නල මාර්ගයට ගැළපෙන ආකාරයෙන් කේතය ලියන්න.
මෙහිදී, ඉලක්කය, යොමු කාලය සහ කාන්දු පාලනය ආරම්භයේ සිට අර්ථ දක්වා ඇත.
පොදු වැරදි
- බෙදීමට පෙර සියලු දත්ත වලින් පරිවර්තනය ඉගෙන ගැනීම. පරිමාණ / කේතීකරණ පරාමිතිය පරීක්ෂණ දත්ත බලන්නේ නම්, කාන්දු වීම සිදුවේ.
- ඉලක්ක කේතීකරණය නොසැලකිලිමත් ලෙස භාවිතා කිරීම. එය වඩාත්ම බලවත් නමුත් වඩාත්ම කාන්දු වන ක්රමයයි; පුහුණුවෙන්, හරස් වලංගුකරණයෙන්.
- කාල කවුළු විශේෂාංගයක් සමඟ අනාගතය එක් කිරීම. "අවසන් දින 30" ගණනය කිරීම පුරෝකථනය කළ දිනට පසුව ඇතුළත් කළහොත්, ආකෘතිය අනාගතය දකියි.
- ගස් ආකෘතියේ අනවශ්ය පරිමාණය සහ රේඛීය ආකෘතියේ අසම්පූර්ණ පරිමාණය. ආකෘති වර්ගය අනුව පරිමාණ තීරණ ගනු ලැබේ.
- AI හි සෑම විශේෂාංග යෝජනාවක්ම ප්රශ්නයකින් තොරව එකතු කිරීම. යෝජනාවලට නිෂ්ඵල සහ කාන්දු වන විශේෂාංග ඇතුළත් විය හැක.
ඉඟිය: ඔබ උත්පාදනය කරන සෑම විශේෂාංගයක් සඳහාම තනි ප්රශ්නයක් ලියන්න: "මම අනාවැකි කියන අවස්ථාවේ මා සතුව ඇති තොරතුරු සමඟ මට මෙම අගය ගණනය කළ හැකිද?" පිළිතුර පැහැදිලි "ඔව්" නොවේ නම්, විශේෂාංගය භාවිතා නොකරන්න. මෙම තනි විනය බොහෝ විශේෂාංග ආශ්රිත කාන්දුවීම් ඉවත් කරයි.
සාරාංශයකින්
විශේෂාංග ඉංජිනේරු විද්යාව යනු අමු දත්ත වලින් අර්ථවත් සංඥා ජනනය කිරීමේ කලාව වන අතර බොහෝ විට ඇල්ගොරිතමයට වඩා ආකෘතියේ සාර්ථකත්වය තීරණය කරයි. කේතීකරණ වර්ගීකරණය (එක්-උණුසුම්, ලේබලය, ඉලක්කය), පරිමාණය සංඛ්යා (ප්රමිතිකරණය, සාමාන්යකරණය) සහ වසම් දැනුම සමඟ ව්යුත්පන්න විශේෂාංග නිෂ්පාදනය කිරීම මූලික මෙවලම් වේ. නමුත් මෙම අදියර කාන්දු වීමේ හදවත ද වේ: පුහුණුව / පරීක්ෂණ බෙදීමෙන් පසුව සහ පුහුණු දත්ත වලින් පමණක් සියලු පරිවර්තනයන් ඉගෙන ගත යුතුය. AI බොහෝ අදහස් ජනනය කරයි; වටිනා දේ භයානක දේවලින් වෙන්කර හඳුනා ගන්නේ මිනිස් විනිශ්චයයි.
යෙදුම් කාර්යය
ඉලක්ක විචල්යයක් තෝරා ඔබ සතුව ඇති තීරු වලින් අවම වශයෙන් ව්යුත්පන්න විශේෂාංග පහක්වත් සැලසුම් කරන්න. ඒ සෑම එකක් සඳහාම, "අනාවැකිය සිදු කරන අවස්ථාවේ මම තිබේද" යන ප්රශ්නයට ලිඛිතව පිළිතුරු දී අවම වශයෙන් එකක්වත් "කාන්දු වීමේ ඉහළ අවදානමක්" ලෙස ඉවත් කරන්න. ඉන්පසුව කොටස් කිරීමෙන් පසු ක්රියාත්මක කිරීමට නල මාර්ගයක ඇති ආරක්ෂිත විශේෂාංග කේත කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම දුම්රිය/පරීක්ෂණ බෙදීමෙන් පසු සියලු පරිවර්තනයන් යෙදුවද?
- [ ] මම පුහුණුවෙන් ඉගෙන ගත්තේ පරිමාණ/කේතන පරාමිතීන් පමණක්ද?
- [ ] එක් එක් විශේෂාංගය සඳහා "අනාවැකි කරන අවස්ථාවේ මා සතුව එය තිබේද" යන ප්රශ්නයට මම පිළිතුරු දී තිබේද?
- [ ] ඉලක්ක කේතීකරණය වැනි අධි අවදානම් ක්රම සම්බන්ධයෙන් මම අමතර සැලකිල්ලක් ගෙන තිබේද?
- [ ] ආදර්ශ වර්ගය (ගස/රේඛීය) සඳහා සුදුසු පරිදි පරිමාණය කිරීමට මා තීරණය කර තිබේද?