ලාභ:
- රැකියාවේ සැබෑ පිරිවැය අනුව ගැටළු වර්ගය (වර්ගීකරණය, ප්රතිගමනය, පොකුරු කිරීම) සහ සාර්ථක නිර්ණායක නිර්වචනය කිරීමේ හැකියාව
- දත්ත අවංකව බෙදීමේ හැකියාව (පරීක්ෂණ කට්ටලය ස්පර්ශ නොකර; කාලානුක්රමිකව කාල ශ්රේණියේ) සහ කාන්දු නොවන ඇගයුම් පදනමක් ස්ථාපිත කිරීම
- සරල පදනමකින් ආරම්භ කර එය සුදුසු විට පමණක් සංකීර්ණත්වය එකතු කිරීමෙන් අර්ථකථන ආකෘතියක් තෝරා ගැනීමේ හැකියාව.
මෙතෙක් අපි දත්ත එකතු කර, එය පිරිසිදු කර, ගවේෂණය කර, විශේෂාංග නිෂ්පාදනය කර ඇත. දැන් අපි සැබෑ කාර්යයට පැමිණෙමු, ආකෘතියක් ගොඩනඟා ගන්න. ආකෘතියක් යනු දත්ත වලින් රටාවක් ඉගෙන ගන්නා සහ නව තත්වයන් සඳහා අනාවැකි නිපදවන ගණිතමය ව්යුහයකි. නමුත් ආකෘතියක් ගොඩනැගීමේ වඩාත්ම තීරණාත්මක කොටස කේතය නොවේ, නමුත් ඊට පෙර ඇති තීරණ දෙක: නිවැරදි ගැටළුව නිර්වචනය කිරීම සහ දත්ත නිවැරදිව බෙදීම. AI යනු ඇල්ගොරිතම තෝරාගැනීමේ, කේත ලිවීමේ සහ පරාමිති සුසර කිරීමේ ප්රබල උපදේශකයෙකි; නමුත් පුරෝකථනය කළ යුත්තේ කුමක්ද සහ සාර්ථකත්වය යනු කුමක්ද යන්න තීරණය කිරීම කෙනෙකුට භාරයි. නිවැරදිව ලියා ඇති ආකෘතියක් සමඟ පවා වැරදි ලෙස අර්ථ දක්වා ඇති ගැටළුවක් ක්රියා නොකරයි.
ගැටලුව නිර්වචනය පළමුව: අප අනාවැකි කරන්නේ කුමක්ද?
සෑම ආකෘති නිර්මාණ කාර්යයක්ම ප්රශ්නයකින් ආරම්භ වන අතර, මෙම ප්රශ්නය ආකෘතියේ වර්ගය තීරණය කරයි. වර්ගීකරණය — ප්රතිදානය යනු ප්රවර්ගයකි: "මෙම පාරිභෝගිකයා පිටව යනවාද නැතිනම් රැඳී සිටිනවාද?", "මෙම ගනුදෙනුව ව්යාජද?". ප්රතිගමනය (ඉංග්රීසි ප්රතිගමනය - ප්රතිදානය අංකයකි): "මෙම නිවස කොපමණ වටිනවාද?", "ලබන මාසයේ ඇණවුම් කීයක් පැමිණේවිද?". Clustering (ලේබල් නොකළ දත්ත ස්වභාවික කණ්ඩායම් වලට බෙදීම): "මගේ පාරිභෝගිකයින් ස්වභාවික කොටස් කීයකට බෙදා තිබේද?".
ගැටළු ප්රකාශයේ දෙවන කොටස සාර්ථක නිර්ණායකය වේ: මෙම ආකෘතිය "හොඳ" යන්නෙන් අදහස් කරන්නේ කුමක්ද? වංචා ආකෘතියක් තුළ, වංචාකරුවෙකු අතුරුදහන් වීම, අවංක පාරිභෝගිකයෙකු අහම්බෙන් අවහිර කිරීමට වඩා බෙහෙවින් මිල අධිකය; එබැවින් "සාමාන්ය නිරවද්යතාවය" නොව "වංචනිකයින් ඇල්ලීමේ අනුපාතය" කරලියට පැමිණේ. ඔබ මෙම නිර්ණායකය ආරම්භයේ සිටම නිර්වචනය නොකළහොත්, ව්යාපාර හිමිකරු සමඟ එක්ව, ඔබට ක්රියා නොකරන "ඉතා නිවැරදි" ආකෘතියක් ලැබෙනු ඇත (අපි ඒකක 7 හි ප්රමිතික වෙත ගැඹුරට යමු).
අවවාදයයි: "නිරවද්යතාවය" නොමඟ යවන සුළු විය හැක. ගණුදෙණු 1000න් 10ක්ම හොර නම්, "කිසිවක් වංචා නැත" කියන මෝඩ මොඩලයක් 99% නිරවද්යතාවයක් ලබා දෙන නමුත් එක වංචාකරුවෙකුවත් අල්ලා නොගනී. ගැටලුවේ සැබෑ පිරිවැය මත පදනම්ව සාර්ථක නිර්ණායක තෝරන්න.
පුහුණුව/පරීක්ෂණ බෙදීම: ආකෘතිය අවංකව පරීක්ෂා කිරීම
එය ඉගෙන ගත් දත්ත සමඟ ආකෘතියක් පරීක්ෂා කිරීම, විභාගයේදී ඔහු/ඇය ඉගෙන ගත් ප්රශ්නම ශිෂ්යයාගෙන් ඇසීම වැනි ය; ඔහු ඉහළ ලකුණු ලබා ගනී නමුත් ඔහු ඇත්තටම දන්නා දේ පෙන්වන්නේ නැත. එබැවින් අපි දත්ත දෙකකට (බොහෝ විට තුනකට):
- පුහුණු කට්ටලය (ඉංග්රීසියෙන් පුහුණුවීම් කට්ටලයක්, සාමාන්යයෙන් 70-80%): ආකෘතිය මේ පිළිබඳව ඉගෙන ගනී.
- පරීක්ෂණ කට්ටලය (පරීක්ෂණ කට්ටලය, සාමාන්යයෙන් 20-30%): ආකෘතිය මෙය කිසිසේත් නොපෙනේ; මෙහි සැබෑ කාර්ය සාධනය මනිනු ලැබේ.
- වලංගු කිරීමේ කට්ටලය: ආකෘති සැකසීම සඳහා භාවිතා කරන අතරමැදි කට්ටලය (කුමන පරාමිතිය වඩා හොඳද); පරීක්ෂණ කට්ටලය "පිරිසිදු" තබා ගැනීමට.
වඩාත්ම මූලික රීතිය: පුහුණුව අතරතුර පරීක්ෂණ කට්ටලය කිසි විටෙක ස්පර්ශ නොවේ. පරිමාණ කිරීම, කේතීකරණය, විශේෂාංග තේරීම - සියල්ල පුහුණු කට්ටලයෙන් සරලව ඉගෙන ගෙන පසුව පරීක්ෂණ සඳහා යොදනු ලැබේ (ඒකක 5 වෙතින් කාන්දු වීමේ මූලධර්මය). පරීක්ෂණ කට්ටලය යනු ආකෘතිය සැබෑ ලෝකය දකින පළමු අවස්ථාවයි; ඔබ එය ඉතා ඉක්මනින් සක්රිය කළහොත්, ඔබ සැබෑ කාර්ය සාධනය කිසිදා නොදනී.
කාල ශ්රේණි ව්යතිරේකය: ඔබේ දත්ත කාලය මත රඳා පවතී නම් (විකුණුම්, කොටස් වෙළෙඳපොළ, ඉල්ලුම), අහඹු ලෙස බෙදීම සිදු නොවේ. අහඹු ලෙස බෙදීම ආකෘතියට අනාගතය දැකීමට සහ අතීතය පුරෝකථනය කිරීමට හේතු වන බැවිනි - මෙය කාන්දු වීමකි. ඒ වෙනුවට, කාලානුක්රමිකව බෙදන්න: පැරණි කාල පරිච්ඡේදය සමඟ පුහුණු කරන්න, නව කාල පරිච්ඡේදය සමඟ පරීක්ෂා කරන්න.
ඇල්ගොරිතම තේරීම: සරල සිට සංකීර්ණ දක්වා
ආරම්භකයින්ගේ වඩාත් පොදු වැරැද්ද වන්නේ වඩාත් සංකීර්ණ ආකෘතියෙන් ආරම්භ කිරීමයි. නිවැරදි ප්රවේශය ප්රතිවිරුද්ධයයි: පළමුව සරල පදනමක් ස්ථාපිත කරන්න. වර්ගීකරණයක "සෑම විටම බහුතර පන්තිය අනුමාන කරන්න"; ප්රතිගමනයකදී "සෑම විටම මධ්යන්යය ඇස්තමේන්තු කරන්න". මෙම මෝඩ ආකෘතිය මූලික පදනමක් ලබා දෙයි; ඔබේ සැබෑ ආකෘතිය මෙය සමත් විය නොහැකි නම්, ගැටලුවක් තිබේ. ඉන්පසු සරල හා අර්ථකථනය කළ හැකි ආකෘති වෙත යන්න.
ආකෘතිය
ගැටළු වර්ගය
ශක්තිමත් ලක්ෂ්යය
දුර්වලකම
මූලික (බහුතරය/සාමාන්ය)
දෙකම
මිණුම් ලකුණ ලබා දෙයි
ඉගෙන ගන්නේ නැත
ලොජිස්ටික් පසුබෑම
වර්ගීකරණය
සරල, අර්ථකථනය කළ හැකි
රේඛීය සම්බන්ධතාවය පමණි
රේඛීය පසුබෑම
පසුබෑම
සරල, වේගවත්
රේඛීය උපකල්පනය
තීරණ ගස
දෙකම
අර්ථකථනය කළ හැකි
පහසු කටපාඩම්
අහඹු වනාන්තරය
දෙකම
ශක්තිමත්, කල් පවතින
අඩුවෙන් අර්ථකථනය කළ හැකිය
අනුක්රමණය වැඩි කිරීම (XGBoost ආදිය)
දෙකම
ඉතා ශක්තිමත්
සකස් කිරීමට අපහසු, කටපාඩම් කිරීමේ අවදානම
රීතිය: සරලම "ප්රමාණවත් තරම් හොඳ" ආකෘතිය තෝරන්න. බොහෝ ව්යාපාරික සන්දර්භවල බලයට වඩා අර්ථකථනය වටිනා ය; "කළු පෙට්ටිය කිව්ව නිසා" කියනවට වඩා "ඔබේ ණය සහ ආදායම් අනුපාතය වැඩි නිසා" ණය ප්රතික්ෂේප කිරීමක් පැහැදිලි කිරීම වඩා හොඳය.
කුඩා නඩු තුනක්
නඩුව 1 - වැරදි ගැටළු නිර්වචනය. කණ්ඩායමක් "පාරිභෝගිකයා තෘප්තිමත්ද" යන්න මත පදනම්ව වර්ගීකරණ ආකෘතියක් ගොඩනගා ඇති නමුත් සාර්ථක නිර්ණායකය ලෙස "නිරවද්යතාව" තෝරා ගන්නා ලදී. දත්තවල, පාරිභෝගිකයින්ගෙන් 88% ක් සෑහීමකට පත් විය; සෑම කෙනෙකුම "තෘප්තිමත්" ලෙස ඇමතීමෙන් ආකෘතිය 88% නිරවද්යතාවයක් ලබා ගත් අතර කිසි විටෙකත් අතෘප්තිමත් පුද්ගලයින් සොයා ගැනීමට නොහැකි විය - සැබෑ ඉලක්කය ඔවුන් සොයා ගැනීම වුවද. පාඩම: සැබෑ අරමුණ මත පදනම්ව සාර්ථක නිර්ණායක තෝරන්න.
නඩුව 2 - මැදිරියේ කාලය කාන්දු වීම. ඉල්ලුම පුරෝකථනය කිරීමේ ව්යාපෘතියක දී, දත්ත අහඹු ලෙස බෙදී ඇත. මෙම ආකෘතිය 93% නිරවද්යතාවයක් ලබා දුන් නමුත් එය නිෂ්පාදනයේදී කඩා වැටුණේ එය පුහුණුවේදී ජනවාරි, පසුව නොවැම්බර්, දෙසැම්බර් දත්ත සමඟ - එය අනාගතය දැක ඇති බැවිනි. අපි කාලානුක්රමික බෙදීමට මාරු වූ විට, සැබෑ කාර්ය සාධනය 74% දක්වා වැඩි විය. පාඩම: කාල ශ්රේණියේ කාලානුක්රමික බෙදීම.
නඩුව 3 - අනවශ්ය සංකීර්ණත්වය. එක් විශ්ලේෂකයෙක් ගැඹුරු ස්නායු ජාලයකින් සෘජුවම ආරම්භ කර සති ගණනක් එය සුසර කර 81% නිරවද්යතාවයක් ලබා ගත්තේය. එවිට සගයකුට ලොජිස්ටික් ප්රතිගාමී රේඛා 20ක් සමඟින් 80%ක් ලැබුණි - ඉතා වේගවත්, අර්ථකථනය කළ හැකි සහ නඩත්තු කිරීමට පහසු. පාඩම: මූලික සහ සරල ආකෘතියකින් ආරම්භ කරන්න, එය සුදුසු විට සංකීර්ණත්වය එක් කරන්න.
පිටපත් කළ හැකි සැකිලි හතරක්
1) ගැටළු නිර්වචනය පැහැදිලි කිරීම:
ඔබේ භූමිකාව: ආකෘති නිර්මාණ උපදේශක. මෙම කාර්යය නිර්වචනය කිරීමට මට උදවු කරන්න: "මට පාරිභෝගිකයින් අඩු කිරීමට අවශ්යයි." මගෙන් අසන්න සහ පැහැදිලි කරන්න: (1) මෙය වර්ගීකරණයක් හෝ ප්රතිගමනයක්ද, (2) හරියටම ඉලක්ක විචල්යය කුමක්ද සහ එය අර්ථ දැක්විය යුත්තේ කෙසේද, (3) සාර්ථක නිර්ණායක කුමක් විය යුතුද සහ ඇයි. තීරණය මගේ ය; ඔබ ප්රශ්න සහ විකල්ප ඉදිරිපත් කරයි.
2) ආරක්ෂිත පුහුණුව/පරීක්ෂණ මැදිරිය:
මගේ ඩීඑෆ් පුහුණු/පරීක්ෂණ 80%/20% ලෙස බෙදන්න. පන්ති ව්යාප්තිය (ස්ථිතිකරණය) පවත්වා ගන්න.random_state=42. මෙය කාල ශ්රේණියක් (ස්වාධීන නිරීක්ෂණ) නොවේ. බෙදීමෙන් පසු එක් එක් කට්ටලයේ පන්ති අනුපාතය මුද්රණය කරන්න. කිසිදු පරිවර්තනයක් යෙදීමෙන් තොරව පරීක්ෂණ කට්ටලයට බෙදීමේ කේතය ලබා දෙන්න.
3) කාල ශ්රේණියේ කාලානුක්රමික බෙදීම:
දත්ත කාලය මත රඳා පවතී (දින තීරුව: order_date). අහඹු නොවේ, කාලානුක්රමිකව බෙදන්න: පැරණිතම 80% පුහුණුව, නවතම 20% පරීක්ෂාව. පුහුණුවීම් සහ පරීක්ෂණ දින පරාසයන් මුද්රණය කරන්න එවිට මට අනාගතය කාන්දු වී නැති බව තහවුරු කර ගත හැක.
4) මූලික පදනමක් සැකසීම:
මට වර්ගීකරණ ගැටලුවක් ඇත (ඉලක්කය: 0/1 කපා හැරීම). පළමුව මූලික පදනමක් ස්ථාපිත කරන්න: DummyClassifier සමඟ පුහුණුව/පරීක්ෂණ නිරවද්යතාව මැනීම, එය සැමවිටම බහුතර පන්තිය පුරෝකථනය කරයි. ඉන්පසු සරල ලොජිස්ටික් ප්රතිගමනයක් පුහුණු කර එය මූලික රේඛාව පරදවන්නේ දැයි සංසන්දනය කරන්න. දෙපැත්තේ මිමික පෙන්වන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මෙම දත්ත සමඟ හොඳම ආකෘතිය ගොඩනඟන්න.
"හොඳම" යන්න නිර්වචනය කර නැත; ගැටළු වර්ගයක්, ඉලක්කයක්, සාර්ථක නිර්ණායකයක් සහ බෙදීමේ උපාය මාර්ගයක් නොමැත. AI අහඹු රටාවක් ජනනය කරයි, සමහර විට කාන්දු විය හැක.
බලවත් විමසුම:
ඔබේ භූමිකාව: ආකෘති නිර්මාණ සහකාර. ගැටළුව: වර්ගීකරණය, ඉලක්කය "චන්" (0/1), පන්ති අසමතුලිතතාවයක් ඇත (~ 12% චූන්). සාර්ථකත්වයේ නිර්ණායකය: ප්රමුඛතාවයක් වන්නේ අමනාප වන අය නැවත කැඳවීමයි. දත්ත ස්වාධීන නිරීක්ෂණ (කාල මාලාවක් නොවේ). කාර්යය: (1) 80/20% ස්තරීකරණය බෙදීම, (2) DummyClassifier මූලික රේඛාව, (3) ලොජිස්ටික් ප්රතිගාමී වීම, නල මාර්ගයේ සියලුම පරිවර්තනයන් සහ පුහුණුවෙන් පමණක් ඉගෙන ගන්න. බෙදීමට පෙර පරීක්ෂණ කට්ටලය ස්පර්ශ නොකරන්න.
මෙහිදී ගැටළු වර්ගය, අසමතුලිතතාවය, නිර්ණායකය සහ කාන්දුවීම් මිනුම පැහැදිලිය.
පොදු වැරදි
- සැබෑ අරමුණ අනුව සාර්ථක නිර්ණායක තෝරා නොගැනීම. අසමතුලිත දත්තවල "නිරවද්යතාවය" නොමඟ යවන සුළුය; ඔබට සුළුතර පන්තිය අල්ලා ගැනීමට අවශ්ය නම්, නැවත කැඳවීම කරලියට පැමිණේ.
- පුහුණුව අතරතුර පරීක්ෂණ කට්ටලය ස්පර්ශ කිරීම. බෙදීමට පෙර පරිමාණ කිරීම/කේතනය කිරීම කාන්දු වන අතර සැබෑ කාර්ය සාධනය සඟවයි.
- කාල ශ්රේණියේ අහඹු ලෙස බෙදීම. ආකෘතිය අනාගතය දකිනවා, නිෂ්පාදනයේ කඩා වැටේ; කාලානුක්රමික බෙදීම අත්යවශ්ය වේ.
- මූලික පදනමක් ස්ථාපිත නොකර සංකීර්ණ ආකෘතියකට පැනීම. මිණුම් සලකුණු නොමැතිව ඔබට ආකෘතියක් ඇත්තෙන්ම හොඳද නැද්ද යන්න දැනගත නොහැක.
- අර්ථකථනය නොසලකා හැරීම. ව්යාපාරික තීරණ වලදී, සරල පැහැදිලි කළ හැකි ආකෘතියක් බොහෝ විට කළු පෙට්ටියකට වඩා වටිනා ය.
ඉඟිය: ඔබ ආකෘතියක් තැනීමට පෙර, එක් වාක්යයක් ලියන්න: "මෙම ආකෘතිය _____ පුරෝකථනය කරයි, එහි සාර්ථකත්වය මෙට්රික් _____ මගින් මනිනු ඇත, මන්ද රැකියාවේ සැබෑ පිරිවැය _____ වේ." ඔබට මෙම වාක්යය පිරවිය නොහැකි නම්, ඔබ තවමත් කේතය ලිවීමට සූදානම් නැත.
සාරාංශයක් ලෙස
ආකෘතියක් ගොඩනැගීමේ වඩාත්ම තීරණාත්මක කොටස කේතය නොවේ, නමුත් ඊට පෙර ගන්නා තීරණ: නිවැරදි ගැටළුව නිර්වචනය කිරීම (වර්ගීකරණය හෝ ප්රතිගමනය, ඉලක්කය කුමක්ද, සාර්ථක නිර්ණායකය කුමක්ද) සහ දත්ත සාධාරණ ලෙස බෙදීම (පරීක්ෂණ කට්ටලය ස්පර්ශ නොකර; කාලානුක්රමික කාලානුක්රමය). සෑම විටම සරල පදනමකින් ආරම්භ කර එය සුදුසු විට පමණක් සංකීර්ණත්වය එක් කරන්න; බොහෝ ව්යාපාරික සන්දර්භවල බලයට වඩා අර්ථකථනය අගය කරනු ලැබේ. AI යනු ඇල්ගොරිතම තේරීමේ සහ කේතයේ ප්රබල උපදේශකයෙකි, නමුත් ඔබ පුරෝකථනය කරන්නේ කුමක්ද සහ ඇයි දැයි මිනිසා තීරණය කරයි.
යෙදුම් කාර්යය
පුරෝකථන ගැටලුවක් නිර්වචනය කර පහත වාක්යය ලිඛිතව සම්පූර්ණ කරන්න: "මෙම ආකෘතිය ___ (වර්ගීකරණය/ප්රතිගමනය) පුරෝකථනය කරනු ඇත, ඉලක්කය ___ වේ, සාර්ථක නිර්ණායකය ___ නිසා ___ වේ." ඉන්පසු නිවැරදි උපාය මාර්ගයෙන් දත්ත බෙදන්න (එය කාල ශ්රේණියක් නම් කාලානුක්රමය), මූලික රේඛාවක් පිහිටුවා, සරල රටාවක් එම මූලික රේඛාව බිඳ දමන්නේ දැයි මැන බලන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම ගැටළු වර්ගය (වර්ගීකරණය/ප්රතිගමනය) සහ ඉලක්කය පැහැදිලිව නිර්වචනය කර තිබේද?
- [ ] මම රැකියාවේ සැබෑ පිරිවැය මත පදනම්ව සාර්ථක නිර්ණායක තෝරාගෙන තිබේද?
- [ ] මම පුහුණුවීම් අතරතුර ටෙස්ට් කට්ටලය ස්පර්ශ නොකළද?
- [ ] එය කාල ශ්රේණියක් නම්, මම එය කාලානුක්රමිකව බෙදුවද?
- [ ] මම සංකීර්ණ ආකෘතියට යාමට පෙර මූලික පදනමක් ස්ථාපිත කර තිබේද?