ලාභ:
- කෘතිම බුද්ධියේ සහය ඇතිව සාමාන්යකරණය කරන ලද රේඛීය ආකෘතිය (GLM), අවදානම් සාධකය, තීරුබදු සහ අවදානම් වාරික සංකල්ප ස්ථාපිත කිරීමේ හැකියාව සහ සංගුණක ව්යාපාරික භාෂාවට පරිවර්තනය කිරීම
- කෘත්රිම බුද්ධිය සමඟ යන්ත්ර ඉගෙනුම් ආකෘති (GBM) හි විචල්ය තේරීම, අන්තර්ක්රියා, අධික ලෙස ගැලපීම සහ අර්ථකථනය කිරීමේ ශේෂය සාකච්ඡා කිරීමේ හැකියාව
- මිලකරණ ආකෘතිය තහනම්/වෙනස් කොට සැලකීමේ විචල්යයන්ගෙන් තොර බව තේරුම් ගැනීමට හැකිවීම සහ නීති සම්පාදනය සහ තරඟකාරිත්වය සමඟ අවසාන ගාස්තුව අනුකූල වීම ක්රියාකාරීත්වයට පැවරේ.
රක්ෂණ ඔප්පුවක මිල අහඹු ලෙස තීරණය නොවේ. විශාල නගරයක ජීවත් වන 22 හැවිරිදි, අලුතින් බලපත්රලාභී රියදුරෙකු සඳහා රථවාහන අනතුරක අවදානම සංඛ්යානමය වශයෙන් වසර 20 ක පළපුරුද්දක් ඇති 45 හැවිරිදි රියදුරෙකුට වඩා වැඩි ය; සාධාරණ ක්රමයක් තුළ වාරික ද වෙනස් විය යුතුය. මෙම වෙනස මැනීම සහ එය මිල මත පරාවර්තනය කිරීම ක්රියාකරුගේ කාර්යය මිලකරණය සහ අවදානම් වර්ගීකරණය ලෙස හැඳින්වේ. මෙම ඒකකය තුළ, අපි සාමාන්යකරණය කරන ලද රේඛීය ආකෘතිය (GLM), මිලකරණයේ ක්රියාකාරී කොඳු නාරටිය සහ එහි යන්ත්ර ඉගෙනීමේ විකල්ප සාකච්ඡා කර මෙම ක්රියාවලියේදී AI ආරක්ෂිතව භාවිතා කරන්නේ කෙසේදැයි බලමු.
මූලික නියමයන් කිහිපයක්. අවදානම් සාධකය යනු අවදානමට බලපාන විචල්යය වන අතර මිලකරණයේදී භාවිතා වේ (වයස, වාහන වයස, කලාපය, අපේක්ෂිත භාවිතය). ගාස්තු යනු අවදානම් සාධක අනුව වාරිකය ගණනය කරන්නේ කෙසේද යන්න තීරණය කරන නීති මාලාවකි. අවදානම් වාරිකය යනු පිරිසිදු අපේක්ෂිත පාඩු පිරිවැයයි; වියදම්, කොමිස්, ලාභ ආන්තික සහ ප්රාග්ධන පිරිවැය එකතු වූ විට, වාණිජ වාරිකය (විකුණුම් මිල) සෑදේ. අපි මුල සිටම මතක් කරමු: AI මඟින් විචල්ය යෝජනා කරයි, ආකෘති ගොඩනඟයි, සංගුණක පැහැදිලි කරයි; නමුත් කුමන විචල්යය නීත්යානුකූල සහ සදාචාරාත්මකද සහ අවසාන ගාස්තුව නීති සම්පාදනයට සහ තරඟකාරීත්වයට අනුකූලද යන්න සක්රිය හා අනුකූලතා ඒකකයට අයත් වේ.
GLM ප්රමිතිය වන්නේ ඇයි?
මිලකරණයේදී වැඩිපුරම භාවිතා වන ක්රමය GLM වේ. GLM යනු "සාමාන්යකරණය කරන ලද රේඛීය ආකෘතිය" යන්නයි: එය හානි දත්ත වැනි සාමාන්ය ලෙස බෙදා නොහරින ඉලක්ක වලට ගැලපෙන පරිදි සම්භාව්ය රේඛීය ප්රතිගාමීත්වය දිගු කරයි. එහි මූලික කොටස් දෙකකි. බෙදා හැරීමේ පවුල: සංඛ්යාතය සඳහා විෂ තෝරා ගනු ලැබේ, තීව්රතාවය සඳහා ගැමා තෝරා ගනු ලැබේ (ඒකක 2 හි තර්කනය). සබැඳි ශ්රිතය (සබැඳිය): සාමාන්යයෙන් ලඝුගණක, එමඟින් සාධකවලට ගුණ කිරීමේ බලපෑමක් ඇති කිරීමට ඉඩ සලසයි. ගුණ කිරීමේ ව්යුහය ක්රියාවෙහි ඉතා අගනේය මන්ද යත් ගාස්තුව සකසා ඇත්තේ හරියටම එසේ වන බැවිනි: මූලික වාරිකය × වයස් සාධකය × කලාපීය සාධකය × වාහන සාධකය.
GLM හි විශාලතම වාසිය වන්නේ අර්ථකථනය කිරීමයි. සංගුණකයක් ඔබට කෙලින්ම කියයි: "තරුණ ධාවක කණ්ඩායම යොමු කණ්ඩායමට සාපේක්ෂව සංඛ්යාතය 1.6 ගුණයකින් වැඩි කරයි." මෙම විනිවිදභාවය ආකාර තුනකින් තීරණාත්මක වේ: (1) නියාමකයාට සහ අභ්යන්තර විගණනයට ආකෘතිය තේරුම් ගැනීමට සහ අනුමත කිරීමට හැකිය; (2) තහනම් / වෙනස් කොට සැලකීමේ බලපෑමක් දෘශ්යමාන වේ; (3) විකුණුම් සහ කළමනාකරණ කණ්ඩායමට මිල තර්කය පැහැදිලි කළ හැකිය. වඩාත් සංකීර්ණ යන්ත්ර ඉගෙනුම් ආකෘති (පහළ) සමහර විට ඉහළ නිරවද්යතාවයක් ලබා දෙයි, නමුත් විනිවිදභාවයේ වියදමින්.
ඉඟිය: GLM සංගුණකය ලොග් පරිමාණයෙන් ඇත. සංගුණකය Exp(සංගුණකය) සමඟ "ගුණ කිරීමේ සාධකයක්" බවට පරිවර්තනය කිරීමට AI ගෙන් ඉල්ලා සිටින්න; ව්යාපාරික භාෂාවට පරිවර්තනය කිරීම වඩාත් පහසු වනු ඇත (උදා: සංගුණකය 0.47 → සාධකය ≈ 1.60 → “60% අවදානම්”).
විචල්ය තේරීම, අධික ලෙස ගැලපීම සහ යන්ත්ර ඉගෙනීම
මිලකරණයේ වඩාත්ම තීරණාත්මක තීරණය වන්නේ කුමන විචල්යයන් ආකෘතියේ පවතිනු ඇත්ද යන්නයි. උගුල් දෙකක් තිබේ. විචල්යයන් කිහිපයක් ආකෘතිය අන්ධ කරයි: වැදගත් අවදානම් ධාවකය මඟ හැරුණහොත්, මිල වැරදි වනු ඇත. ඉතා විචල්ය/අධික ගැලපීම නිසා ආකෘතියට අතීත දත්ත මතක තබා ගත හැක: ආකෘතිය සංඥාව සඳහා ශබ්දය වැරදී නව ප්රතිපත්ති සමඟ අසමත් වේ. හරස් වලංගුකරණය හරහා ශේෂය තහවුරු වේ - දත්ත පුහුණු කිරීම සහ පරීක්ෂණ කොටස් වලට බෙදීම සහ ආකෘතිය නොපෙනෙන දත්ත, සරල බව සහ සත්ය තර්කනය මත එය පරීක්ෂා කිරීම.
අන්තර්ක්රියා ද වැදගත් ය: සමහර විට සාධක දෙකක ඒකාබද්ධ බලපෑම ඒවායේ වෙනම බලපෑම්වල එකතුවෙන් වෙනස් වේ (තරුණ + ක්රීඩා වාහනයක් ඒවායේ තනි බලපෑම් එකතුවට වඩා අවදානම් විය හැකිය). GLM හි, අන්තර්ක්රියා පැහැදිලිවම එකතු වේ.
මෑත වසරවලදී, GBM (gradient boosting machine - බොහෝ කුඩා තීරණ ගස් ඒකාබද්ධ කරන ප්රබල යන්ත්ර ඉගෙනීමේ ක්රමයක්) වැනි ආකෘති මිලකරණයේදී සුලභ වී ඇත. මේවා ස්වයංක්රීයව සංකීර්ණ රටා සහ අන්තර්ක්රියා ග්රහණය කරයි, බොහෝ විට GLM වලට වඩා නිවැරදි අනාවැකි ලබා දෙයි. නමුත් එය මිලකට පැමිණේ: "කළු පෙට්ටියක්" වීමේ ප්රවණතාවය. අද සාමාන්ය භාවිතය වන්නේ සොයාගැනීම් සහ අදහස් උත්පාදනය සඳහා GBM සහ අවසාන විනිවිද පෙනෙන ගාස්තු සඳහා GLM භාවිතා කිරීමයි. හෝ SHAP වැනි පැහැදිලි කිරීමේ මෙවලම් සමඟ GBM ප්රතිදානය අර්ථ නිරූපණය කිරීම.
පහත වගුව ප්රවේශ දෙක සංසන්දනය කරයි:
නිර්ණායකය
GLM
GBM (යන්ත්ර ඉගෙනීම)
අර්ථකථනය කිරීමේ හැකියාව
ඉහළ (සංගුණකය මත)
අඩු (විවරණ මෙවලමක් අවශ්යයි)
අන්තර්ක්රියා අල්ලා ගැනීම
අතින් එකතු කරන ලදී
ස්වයංක්රීය
අධික ලෙස සවි කිරීමේ අවදානම
අඩු මධ්යම
ඉහළ (ප්රවේශමෙන් ගැලපීම අවශ්යයි)
නියාමක/විගණන අනුමැතිය
පහසුයි
දුෂ්කර, අමතර ලියකියවිලි අවශ්ය වේ
සාමාන්ය භාවිතය
අවසාන ගාස්තු
සොයාගැනීම, සංසන්දනය
මිලකරණයේදී AI භාවිතා කරන්නේ කෙසේද?
1) GLM සංගුණකය ව්යාපාරික භාෂාවට පරිවර්තනය කිරීම:
මම සංඛ්යාත GLM (පොයිසන්, ලොග් සබැඳිය) සැකසුවෙමි. සමහර සංගුණක (ලොග් පරිමාණය): age_group_18_25: 0.47 ; කලාපය_බහුතරය: 0.22 ; arac_yasi_10plus: -0.15. එක් එක් එක්ස්ප්() සමඟ ගුණක සාධකයක් බවට පරිවර්තනය කර කළමනාකරුවෙකුට තේරුම් ගත හැකි එක් වාක්යයකින් එය පැහැදිලි කරන්න. ඒ වගේම reference group එක මොකක්ද කියලා මතක් කරන්න.
2) විචල්ය/අන්තර්ක්රියා සාකච්ඡාව:
ඔබේ කාර්යභාරය: මිල සහකාර. රථවාහන සංඛ්යාත ආකෘතිය සඳහා මගේ අපේක්ෂක විචල්ය වන්නේ: වයස, ස්ත්රී පුරුෂ භාවය, කලාපය, වාහන වයස, එන්ජින් බලය, වාර්ෂික කි.මී., වෘත්තිය. - නියාමන / සදාචාරාත්මක ඉදිරිදර්ශනයකින් (උදා: වක්ර වෙනස්කම් කිරීම) අවදානම් විය හැකි විචල්ය මොනවාද? - කුමන ද්විපාර්ශ්වික අන්තර්ක්රියා උත්සාහ කිරීම අර්ථවත් කරයිද? - වැඩිපුර ගැළපීම වළක්වා ගැනීමට මා අනුගමනය කළ යුතු සත්යාපන පියවර මොනවාද? තීරණ ගැනීම; පාලනය සහ සාකච්ඡාව සඳහා රාමුව මට දෙන්න.
3) අධි ගැලපුම් පාලන කේතය:
Python + scikit-Learn / statsmodels භාවිතයෙන් k-fold cross-validation සමඟ GLM අගය කරන අදහස් දක්වන ලද කේතය ලියන්න. Metric ලෙස Poisson අපගමනය භාවිතා කරන්න. පුහුණුවීම් සහ පරීක්ෂණ ලකුණු සංසන්දනය කර අධික ලෙස ගැලපෙන ලකුණ කියවන ආකාරය අදහස් රේඛාවේ පැහැදිලි කරන්න. පුස්තකාලය ව්යාජ ය.
4) වෙනස් කොට සැලකීම/ආදේශක විචල්ය පිරික්සීම:
'තැපැල් කේතය' මගේ මිලකරණ ආකෘතියේ ප්රබල විචල්යයක් බවට පත් විය. ප්රොක්සි විචල්යයක් ලෙස තහනම් ලක්ෂණයක් (උදා. ජනවාර්ගිකත්වය, ආදායම) වක්රව නිරූපණය කිරීමේ අවදානම පැහැදිලි කරන්න. - මෙම අවදානම පරීක්ෂා කිරීමට මා කළ යුතු විශ්ලේෂණය කුමක්ද? - අවදානම අඩු කිරීමට ඇති විකල්ප මොනවාද? නීති උපදෙස් ලබා දීම; තාක්ෂණික හා සදාචාරාත්මක රාමුවක් අඳින්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
රථවාහන රක්ෂණය සඳහා හොඳම මිලකරණ ආකෘතිය ස්ථාපිත කරන්න.
"හොඳම" යන්න නිර්වචනය කර නැත; දත්ත නැත, සීමාවන් නැත, නීති නැත. AI සාමාන්ය, අදාළ නොවන පිළිතුරක් ලබා දෙයි.
බලවත් විමසුම:
ඔබේ කාර්යභාරය: මිල නියම කිරීමේ ක්රියාකාරීත්වයට සහයකයා. සන්දර්භය: මම රථවාහන ශාඛා සංඛ්යාත ආකෘතියක්, GLM (Poisson, log link) ගොඩනඟමි. මා සතුව ඇති විචල්යයන්: වයස් කාණ්ඩය, වාහන වයස, කලාපය (පළාත), වාර්ෂික කි.මී., අපේක්ෂිත භාවිතය. සීමා කිරීම: ස්ත්රී පුරුෂ භාවය නීති මගින් භාවිතා කළ නොහැක; මට වක්ර වෙනස් කොට සැලකීම වැළැක්විය යුතුය.කාර්යය:1) මෙම විචල්යයන් සමඟ මූලික ආදර්ශ පිරිවිතර යෝජනා කරන්න (යොමු කණ්ඩායම් ඇතුළුව).2) මම උත්සාහ කළ යුතු අන්තර්ක්රියා 2ක් සඳහා හේතු දක්වන්න.3) වැඩිපුර ගැළපීම පරීක්ෂා කිරීමට පියවර ලැයිස්තුවක් දෙන්න.4) වක්ර වෙනස්කම් කිරීම් අනුව 'කලාපය' සඳහා විශේෂ අවධානයක් එක් කරන්න. මම තීරණය ගන්නෙමි; ඔබ රාමුව සහ සාධාරණීකරණය සපයයි.
කුඩා නඩු තුනක්
නඩුව 1 - විනිවිදභාවයේ වටිනාකම. සමාගමක් නියාමකයාට GBM සමඟ ගොඩනගා ගත් ඉතා නිවැරදි මිලකරණ ආකෘතියක් ඉදිරිපත් කළ නමුත් සංගුණක පැහැදිලි කිරීමට නොහැකි විය; අනුමැතිය ප්රමාදයි. ක්රියාකාරකය එකම සංඥා ග්රහණය කරගත් GLM එකක් සාදන ලදී; නිරවද්යතාවය සියයට 2 කින් පහත වැටී ඇත, නමුත් සෑම සාධකයක්ම ගණනය කළ හැකි බැවින්, ආකෘතිය මාසයක් ඇතුළත වලංගු විය. GBM ඔත්තු බැලීම සඳහා ඉතිරි කරන ලදී, GLM තීරුබදු බවට පත් විය. මොඩල දෙකේ ක්රියාකාරීත්වය සංසන්දනය කරමින් YZ ඉක්මනින් කේතය සහ නියාමක විස්තරය නිෂ්පාදනය කළේය.
නඩුව 2 - අධික ලෙස ගැලපෙන උගුල. සහායකයකුට විචල්ය 40කට වඩා වැඩි ප්රමාණයක් සහ බොහෝ අන්තර්ක්රියා ආකෘතියට එක් කළ විට පුහුණු දත්ත සඳහා පරිපූර්ණ ලකුණු ලබා ගත්තේය. නමුත් හරස් වලංගුකරණයේදී, පරීක්ෂණ ලකුණු බිඳ වැටුණි: ආකෘතිය ශබ්දය කටපාඩම් කර ඇත. විචල්ය සංඛ්යාව 12 දක්වා අඩු කර සරල කළ විට සැබෑ ලෝකයේ කාර්ය සාධනය වැඩි විය. පාඩම: පෙර නොවූ විරූ දත්ත ලකුණු දෙස බලන්න, පුහුණු ලකුණු නොවේ.
නඩුව 3 - වක්ර වෙනස්කම් කිරීම. එක් මාදිලියක, "අසල්වැසි" විචල්යය වාරිකය දැඩි ලෙස පැහැදිලි කළේය. විශ්ලේෂණයෙන් පෙන්නුම් කළේ මෙම විචල්යය බොහෝ දුරට වාර්ගික සාන්ද්රණය සමඟ අතිච්ඡාදනය වී ඇති බවයි, එනම් එය තහනම් ලක්ෂණයක් සඳහා ප්රොක්සියක් විය. ක්රියාකාරකය මෙම විචල්යය වඩා මධ්යස්ථ අවදානම් දර්ශක (මාර්ග වර්ගය, වාහන නැවැත්වීමේ තත්ත්වය) සමඟ ප්රතිස්ථාපනය කළේය; සදාචාරාත්මක සහ නීතිමය අවදානම් දෙකම අඩු වී ඇත. AI විසින් අතිච්ඡාදනය සහ විකල්ප විචල්ය යෝජනා මනින සහසම්බන්ධතා විශ්ලේෂණය නිෂ්පාදනය කරන ලදී; ක්රියාකාරී සහ අනුකූලතා ඒකකය තීරණය කළේය.
පොදු වැරදි
- අර්ථකථනය කළ නොහැකි ආකෘතිය අවසාන වට්ටෝරුව බවට පත් කිරීම. නියාමකයාට, විගණනයට සහ පාරිභෝගිකයාට පැහැදිලි කළ නොහැකි මිලක් තිරසාර නොවේ; විනිවිදභාවය අත්යවශ්යයි.
- අධ්යාපන ලකුණු මත විශ්වාසය තැබීම. අධික ලෙස ගැලපීම අනාවරණය වන්නේ නොදුටු දත්තවල පමණි (හරස් වලංගුකරණය).
- පරීක්ෂා කිරීමකින් තොරව තහනම්/ආදේශක විචල්යයන් භාවිතා කිරීම. සිප් කේතය සහ රැකියාව වැනි විචල්යයන් වක්ර වෙනස්කම් ඇති කළ හැක; එය පරීක්ෂා කිරීමට වග බලා ගන්න.
- අවදානම් වාරිකය වාණිජ වාරිකය සමඟ ව්යාකූල කිරීම. පිරිසිදු හානි පිරිවැය පමණක් විකුණුම් මිල නොවේ; වියදම, ලාභය සහ ප්රාග්ධනයේ පිරිවැය එකතු වේ.
- ලොග් පරිමාණයෙන් සංගුණකය අත්හැර එය වැරදි ලෙස අර්ථකථනය කිරීම. එය exp() සමඟ ගුණ කිරීමේ සාධකයකට පරිවර්තනය නොකර අදහස් දැක්වීම දෝෂයක් ඇති කරයි.
අවවාදයයි: "හොඳම නිරවද්යතාවය ලබා දෙන" ආකෘතිය පිළිබඳ AI හි නිර්දේශය ස්වයංක්රීයව "භාවිතා කළ යුතු" ආකෘතිය නොවේ. විනිවිදභාවය, සාධාරණත්වය සහ නීති සම්පාදනයට අනුකූල වීම අනිවාර්ය නිර්ණායක මෙන්ම ක්රියාකාරී මිලකරණයේ නිරවද්යතාවයයි.
සාරාංශයකින්
මිලකරණය යනු අවදානම් සාධක සමඟ අවදානම මැනීම සහ එය සාධාරණ වාරිකයක් බවට පරිවර්තනය කිරීමේ ක්රියාවලියයි. GLM යනු එහි ගුණ කිරීමේ සහ අර්ථකථනය කළ හැකි ව්යුහය සහිත ක්රියාකාරී මිලකරණයේ ප්රමිතියයි; සංගුණක Exp() සමඟ සාධක බවට පරිවර්තනය වේ. GBM වැනි යන්ත්ර ඉගෙනුම් ආකෘති වඩාත් නිවැරදි විය හැකි නමුත් ඒවා විනිවිදභාවය අඩු කරන අතර ඒවා සාමාන්යයෙන් සොයා ගැනීම සඳහා යොදා ගනී. විචල්ය තේරීම හරස් වලංගුකරණය මගින් අධික ලෙස ගැලපීමෙන් ආරක්ෂා කළ යුතු අතර වක්ර වෙනස්කම් කිරීම (ආදේශක විචල්ය) ප්රවේශමෙන් පාලනය කළ යුතුය. AI ආකෘතිය ගොඩනඟයි, කේතය ලියන අතර සංගුණකය පැහැදිලි කරයි; නමුත් නෛතික-ආචාර ධර්ම අනුකූලතාවය සහ අවසාන තීරුබදු ක්රියාකාරී සහ අනුකූලතා ඒකකයට අයත් වේ.
යෙදුම් කාර්යය
මේජර් එකක් සඳහා අවදානම් සාධක 5-6 ලැයිස්තුගත කරන්න. (අ) මෙම සාධක සහිත GLM හි මූලික පිරිවිතරයක්, (b) උත්සාහ කිරීමට අන්තර්ක්රියා 2ක් සහ ඒවායේ තාර්කිකත්වය, (c) වක්ර ලෙස වෙනස් කොට සැලකීමේ අවදානමක් ඇති විචල්යයන් පරීක්ෂා කිරීම සඳහා AI ගෙන් අසන්න. ඉන්පසුව, ලොග්-සංගුණක 3 ක උදාහරණයක් දෙන්න, එය exp() සමඟ ගුණ කිරීමේ සාධකයක් බවට පරිවර්තනය කර එය ව්යාපාරික භාෂාවට මාරු කරන ලෙස AI වෙතින් ඉල්ලා සිටින්න, සහ සාධක අතින් සත්යාපනය කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මගේ ආකෘතිය අර්ථ දැක්විය හැකිද; මට එක් එක් සාධකයේ බලපෑම ව්යාපාරික භාෂාවට පරිවර්තනය කළ හැකිද?
- [ ] මම හරස් වලංගුකරණය මගින් අධික ලෙස ගැලපීම සඳහා පරීක්ෂා කර තිබේද?
- [ ] මම තහනම් සහ ප්රොක්සි විචල්යයන් සඳහා වක්ර වෙනස්කම් කිරීම සඳහා ස්කෑන් කර තිබේද?
- [ ] මම දැනුවත්ව අවදානම් වාරිකය වාණිජ වාරිකයෙන් වෙන් කර තිබේද?
- [ ] මම සංගුණක exp() සමඟ ගුණක බවට පරිවර්තනය කර ඒවා නිවැරදිව අර්ථකථනය කළාද?
- [ ] මම නීති සම්පාදනය සහ අනුකූලතා ඒකකය සමඟ එක්ව අවසාන තීරුබදු තීරණය ගත්තේද?