ලාභ:
- දත්ත නල මාර්ගයක් සැකසීමේ හැකියාව (එකතු කිරීම, වලංගු කිරීම, පිරිසිදු කිරීම, පරිවර්තනය කිරීම, බෙදීම, අනුවාද කිරීම) සහ නල මාර්ගයේ ආරම්භයේ ක්රමානුකූල වලංගුකරණය තැබීම
- දත්ත කාන්දු වීම (කණ්ඩායම් සහ තාවකාලික) වැළැක්වීම සඳහා ක්ෂේත්ර අර්ථය සහ බෙදීම මත පදනම්ව නැතිවූ අගය සහ ලේබල් කිරීමේ තීරණ ගැනීමේ හැකියාව
- දත්ත අනුවාදය සහ සසම්භාවී බීජය සවි කිරීම මගින් ප්රතිනිෂ්පාදනය කළ හැකි දත්ත පදනමක් නිර්මාණය කිරීමේ හැකියාව
සෑම යන්ත්ර ඉගෙනුම් පද්ධතියකම සැබෑ බලය පවතින්නේ දත්තවල මිස ආකෘතියේ නොවේ. පළපුරුදු ඉංජිනේරුවන් දන්නවා: "කසළ ඇතුලට, කුණු පිටතට" - නරක දත්ත පෝෂණය කරන ලද වඩාත්ම දියුණු ආකෘතිය පවා නරක ප්රතිඵල ඇති කරයි. මෙම ඒකකය තුළ, අපි දත්ත නල මාර්ගය (දත්ත නල මාර්ගය: ආදර්ශ පුහුණුව සඳහා අමු දත්ත සූදානම් කරන පියවර දාමය) ස්ථාපනය කර මෙම රේඛාවේ කුමන පියවරේදී අපට ආරක්ෂිතව කෘතිම බුද්ධිය භාවිතා කළ හැකිද යන්න ඉගෙන ගන්න.
දත්ත රේඛාවේ පියවර
දත්ත රේඛාවක් සාමාන්යයෙන් මෙම නැවතුම් හරහා ගමන් කරයි:
- එකතු කිරීම (ආග්රහණය කිරීම): මූලාශ්රවලින් දත්ත ඇද ගැනීම (දත්ත සමුදාය, API, ලොග් ගොනු, සිදුවීම් ප්රවාහ).
- වලංගුකරණය: දත්ත අපේක්ෂිත යෝජනා ක්රමය, වර්ග සහ පරාසයන්ට අනුකූල දැයි පරීක්ෂා කිරීම.
- පිරිසිදු කිරීම: නැතිවූ අගයන්, අනුපිටපත් වාර්තා, පිටස්තරයන් සහ නොගැලපීම් හැසිරවීම.
- පරිවර්තනය: අමු දත්ත ගුණාංග බවට පත් කිරීම — වර්ගීකරණ විචල්යයක් සංඛ්යාවකට පරිවර්තනය කිරීම, දිනයකින් "සතියේ දිනයක්" නිපදවීම වැනි.
- බෙදීම: පුහුණුව, වලංගු කිරීම සහ පරීක්ෂණ කට්ටලවලට වෙන් කිරීම.
- අනුවාදනය: කුමන දත්ත සමඟ පුහුණු කරන ලද ආකෘතිය වාර්තා කිරීම.
කෘත්රිම බුද්ධිය කේත කෙටුම්පත් සහ අදහස් ජනනය කිරීමෙන් කාලය ඉතිරි කරයි, විශේෂයෙන් පියවර 2, 3 සහ 4. නමුත් කුමන වාර්තාව ඉවත දැමිය යුතුද, කුමන අස්ථානගත වූ අගය පිරවිය යුතුද සහ කෙසේද වැනි තීරණ අයත් වන්නේ දත්ත දන්නා ඉංජිනේරුවරයාට ය; මන්ද නුසුදුසු පිරිසිදු කිරීම ආකෘතියට සැඟවුණු නැඹුරුවක් එන්නත් කළ හැකිය.
දත්ත සත්යාපනය: රේඛාවේ මුල් ආරක්ෂාව
වඩාත්ම මිල අධික දෝෂ ආරම්භ වන්නේ නිෂ්පාදනයේදී නොව, සත්යාපන පියවර මඟ හැරිය තැනිනි. ක්රමලේඛන වලංගුකරණය එක් එක් එන දත්ත කාණ්ඩ අපේක්ෂිත ව්යුහයට අනුකූලදැයි ස්වයංක්රීයව පරීක්ෂා කරයි. උදාහරණයක් ලෙස, වයස් තීරුව 0-120 අතරද, ඊමේල් ක්ෂේත්රය හිස්ද, තීරු ගණන වෙනස් වීද?
ඉඟිය: සත්යාපනය පේළියේ ආරම්භයේ තබන්න. දූෂිත දත්ත ඉක්මනින් අල්ලා ගන්නා තරමට එය නිවැරදි කිරීම ලාභදායී වේ. නිෂ්පාදනයේදී හසු වූ යෝජනා ක්රම දෝෂයක් පුහුණු අවධියේදී හසු වූ එකකට වඩා බොහෝ ගුණයකින් මිල අධිකය.
පහත දත්ත යෝජනා ක්රමය සඳහා පැන්ඩෙරා (හෝ විශාල අපේක්ෂාවන්) සමඟ වලංගුකරණ ක්රමයක් ලියන්න. තීරු සහ රීති:- user_id: පූර්ණ සංඛ්යාව, ශුන්ය විය නොහැක, අනන්ය- වයස: පූර්ණ සංඛ්යාව, 0-120 සිට විය නොහැක- signup_date: දිනය, අනාගතයේ විය නොහැක- රට: වර්ගීකරණය, කට්ටලයෙන් {TR, DE, US, UK}- ශේෂය: දශම, සෘණාත්මක විය නොහැක. කේතය අවසානයේ කැඩුණු රේඛාවක් සමඟ පරීක්ෂණය පෙන්වන්න.
පිරිසිදු කිරීම: එය තීරණය කරන්නේ මිනිසා ය
අස්ථානගත වූ අගයන් සෑම දත්ත කට්ටලයකම යථාර්ථයකි. හැසිරවීමට මාර්ග:
- මකාදැමීම: ඉතා ඉහළ අතුරුදහන් අනුපාතයක් සහිත පේළියක්/තීරුවක් ඉවතලීම. නමුත් තොරතුරු නැතිවීම සහ පක්ෂග්රාහී වීමේ අවදානමක් පවතී.
- ආරෝපණය: මධ්යන්ය, මධ්යස්ථ, නිතර නිතර අගය, හෝ ආදර්ශ මත පදනම් වූ පුරෝකථනය සහිත ආරෝපණය.
- ධජය: "අතුරුදහන් වූ" තොරතුරු වෙනම ධජ තීරුවක ගබඩා කිරීම - සමහර විට අතුරුදහන් වීමම සංඥාව වේ.
කුමන එක නිවැරදිද යන්න ගැටළුව මත රඳා පවතී. වෛද්ය දත්ත කට්ටලයක, "රුධිරයේ අගය මනිනු නොලැබූ" තොරතුරු මකා දැමීමට වඩා සංරක්ෂණය කළ යුතුය; මක්නිසාද යත්, වෛද්යවරයා පවා මිනුම් ගැනීම ප්රතික්ෂේප කිරීම සංඥාවක් වන බැවිනි. AI ඔබට විකල්ප සහ කේතය ලබා දිය හැක; ක්ෂේත්රයේ යථාර්ථයට ගැලපෙන එක ඔබ තෝරාගන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල විමසුම: "අතුරුදහන් අගයන් පුරවන්න."
ප්රබල විමසුම: "පහත තීරු වල අස්ථානගත අගයන් ඇත: ආදායම (12% අතුරුදහන්, දකුණට ඇලවූ බෙදාහැරීම), last_login (30% අතුරුදහන්). ආදායම මධ්යස්ථයෙන් පිරවීමට යෝජනා කරන්න, නමුත් මධ්යස්ථ සහ මධ්යස්ථ නොවන්නේ මන්දැයි පැහැදිලි කරන්න. last_login සඳහා, නැතිවූ අගය සැලකිය යුතු යැයි උපකල්පනය කරන්න (පරිශීලකයින් විසින් කිසිවිටෙක logger_te ට ලොගින් වී නොමැත); පක්ෂග්රාහී ප්රවේශය ආකෘතියට එක් කරයි."
වෙනස: ශක්තිමත් ප්රොම්ප්ට් බෙදාහැරීමේ තොරතුරු සහ ප්රදේශයේ අර්ථය ලබා දෙයි; කෘතිම බුද්ධිය යාන්ත්රික පිරවීම වෙනුවට තීරණ සහාය නිෂ්පාදනය කරයි.
ලේබල් කිරීම: ගුණාත්මකභාවය මනිනු ලැබේ
අධීක්ෂණ ඉගෙනීමේදී (නිවැරදි පිළිතුරු සමඟ උදාහරණ ලබා දී ඇති ඉගෙනීම), ආකෘතිය ඉගෙන ගන්නා දේ ලේබල් වේ (ලේබල්: එක් එක් උදාහරණ සඳහා නිවැරදි පිළිතුර). ලේබලයේ ගුණාත්මක භාවය සිවිලිමක් සකසයි - මිනිසුන් නොගැලපෙන ලෙස ලේබල් කරන්නේ නම්, ආකෘතිය නොගැලපෙන ලෙස ඉගෙන ගනී.
අන්තර් විවරණ ගිවිසුම විවිධ පුද්ගලයින් එකම නියැදියට එකම ලේබලය ලබා දෙන අනුපාතය මනිනු ලැබේ; එය Cohen's Kappa වැනි සංගුණකයකින් ප්රකාශ වේ. අඩු අනුකූලතාවයක් පෙන්නුම් කරන්නේ කාර්යය අපැහැදිලි හෝ උපදෙස් දුර්වල බවයි.
කෘතිම බුද්ධිය ක්රම දෙකකින් ලේබල් කිරීමට උපකාරී වේ: (1) විවරණ මාර්ගෝපදේශය කෙටුම්පත් කිරීම, (2) පූර්ව ලේබල් කිරීම සහ මිනිසා විසින් එය නිවැරදි කිරීම පමණි. නමුත් LLM සමඟ පූර්ව ලේබල් කිරීම අන්තරායක් ඇත: ආකෘතියේ ක්රමානුකූල දෝෂයක් සම්පූර්ණ ලේබල් කට්ටලයට කාන්දු විය හැක. මිනිසුන් සෑම විටම LLM ලේබල් පරීක්ෂා කරන්නේ එබැවිනි.
අවධානය: LLM විසින් නිෂ්පාදනය කරන ලද ලේබල් "භූමි සත්ය" ලෙස නොසලකන්න. මිනිසෙකු සමඟ සාම්පලයක් පරීක්ෂා කර LLM-මිනිස් යෝග්යතාව මැන බලන්න. අනුකූලතාව අඩු නම්, පෙර ලේබල් කිරීම යහපතට වඩා හානියක් සිදු කරයි.
දත්ත කොටස් කිරීම: කාන්දු වීම වැළැක්වීම
පුහුණුව/වලංගුකරණය/පරීක්ෂා කිරීම ලෙස දත්ත බෙදීමේදී ඇති භයානකම වැරැද්ද වන්නේ දත්ත කාන්දු වීමයි: පරීක්ෂණ තොරතුරු පුහුණුවට මිශ්ර කිරීම. උදාහරණ:
- එකම පරිශීලකයාගේ වාර්තා පුහුණුව සහ පරීක්ෂණ යන දෙකටම වැටේ (කණ්ඩායම් කාන්දු වීම).
- පුහුණුවීම්වලදී අනාගතය සහ කාල ශ්රේණියේ පරීක්ෂණයේදී අතීතය භාවිතා කිරීම (තාවකාලික කාන්දු වීම).
- සියලු දත්ත වලින් පරිමාණය (සාමාන්යකරණය) පරාමිතීන් ගණනය කිරීම සහ පසුව බෙදීම.
කාලය සම්බන්ධ ගැටළු සඳහා තාවකාලික බෙදීම අත්යවශ්ය වේ: අතීතය සමඟ පුහුණු කිරීම, අනාගතයේදී පරීක්ෂා කිරීම. අහඹු ලෙස බෙදීම නිෂ්පාදනයේදී කිසිදාක සිදු නොවන "අනාගත" ප්රතිලාභයක් ලබා දෙන අතර ප්රමිතික පුම්බනවා.
දත්ත අනුවාදය සහ ප්රතිනිෂ්පාදනය
"අපි මෙම ආකෘතිය පුහුණු කළේ කුමන දත්ත සමඟද?" මාස ගණනකට පසු ප්රශ්නයට පිළිතුරු දීමට හැකිවීම බරපතල ML ඉංජිනේරු විද්යාවේ ලක්ෂණයයි. දත්ත අනුවාදනය සෑම දත්ත ස්නැප්ෂොට් එකක්ම ID (හැෂ් හෝ අනුවාද ටැගය) සමඟ ගබඩා කරයි. කේතය වැනි DVC (Data Version Control) අනුවාද දත්ත වැනි මෙවලම්.
ආකෘතියක ප්රතිඵලය ප්රතිනිෂ්පාදනය කිරීම සඳහා, කරුණු තුනක් සවි කළ යුතුය: දත්ත අනුවාදය, කේත අනුවාදය සහ අහඹු බීජය. මේ ත්රිත්වය නැතුව "මට ලැබුනෙ එකම ප්රතිඵලයක්" කියන්න බෑ. අපි ඒකක 11 හි ප්රජනනය ගැඹුරු කරන්නෙමු; නමුත් දත්ත නල මාර්ගයේ බීජය සවි කිරීම මෙතැන් සිට ආරම්භ වේ.
කුඩා නඩු තුනක්
නඩුව 1 - දින ක්රම වලංගු කිරීම සුරකින ලදී. කණ්ඩායමක් ඉහළ ප්රවාහ පද්ධති මිල ක්ෂේත්රයක් සතයේ සිට ලීරා බවට පරිවර්තනය කළ විට, සියලු මිල ගණන් 100 වතාවක් පහත වැටුණි. යෝජනා ක්රම වලංගුකරණය "මිල පරාසයෙන් පිටත" ලෙස කණ්ඩායම ප්රතික්ෂේප කරන ලද අතර ආකෘතිය දූෂිත දත්ත සමඟ පුහුණු කර නොමැත. සත්යාපනයකින් තොරව, වැරදි අනාවැකි සහිතව, නිෂ්පාදනයේදී පමණක් දෝෂය දක්නට ලැබේ.
නඩුව 2 - වැරදි පිරවීමේ නැඹුරුව. ණය ආකෘතියක් තුළ, නැතිවූ ආදායම් අගයන් මධ්යන්යයෙන් පුරවා ඇත. එහෙත් අතුරුදහන් වූ ආදායම් ප්රධාන වශයෙන් අඩු ආදායම්ලාභී කාණ්ඩයේ ය; මෙම කණ්ඩායම කෘතිමව "පොහොසත්" කරන ලද සාමාන්යය, සහ ආකෘතිය ඔවුන්ට අසාධාරණ ලෙස ඉහළ සීමාවක් ලබා දුන්නේය. මධ්ය + අතුරුදහන් ධජය සමඟ ගැටළුව විසඳා ඇත.
නඩුව 3 - තාවකාලික කාන්දු වීම. ඉල්ලුම පුරෝකථන ආකෘතියක් පරීක්ෂණ කට්ටලයේ (95% නිරවද්යතාවය) විශිෂ්ට ලෙස පෙනුනද නිෂ්පාදනයේදී බිඳ වැටුණි. ඇයි: අහඹු ලෙස බෙදීම නිසා, ආකෘතිය අනාගතය දැක ඇත. තාවකාලික binning වෙත මාරු වීමෙන් පරීක්ෂණ නිරවද්යතාවය 78% දක්වා පහත වැටුණි - නමුත් එය සැබෑ කාර්ය සාධනය වූ අතර එය නිෂ්පාදනයේ තබා ඇත.
පිටපත් කළ හැකි සැකිලි
පහත දත්ත කට්ටලය කට්ටල තුනකට බෙදන්න: පුහුණුව/ වලංගු කිරීම/පරීක්ෂා කිරීම. සීමා කිරීම: මෙය කාල ශ්රේණියකි; TEMPORAL splitting භාවිතා කරන්න (අතීතයේ දුම්රිය, අනාගතයේදී පරීක්ෂා කරන්න). කණ්ඩායම් කාන්දු වීම වළක්වන්න: එකම `පාරිභෝගික_id` එක පොකුරකට පමණක් තිබීම. පුහුණු කට්ටලයෙන් පමණක් පරිමාණ පරාමිතීන් ගණනය කරන්න, පසුව සියල්ලටම අදාළ වේ. එක් එක් පියවරේදී කේතයේ රේඛා කීයක් ඉතිරි වී ඇත්දැයි මුද්රණය කර කාන්දුවීම් නොමැති බව පරීක්ෂා කරන ප්රකාශයක් එක් කරන්න.
මෙම ලේබල් කිරීමේ කාර්යය සඳහා කෙටුම්පත් විවරණ මාර්ගෝපදේශයක් ලියන්න. කාර්යය: [උදා. පාරිභෝගික සමාලෝචන ධනාත්මක/සෘණ/උදාසීන ලෙස ලේබල් කරන්න]දේශසීමා සිද්ධීන් පැහැදිලි කරන්න: උපහාසය, මිශ්ර හැඟීම්, නිෂ්පාදනයට සම්බන්ධ නොවන සමාලෝචන ලේබල් කරන්නේ කෙසේද? ටැගර් හරහා අනුකූලතාව වැඩි කරන උදාහරණ 5ක් සහ දුෂ්කර අවස්ථා 3ක් දෙන්න.
මෙම දත්ත නල මාර්ගය සඳහා ප්රතිනිෂ්පාදන පිරික්සුම් ලැයිස්තුවක් නිෂ්පාදනය කරන්න:- දත්ත අනුවාදය සවි කළ යුත්තේ කෙසේද?- කුමන අහඹු බීජ සැකසිය යුත්තේ කොතැනද?- කුමන පාරදත්ත (දත්ත හැෂ්, පේළි ගණන, දිනය) ලොග් විය යුතුද? මගේ කේත පදනම: [භාෂාව/පුස්තකාලය]
දත්ත කාන්දු වීම සඳහා මෙම පිරිසිදු කිරීමේ කේතය පරීක්ෂා කරන්න. විශේෂයෙන් මෙය බලන්න: පරිමාණ/කේතන පරාමිතීන් බෙදීමට පෙර ගණනය කර තිබේද? කිසියම් සංඛ්යාලේඛන සියලු දත්ත වලින් හෝ හුදෙක් පුහුණුවෙන් ගණනය කර තිබේද? කේතය: [කේතය]
තීරණ වගුව: අස්ථානගත වූ වටිනාකම් උපාය මාර්ගය
තත්ත්වය
නිර්දේශිත ප්රවේශය
ඇයි
සංඛ්යාත්මක, විකෘති ව්යාප්තිය
මධ්යන්ය සමග පුරවන්න
සාමාන්යයට පිටස්තරයින් බලපායි
සංඛ්යාත්මක, සමමිතික
සාමාන්යයෙන් පිරවීම
තොරතුරු ආරක්ෂා කරයි
හිඟය සැලකිය යුතු විය හැකිය
කොඩි තීරුව + පිරවීම
අඩුව සංඥාවකි
නැතිවූ අනුපාතය > 60%
තීරුව ඇගයීම/ඉවත දමන්න
ශබ්දය වැඩියි
වර්ගීකරණය
"නොදන්නා" කාණ්ඩය
කෘතිම බහුතරයක් ඇති කරන්නේ නැහැ
පොදු වැරදි
- සත්යාපනය මඟ හැරීම. යෝජනා ක්රම පාලනයකින් තොරව, දූෂිත දත්ත නිහඬව ඇතුලට රිංගයි.
- බෙදීමට පෙර පරිමාණය කිරීම. එය අධ්යාපනයට පරීක්ෂණ සංඛ්යාලේඛන කාන්දු කරයි.
- කාල ශ්රේණියේ අහඹු ලෙස බෙදීම භාවිතා කිරීම. එය ව්යාජ ඉහළ මිණුම් නිෂ්පාදනය කරයි.
- LLM ලේබල අන්ධ ලෙස විශ්වාස කිරීම. ක්රමානුකූල දෝෂයක් දත්ත පුරා පැතිරෙයි.
- දත්ත අනුවාදය සුරැකීම නොවේ. ඔබට ප්රතිඵලය ප්රතිනිෂ්පාදනය කළ නොහැක.
- සාමාන්ය සමග යාන්ත්රික පිරවීම. එය ක්ෂේත්ර අර්ථය නොසලකා හරියි, පක්ෂග්රාහී එකතු කරයි.
සාරාංශයක් ලෙස
දත්ත නල මාර්ගය ML පද්ධතියේ පදනම වන අතර ආකෘතියට වඩා වැඩි උත්සාහයක් ලැබිය යුතුය. සත්යාපනය ඉහළට දමන්න; වසම් දැනුම සමඟ පිරිසිදු කිරීමේ සහ ලේබල් කිරීමේ තීරණ ගන්න; මැදිරිය තුළ කාන්දු වීම (කණ්ඩායම් සහ තාවකාලික) වැළැක්වීම; දත්ත අනුවාදය සහ බීජය නිවැරදි කරන්න. AI මෙම රේඛාවේ කේතය සහ අදහස් ජනනය කරයි, නමුත් කුමන දත්ත සැකසීමට සහ කෙසේද යන්න තීරණය කිරීම ඔබට භාරයි - මන්ද මෙහි සෑම වැරදි තීරණයක්ම සැඟවුණු දෝෂයක් ලෙස ආකෘතියට මාරු වන බැවිනි.
යෙදුම් කාර්යය
ඔබගේ දත්ත කට්ටලය මත වලංගුකරණ ක්රමයක් (පැන්ඩෙරා/මහා අපේක්ෂාවන්) ලියා හිතාමතාම නරක පේළියක් එක් කර එය හසු වූ බව පෙන්වන්න. ඉන්පසු දත්ත තාවකාලිකව හෝ කණ්ඩායම් වශයෙන් බෙදන්න, පුහුණුවෙන් පමණක් පරිමාණ පරාමිති ගණනය කරන්න, සහ සහතිකයක් සමඟ කාන්දුවක් නොමැති බව තහවුරු කරන්න. දත්ත අනුවාදය සහ පේළි ගණන පාරදත්ත ගොනුවකට ලියන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] යෝජනා ක්රම වලංගුකරණය රේඛාවේ ඉහළින්ම ක්රියාත්මක වේ.
- [ ] මම ක්ෂේත්ර අර්ථය මත පදනම්ව නැතිවූ අගය උපාය මාර්ගය තෝරා ගත්තෙමි, මම එය යාන්ත්රිකව පුරවා නැත.
- [ ] මම ලේබලයේ ගුණාත්මකභාවය (අනුකූලත්වය) මැනිය; මම LLM ටැග් මිනිස් පරීක්ෂා කළා.
- [ ] මම කවුළුවෙහි කණ්ඩායම් සහ තාවකාලික කාන්දු වීම වැළැක්වූවෙමි.
- [ ] පරිමාණය/කේතනය ගණනය කරනු ලබන්නේ පුහුණු කට්ටලයෙන් පමණි.
- [ ] දත්ත අනුවාදය, පේළි ගණන සහ බීජ වාර්තා කර ඇත.