ලාභ:
- කේත-දත්ත-ආකෘති ත්රිත්වය සහ පැකේජයට අදාළ ML හි විශේෂ අභියෝග හඳුනාගෙන ව්යාපාරික අවශ්යතා අනුව මාදිලිය මාර්ගගතව හෝ කණ්ඩායම් වශයෙන් ඉදිරිපත් කිරීමේ හැකියාව.
- ක්රමානුකූලව සහ ආපසු හැරවීමේ යෙදවුම් රටා ක්රියාත්මක කිරීමේ හැකියාව (සෙවණ, කැනරි, A/B, පෙරළීම) සහ එක් එක් යෙදවීම සඳහා පරීක්ෂා කරන ලද ආපසු හැරවීමේ සැලැස්මක් එක් කිරීම
- ඇගයුම් එළිපත්ත-පාලිත CI/CD සහ ආකෘති රෙජිස්ට්රි සමඟින් නිෂ්පාදනයට ඇතුළත් කර ඇති ආකෘතියේ දත්ත-කේත-මිතික සබැඳිය සොයා ගත හැකි ලෙස තබා ගැනීමේ හැකියාව
සටහන් පොතේ 95% නිරවද්යතාවයක් ලබා ගැනීම සඳහා ආකෘතියක් ලබා ගැනීම කතාවෙන් අඩක් පමණි. අනෙක් භාගය - බොහෝ විට දුෂ්කර කොටස - එම ආකෘතිය විශ්වාසදායක, පරිමාණය කළ හැකි සහ නඩත්තු කළ හැකි ආකාරයෙන් සැබෑ පරිශීලකයින් වෙත ලබා දීම. MLOps (යන්ත්ර ඉගෙනුම් මෙහෙයුම්: ML මාදිලි නිෂ්පාදනයට ඇතුළත් කිරීම, ක්රියාත්මක කිරීම සහ නඩත්තු කිරීමේ විනය) මෘදුකාංග ඉංජිනේරු විද්යාවේ DevOps භාවිතයන් ML හි අද්විතීය අභියෝග සමඟ ඒකාබද්ධ කරයි. මෙම ඒකකය තුළ, අපි ආකෘතිය නිෂ්පාදනයට ගෙන යාමේ පියවර සහ මෙම ක්රියාවලියට කෘතිම බුද්ධිය උපකාර වන ආකාරය ආවරණය කරමු.
ML සාමාන්ය මෘදුකාංග වලට වඩා වෙනස් වන්නේ ඇයි?
සාමාන්ය මෘදුකාංග වල හැසිරීම කේතයේ ඇත; කේතය වෙනස් නොවේ නම්, හැසිරීම වෙනස් නොවේ. ML හි හැසිරීම කේතය, දත්ත සහ ආකෘතිය යන දෙකම මත රඳා පවතී. මෙම මාන තුන MLOps හි අමතර අභියෝග නිර්මාණය කරයි:
- දත්ත ප්ලාවිතය: නිෂ්පාදනයේ දත්ත කාලයත් සමඟ පුහුණුවේ දත්ත වලින් ඉවතට ගමන් කරයි; ආකෘතිය යල්පැන යයි.
- ඔබට කරුණු තුනක් අනුවාද කිරීමට අවශ්ය වේ: කේතය, දත්ත සහ ආකෘතිය—මේ තුනම.
- නිශ්ශබ්ද අසාර්ථකත්වය: ආකෘතියක් බිඳ වැටීමකින් තොරව, දෝෂයක් ලබා නොදී, වැරදි අනාවැකි ඉදිරිපත් කිරීමෙන් අසාර්ථක විය හැක. මෙය අල්ලා ගැනීම සඳහා නිරීක්ෂණය කිරීම අවශ්ය වේ.
"වැඩ කරන ආකෘතියක්" සහ "නිෂ්පාදනයට සූදානම් ආකෘතියක්" අතර විශාල වෙනසක් ඇත්තේ එබැවිනි.
මාදිලි ඇසුරුම් කිරීම සහ ඉදිරිපත් කිරීම
ආකෘතිය නිෂ්පාදනයට ඇතුළත් කිරීමේ පළමු පියවර වන්නේ එය ඇසුරුම් කිරීමයි: ආකෘති ගොනුව, අවශ්ය පුස්තකාල, පෙර සැකසුම් කේතය සහ අනුවාද තොරතුරු ප්රතිනිෂ්පාදනය කළ හැකි සමස්තයක් ලෙස එකට. බහාලුම්කරණය (උදා. ඩොකර්: යෙදුම එහි සියලු පරායත්තතා සහිත හුදකලා පෙට්ටියක තැබීම) මෙහි සම්මත වේ; එය "එය මගේ යන්ත්රයේ ක්රියා කරමින් සිටියේය" යන ගැටලුව ඉවත් කරයි.
ආකෘතියට සේවය කිරීමේ මූලික රටා දෙකක්:
- සබැඳි/තථ්ය-කාලීන (මාර්ගගතව): එන සෑම ඉල්ලීමක් සඳහාම ක්ෂණික පුරෝකථනයක් ලබා දෙමින් ආකෘතිය API පිටුපසින් සිටී. අඩු ප්රමාදය ඉතා වැදගත් වේ.
- කණ්ඩායම: මාදිලිය වරින් වර විශාල දත්ත කට්ටල සකසයි (උදා: රාත්රියේ සියලුම පාරිභෝගිකයින් සඳහා ලකුණු ජනනය කරයි). ප්රමාදය අදාළ නොවේ, කාර්යක්ෂමතාව වැදගත් වේ.
කුමන එක නිවැරදිද යන්න ව්යාපාරික අවශ්යතාවය මත රඳා පවතී: අන්තර්ජාලය හරහා ක්ෂණික නිර්දේශ, කාණ්ඩයේ මාසික අවදානම් ලකුණු.
ඉඟිය: "තථ්ය කාලීන" යනු පිරිවැයක් මිස පෙරනිමිය නොවේ. ප්රති result ලය පැය කිහිපයක් ඇතුළත භාවිතා කරන්නේ නම් කණ්ඩායම බෙහෙවින් ලාභදායී සහ සරල ය. ඔබට ඇත්තටම ක්ෂණික පිළිතුරක් අවශ්යද? ඒක මුලින්ම අහන්න.
ආරක්ෂිත බෙදාහැරීමේ උපාය මාර්ග
සියලුම ගමනාගමනයට සෘජුවම නව මාදිලියක් විවෘත කිරීම අවදානම් සහිතයි; වැරදුනොත් හැමෝටම බලපානවා. ආරක්ෂිත බෙදාහැරීමේ රටා:
- සෙවනැලි යෙදවීම: නව මාදිලියට නිෂ්පාදන ගමනාගමනය ලැබේ, නමුත් එහි අනාවැකි පරිශීලකයාට නොපෙන්වයි, ලොග් වී ඇත. එය සැබෑ දත්තවල ආරක්ෂිතදැයි බැලීමට පැරණි මාදිලිය සමඟ සංසන්දනය කරයි.
- කැනරි යෙදවීම: නව මාදිලිය ප්රථමයෙන් රථවාහන ගමනාගමනයේ කුඩා ප්රතිශතයකට (උදා: 5%); ගැටලුවක් නොමැති නම්, එය ක්රමයෙන් වැඩි වේ.
- A/B පරීක්ෂාව: සමාන්තරගතව සැබෑ පරිශීලකයාට ආකෘති දෙකක් ඉදිරිපත් කරන අතර ව්යාපාරික මිනුම් (පරිවර්තනය, ක්ලික් කිරීම්) සංසන්දනය කෙරේ.
- ආපසු හැරීම: නව මාදිලිය නරක අතට හැරේ නම් ඉක්මනින් පැරණි අනුවාදය වෙත ආපසු යාමේ හැකියාව. සෑම යෙදවීමකටම ආපසු හැරීමේ සැලැස්මක් තිබිය යුතුය.
අවවාදයයි: ආපසු හැරවීමේ සැලැස්මක් නොමැතිව යෙදවීම සම්පූර්ණ නොවේ. මිනිත්තු කිහිපයකින් පැරණි අනුවාදය වෙත ආපසු යාමට හැකි වීම නව මාදිලිය නිෂ්පාදනයේදී අනපේක්ෂිත ලෙස හැසිරෙන විට පරිශීලකයා ආරක්ෂා කරයි. යෙදවීමට පෙර මෙය පරීක්ෂා කරන්න.
දුර්වල ප්රවේශය / ශක්තිමත් ප්රවේශය
දුර්වල: "ආදර්ශය පරීක්ෂා කිරීමේදී හොඳ විය, අපි සජීවීව ගියෙමු, අපි එය සෑම කෙනෙකුටම විවෘත කළෙමු."
Güçlü: "අපි ආකෘතිය කන්ටේනරීකරණය කර, එය අනුවාදයක් ලෙස ලේබල් කළෙමු. පළමුව, අපි එය දින 3 ක් නිෂ්පාදන ගමනාගමනය සමඟ සෙවනැලි ආකාරයෙන් ධාවනය කර, පැරණි මාදිලිය සමඟ අනාවැකි සංසන්දනය කළෙමු - අපගමනය පිළිගත හැකි විය. පසුව අපි එය 5% කැනරි සමඟ විවෘත කර, ප්රතිදාන ප්රමිතික සහ ප්රමාදය නිරීක්ෂණය කළෙමු. ගැටළු නොමැති විට, අපි එය ක්රමයෙන් rollback 10 දක්වා විධානය වැඩි කළෙමු."
වෙනස: ශක්තිමත් ප්රවේශය ක්රමානුකූලව, මනින ලද සහ ආපසු හැරවිය හැකිය. සෑම පියවරකදීම අවදානම සීමිතය.
CI/CD සහ ස්වයංක්රීයකරණය
ML හි CI/CD (අඛණ්ඩ ඒකාබද්ධ කිරීම / අඛණ්ඩ යෙදවීම: කේත වෙනස් කිරීම් ස්වයංක්රීයව පරීක්ෂා කර මුදා හැරීමේ නල මාර්ගය) කේතය පමණක් නොව දත්ත සහ ආදර්ශ පියවරයන් ද ආවරණය කරයි. හොඳ ML CI/CD නල මාර්ගයක්: කේතය වෙනස් වන විට පරීක්ෂණ ධාවනය කරයි, දත්ත වලංගු කිරීම සිදු කරයි, ආකෘතිය නැවත පුහුණු කරයි (අවශ්ය නම්), ඇගයීම් සීමාවන් පරීක්ෂා කරයි, සහ එළිපත්ත රඳවාගෙන සිටින්නේ නම් පමණක් යෙදවීම දියුණු කරයි. "පුහුණු කිරීම ස්වයංක්රීයයි, යෙදවීම එළිපත්ත මත පදනම් වේ" යන මූලධර්මය නරක ආකෘතිය නිෂ්පාදනයට නිශ්ශබ්දව කාන්දු වීම වළක්වයි.
මෙම නල මාර්ග සැකසීමේදී AI ඉතා ප්රයෝජනවත් වේ: වින්යාස ගොනු (YAML) කෙටුම්පත්, පරීක්ෂණ අවස්ථා, යෙදවුම් ස්ක්රිප්ට් ලිවීම. නමුත් ඔබ බෙදාහැරීමේ සීමාවන් (ප්රකාශිත අගය ඉක්මවා යන මෙට්රික්) සහ ආපසු හැරීමේ ප්රතිපත්තිය තීරණය කරයි; මේවා ව්යාපාරික අවදානම් තීරණ වේ.
ප්රතිනිෂ්පාදන යටිතල පහසුකම්
නිෂ්පාදනයේදී ආකෘතියක හැසිරීම ප්රතිනිෂ්පාදනය කිරීම සඳහා, ආකෘති රෙජිස්ට්රිය: කුමන දත්ත සහ කේතය සමඟ කුමන ආකෘතිය පුහුණු කළේද සහ එයට ලැබුණු ප්රමිතික තබා ගන්නා වාර්තාවක්. එක් එක් නිෂ්පාදන ආකෘතිය සඳහා, පහත සඳහන් දෑ නිරීක්ෂණය කළ හැකි විය යුතුය: පුහුණු දත්ත අනුවාදය, කේත අනුවාදය (git කැපවීම), අධිපරිමාණ, ඇගයීම් ලකුණු සහ යෙදවීමේ දිනය. ගැටලුවක් පැනනගින විට, "මෙම අනාවැකිය නිපදවූ ආකෘතිය කුමක්ද, කුමන දත්ත සමඟද?" යන ප්රශ්නයට පිළිතුරු දීමට ඔබට හැකි විය යුතුය. මිනිත්තු කිහිපයක් ඇතුළත. අපි මෙය ඒකකය 11 හි ගැඹුරු කරන්නෙමු.
කුඩා නඩු තුනක්
1 වන අවස්ථාව - සෙවනැලි බෙදා හැරීමෙන් ගැටළුවක්. නිර්දේශ ආකෘතියක් පරීක්ෂණයේදී පැරණි එක පරදවයි. ෂැඩෝ ප්රකාරයේදී නිෂ්පාදන ගමනාගමනය සමඟ එය ක්රියාත්මක කිරීම පරිශීලකයින් (නව පරිශීලකයන්) සඳහා ඉතා දුර්වල නිර්දේශ නිපදවන බව සොයා ගන්නා ලදී - පරීක්ෂණ දත්ත මෙම කොටසෙහි අඩුවෙන් නියෝජනය විය. පරිශීලකයාට කිසි විටෙක දර්ශනය නොවී ආකෘතිය සවි කර ඇත. එය කෙලින්ම විවෘත කළහොත්, නව පරිශීලක අත්දැකීම කඩාකප්පල් වනු ඇත.
නඩුව 2 - ආපසු හැරවිය නොහැකි බෙදා හැරීම. ආපසු හැරවීමේ සැලසුම් නොමැතිව, කණ්ඩායමක් සියලු ගමනාගමනය සඳහා නව මිලකරණ ආකෘතියක් ඉදිරිපත් කරන ලදී. මෙම ආකෘතිය අනපේක්ෂිත ලෙස සමහර නිෂ්පාදන ඉතා ලාභදායී ලෙස මිල කර ඇත. ක්රියාවලිය සූදානම් නැති නිසා පැරණි අනුවාදයට ප්රතිවර්තනය වීමට පැය ගණනක් ගත විය. බරපතළ ආදායමක් අහිමි වුණා. පසුව, සෑම යෙදවීමකටම අනිවාර්ය ආපසු හැරවීමේ පරීක්ෂණයක් එක් කරන ලදී.
3 වන අවස්ථාව - නිහඬ දත්ත ප්ලාවිතය. කිසිදු දෝෂයක් නොමැතිව මාස ගණනාවක් තිස්සේ වංචා රටාවක් දර්ශනය විය. නමුත් වංචාකරුවන්ගේ උපක්රම වෙනස් විය (දත්ත ප්ලාවිතය) සහ නිරූපිකාවගේ නැවත කැඳවීම නිහඬව පහත වැටුණි. කිසිවකුට අවධානය යොමු නොවූයේ නිරීක්ෂණයක් නොමැති නිසාය. අනාවැකි බෙදාහැරීමේ අධීක්ෂණ මණ්ඩලයක් ස්ථාපිත කළ පසු, ප්ලාවිතය ඉක්මනින් දර්ශනය විය. අපි ඒකකය 8 හි අධීක්ෂණය ආවරණය කරන්නෙමු.
පිටපත් කළ හැකි සැකිලි
මෙම ආකෘතිය සඳහා කෙටුම්පත් යෙදවීමේ සැලැස්මක් ලියන්න. ආකෘතිය: [එය කරන්නේ කුමක්ද], භාවිතය: [මාර්ගගත හෝ කණ්ඩායම?] ඇතුළත් විය යුතුය:1) ඇසුරුම්කරණය (බහාලුම්, අනුවාදය)2) වර්ධක යෙදවුම් උපාය (සෙවණ/කැනරි/A-B) සහ ඇයි3) හඹා යාමට ප්රමිතික (ව්යාපාර + තාක්ෂණික + ප්රමාදය) 4) ආපසු හැරවීමේ සැලැස්ම සහ කුමන අගය ඉක්මවිය යුතුද (5 වන අගය ඉක්මවිය යුතු) යෙදවීම
මෙම ML CI/CD නල මාර්ගය පරීක්ෂා කරන්න: 1) රේඛාවේ දත්ත වලංගු භාවය තිබේද? 2) ඇගයීමේ සීමාව රඳවා නොගෙන යෙදවීම ඉදිරියට යා හැකිද (එය නොකළ යුතුද)? 3) ආපසු හැරීම ස්වයංක්රීයද? 4) ආකෘති රෙජිස්ට්රියේ දත්ත+කේත+මෙට්රික්ස් හඹා යනවාද?Pline වින්යාසය: [config]
මෙම ආකෘතිය සඳහා සබැඳි හෝ කණ්ඩායම් ඉදිරිපත් කිරීම සුදුසු දැයි තීරණය කිරීමට මට උදවු කරන්න. ප්රතිඵලය කොපමණ කාලයක් භාවිතා කරනු ඇත්ද: [ක්ෂණික / මිනිත්තුව / පැය / දින] අපේක්ෂිත ඉල්ලීම් පරිමාව: [සංඛ්යාව] ප්රමාද සීමාවක් තිබේද: [ms]මිල සහ සංකීර්ණත්වය අනුව ඔබ නිර්දේශ කරන්නේ කුමක්ද සහ ඇයි?
මෙම ආකෘතිය සඳහා ආපසු හැරවීමේ ක්රියා පටිපාටියක් ලියන්න.- දුර්වල ක්රියාකාරිත්වය අවුලුවාලන මෙට්රික්/එළිමහන කුමක්ද?- ආපසු හැරවීමේ පියවර මොනවාද?- ආපසු හැරීමට කොපමණ කාලයක් ගත විය යුතුද (ඉලක්කය)?- නිෂ්පාදනයට පෙර මෙම ක්රියා පටිපාටිය පරීක්ෂා කරන්නේ කෙසේද?
ඉදිරිපත් කිරීමේ රටා වගුව
නිර්ණායකය
සබැඳි (සැබෑ කාලය)
කණ්ඩායම
ප්රමාදය
විවේචනාත්මක (මිලි)
නොවැදගත්
භාවිතය
ක්ෂණික ප්රතිචාර අවශ්යයි
ආවර්තිතා ලකුණු
පිරිවැය
ඉහළ
අඩු
සංකීර්ණත්වය
ඉහළ
අඩු
උදාහරණයක්
සජීවී නිර්දේශ, වංචාව
මාසික අවදානම් ලකුණු
පොදු වැරදි
- ආපසු ලබා ගැනීමේ සැලැස්මක් නොමැතිව බෙදාහරින්න. වැරදි මාදිලිය සම්පූර්ණ පරිශීලකයාට පහර දෙයි.
- 100% ගමනාගමනයට සෘජුවම විවෘත වේ. එකතැන පල්වෙන බෙදා හැරීම සමඟ අවදානම සීමා කරන්න.
- නිරීක්ෂණ ස්ථාපිත නොකිරීම. ආකෘතිය දෝෂයකින් තොරව නිශ්ශබ්දව දෝෂ නිෂ්පාදනය කරයි.
- අතිරික්ත තත්ය කාලීන ඉදිරිපත් කිරීම. බැච් කිරීම ප්රමාණවත් වන අතර, පිරිවැය සහ සංකීර්ණත්වය වැඩි වේ.
- ආකෘති-දත්ත-කේත අනුවාද සම්බන්ධ නොකරයි. ඔබට ගැටලුව ප්රතිනිෂ්පාදනය කළ නොහැක.
- බෙදා හැරීමේ සීමාවක් නොමැතිව ස්වයංක්රීයව මුදා හැරීම. නරක ආකෘතිය නිහඬව ඇතුලට රිංගයි.
සාරාංශයක් ලෙස
ආකෘතිය නිෂ්පාදනයට ගෙන යාම එය පුහුණු කිරීමට වඩා වෙනස් හා බොහෝ විට දුෂ්කර ඉංජිනේරු කාර්යයකි. ML හට අමතර විනයක් අවශ්ය වන්නේ එය කේත-දත්ත-ආකෘති ත්රිත්වය මත රඳා පවතින බැවිනි: ඇසුරුම්කරණය සහ අනුවාදනය, ව්යාපාරික අවශ්යතාවයට ගැලපෙන බෙදාහැරීමේ රටාව (මාර්ගගත/කණ්ඩායම), ක්රමානුකූලව සහ ආපසු හැරවිය හැකි යෙදවීම, එළිපත්ත-පාලිත CI/CD සහ ආකෘති ලියාපදිංචිය. කෘත්රිම බුද්ධිය මෙම යටිතල ව්යුහයේ කේතය සහ වින්යාසය උත්පාදනය කිරීමේදී ප්රබල උපකාරයකි; නමුත් බෙදාහැරීමේ සීමාවන්, ක්ලෝබැක් ප්රතිපත්තිය සහ අවදානම් තීරණ ඔබ සතුය. ආපසු හැරීමේ සැලැස්මක් නොමැතිව බෙදා හැරීම සම්පූර්ණ නොවේ.
යෙදුම් කාර්යය
ආකෘතියක් බහාලන්න (ඩොකර්) සහ එහි අනුවාදය ලේබල් කරන්න. ඔබේ ව්යාපාර අවශ්යතා මත පදනම්ව ඔබ මාර්ගගතව පිරිනමන්නේද නැතහොත් කණ්ඩායමක් ලබා දෙනවාද යන්න තීරණය කර ඔබේ සාධාරණීකරණය ලියන්න. පියවරෙන් පියවර යෙදවීමේ සැලැස්මක් (සෙවණ හෝ කැනරි) සහ පරීක්ෂා කරන ලද ආපසු හැරවීමේ ක්රියා පටිපාටියක් ලේඛනගත කරන්න. ආකෘති රෙජිස්ට්රියේ දත්ත අනුවාදය, කේත කැපවීම සහ ඇගයීම් ලකුණු වාර්තා කිරීමට වග බලා ගන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] ආකෘතිය ඇසුරුම් කර අනුවාද කර ඇත (බහාලුම් + ලේබලය).
- [ ] ඉදිරිපත් කිරීමේ රටාව (මාර්ගගත/කණ්ඩායම) ව්යාපාරික අවශ්යතා අනුව තෝරා ගන්නා ලදී.
- [ ] අදියර යෙදවීමේ උපාය (සෙවණ/කැනරි) ක්රියාත්මක කරන ලදී.
- [ ] ආපසු හැරවීමේ ක්රියා පටිපාටිය ලියා පරීක්ෂා කර ඇත.
- [ ] CI/CD ඇගයීමේ එළිපත්ත සපුරාලීමට පෙර යෙදවීම සිදු නොවේ.
- [ ] ආකෘති රෙජිස්ට්රිය දත්ත+කේත+මෙට්රික් සබැඳිය දරයි.