നേട്ടങ്ങൾ:
- MLOps ഘട്ടങ്ങൾ (റിലീസ്, വിന്യാസം, നിരീക്ഷണം, പുനർപരിശീലനം, റോൾബാക്ക്), മോഡൽ ഡ്രിഫ്റ്റ് എന്നിവ മനസിലാക്കാനും നിരീക്ഷിക്കുന്ന വിന്യാസം ആസൂത്രണം ചെയ്യാനും ഉള്ള കഴിവ്
- മാതൃകാ നീതി, സുതാര്യത, ഉത്തരവാദിത്തം എന്നിവയുടെ തത്വങ്ങൾ പ്രയോഗിക്കാനും സ്റ്റാറ്റിസ്റ്റിക്കൽ കൃത്യതയെ ധാർമ്മിക സ്വീകാര്യതയിൽ നിന്ന് വേർതിരിച്ചറിയാനും ഉള്ള കഴിവ്
- KVKK/GDPR തത്ത്വങ്ങൾ ഉപയോഗിച്ച് വ്യക്തിഗത ഡാറ്റ പരിരക്ഷിക്കാനും ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങളിൽ ഒരു മനുഷ്യന് അന്തിമ ഉത്തരവാദിത്തം നൽകാനുമുള്ള കഴിവ്
ഒരു മോഡലിനെ പരിശീലിപ്പിച്ച് ഉയർന്ന സ്കോർ നേടുന്നത് അവസാനമല്ല, മധ്യമാണ്. മോഡൽ ഉൽപ്പാദിപ്പിക്കുകയും വിശ്വസനീയമായി പ്രവർത്തിക്കുകയും, കാലക്രമേണ അപചയമില്ലാതെ നിരീക്ഷിക്കുകയും, മുഴുവൻ പ്രക്രിയയും ധാർമ്മികവും നിയമപരവുമായ അതിരുകൾക്കുള്ളിൽ നടത്തുകയും ചെയ്യുമ്പോൾ യഥാർത്ഥ മൂല്യം വരുന്നു. ഈ ക്ലോസിംഗ് യൂണിറ്റ് മൂന്ന് വിഷയങ്ങൾ സംയോജിപ്പിക്കുന്നു: MLOps (തത്സമയം പോകുന്നതിനുള്ള അച്ചടക്കം, മോഡലുകൾ നിരീക്ഷിക്കുകയും പരിപാലിക്കുകയും ചെയ്യുക), ധാർമ്മികത (ന്യായം, സുതാര്യത, മോശമല്ലാത്തത്), സ്വകാര്യത (വ്യക്തിഗത ഡാറ്റ പരിരക്ഷിക്കൽ). AI ഈ മേഖലകളിൽ കോഡ്, ചെക്ക്ലിസ്റ്റുകൾ, ബ്ലൂപ്രിൻ്റുകൾ എന്നിവ നിർമ്മിക്കുന്നു; എന്നാൽ ഒരു മോഡൽ തത്സമയമാകുമോ, ആരെ ബാധിക്കും, എന്ത് ഡാറ്റ ഉപയോഗിക്കാമെന്ന് മനുഷ്യർ തീരുമാനിക്കുന്നു. ഈ തീരുമാനങ്ങൾ സാങ്കേതികമല്ല, ഉത്തരവാദിത്ത തീരുമാനങ്ങളാണ്.
MLOps: മോഡൽ ഒരു ഉൽപ്പന്നം പോലെ ജീവിക്കുന്നു
MLOps (മെഷീൻ ലേണിംഗ് ഓപ്പറേഷൻസ് - പ്രൊഡക്ഷനിലെ മെഷീൻ ലേണിംഗ് മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നതിനും നിരീക്ഷിക്കുന്നതിനും അപ്ഡേറ്റ് ചെയ്യുന്നതിനുമുള്ള സമ്പ്രദായം) സോഫ്റ്റ്വെയർ വികസനത്തിലെ DevOps ഡാറ്റ സയൻസുമായി പൊരുത്തപ്പെടുത്തലാണ്. അടിസ്ഥാന ആശയം: ഒരു മോഡൽ എന്നത് ഒരിക്കൽ പരിശീലിപ്പിച്ച് മറന്നുപോയ ഒരു ഫയലല്ല, മറിച്ച് നിരന്തരമായ അറ്റകുറ്റപ്പണികൾ ആവശ്യമുള്ള ഒരു ജീവനുള്ള ഉൽപ്പന്നമാണ്. പ്രധാന ഘട്ടങ്ങൾ:
1. വേർഷനിംഗ്: കോഡ് (Git), ഡാറ്റയും മോഡലും ഒരുമിച്ച് പതിപ്പിച്ചിരിക്കുന്നു; ഏത് ഡാറ്റയും കോഡും ഉപയോഗിച്ചാണ് ഏത് മോഡൽ നിർമ്മിച്ചതെന്ന് രേഖപ്പെടുത്തിയിട്ടുണ്ട്.
2. വിന്യാസം: മോഡൽ ഒരു API അല്ലെങ്കിൽ ബാച്ച് ജോലിയായി തത്സമയം ഇടുന്നു. ഇത് സാധാരണയായി ഒരു ചെറിയ പ്രേക്ഷകർക്ക് ആദ്യം നൽകപ്പെടുന്നു (തണൽ/കാനറി വിതരണം).
3. മോണിറ്ററിംഗ്: മോഡലിൻ്റെ പ്രകടനവും ഇൻപുട്ട് ഡാറ്റയും നിരന്തരം നിരീക്ഷിക്കപ്പെടുന്നു.
4. വീണ്ടും പരിശീലനം: പ്രകടനം കുറയുമ്പോൾ, മോഡൽ പുതുക്കിയ ഡാറ്റ ഉപയോഗിച്ച് വീണ്ടും പരിശീലിപ്പിക്കപ്പെടുന്നു.
പാറ്റേൺ ഷിഫ്റ്റ്: നിശബ്ദ വികലമാക്കൽ
ഉത്പാദനത്തിലെ ഏറ്റവും വലിയ അപകടം മോഡൽ ഡ്രിഫ്റ്റ് (മോഡൽ ഡ്രിഫ്റ്റ് / ഡാറ്റ ഡ്രിഫ്റ്റ്) ആണ്. ലോകം മാറുന്നു; നിങ്ങളുടെ മോഡലിനെ പരിശീലിപ്പിച്ച വ്യവസ്ഥകൾ (ഉപഭോക്തൃ പെരുമാറ്റം, വിലകൾ, സീസൺ, നിയമനിർമ്മാണം) കാലക്രമേണ മാറുകയും മോഡൽ കാലഹരണപ്പെടാൻ തുടങ്ങുകയും ചെയ്യുന്നു. ഉദാഹരണത്തിന്, പാൻഡെമിക്കിന് മുമ്പ് പരിശീലിപ്പിച്ച ഒരു ഡിമാൻഡ് മോഡൽ പാൻഡെമിക് സമയത്ത് പൂർണ്ണമായും തെറ്റാണ്. ഡ്രിഫ്റ്റ് രണ്ട് രൂപങ്ങളിലാണ് സംഭവിക്കുന്നത്: ഡാറ്റ ഡ്രിഫ്റ്റ് (ഇൻപുട്ട് ഡാറ്റ മാറ്റങ്ങളുടെ വിതരണം), കൺസെപ്റ്റ് ഡ്രിഫ്റ്റ് (ഇൻപുട്ടും ടാർഗെറ്റ് മാറ്റങ്ങളും തമ്മിലുള്ള ബന്ധം). ഇവ പിടിച്ചെടുക്കുന്നതിനുള്ള മാർഗം നിരീക്ഷണമാണ്: ഇൻപുട്ട് വിതരണം, പ്രവചന വിതരണം, (സാധ്യമെങ്കിൽ) യഥാർത്ഥ ഫലവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പ്രകടനം എന്നിവ നിരന്തരം ട്രാക്ക് ചെയ്യുക.
മുൻകരുതൽ: ഉൽപ്പാദനത്തിൽ ഉൾപ്പെടുത്തിയിരിക്കുന്ന ഒരു മോഡൽ സ്വയം മോശമാകും; "എങ്കിൽ" എന്നല്ല "എപ്പോൾ" എന്നതല്ല വിഷയം. മോണിറ്ററിംഗ് സജ്ജീകരിക്കാതെ മോഡലുകൾ വിന്യസിക്കുന്നത് എഞ്ചിൻ നിയന്ത്രിക്കാതെ കാർ ഓടിക്കുന്നത് പോലെയാണ്; ഒരു ദിവസം അത് നിശബ്ദമായി അവിടെ ഇരുന്നു, നിങ്ങൾ ശ്രദ്ധിക്കുന്നില്ല.
MLOps ഘടകം
ഉദ്ദേശം
അവഗണിച്ചാൽ
പതിപ്പ്
എന്താണ് ഉത്പാദിപ്പിക്കുന്നതെന്ന് അറിയുന്നു
പുനരുൽപ്പാദിപ്പിക്കാനാവാത്ത, കണ്ടെത്താനാവാത്ത
നിരീക്ഷണം
സ്ലിപ്പ് നേരത്തെ കണ്ടു
മോഡൽ നിശബ്ദമായി തകരുന്നു
വീണ്ടും പരിശീലനം
കാലികമായി തുടരുക
പ്രവചനങ്ങൾ പഴയതാകുന്നു
റോൾബാക്ക്
മോശം മാതൃകയിലേക്ക് മടങ്ങുക
തെറ്റായ മോഡൽ തത്സമയം തുടരുന്നു
ഡോക്യുമെൻ്റേഷൻ
സുതാര്യത, വിറ്റുവരവ്
വിവരങ്ങൾ ഒരാളിൽ കുടുങ്ങിക്കിടക്കുന്നു
ധാർമ്മികത: മാതൃകാ തീരുമാനങ്ങൾ ആളുകളെ ബാധിക്കുന്നു
ആളുകളുടെ ജീവിതത്തെ ബാധിക്കുന്ന തീരുമാനങ്ങളിൽ ഡാറ്റ മോഡലുകൾ കൂടുതലായി ഉപയോഗിക്കുന്നു: ക്രെഡിറ്റ്, നിയമനം, ഇൻഷുറൻസ്, നീതി. ഈ ശക്തിക്കൊപ്പം ഉത്തരവാദിത്തവും വരുന്നു. പ്രധാന ധാർമ്മിക അപകടസാധ്യതകൾ:
പക്ഷപാതവും വിവേചനവും: മോഡലിന് ചരിത്രപരമായ ഡാറ്റയിലെ അനീതികൾ പഠിക്കാനും ശാശ്വതമാക്കാനും കഴിയും. ഒരു നിശ്ചിത ഗ്രൂപ്പിന് മുമ്പ് കുറച്ച് ക്രെഡിറ്റ് നൽകിയിട്ടുണ്ടെങ്കിൽ, ഇത് ഒരു "നിയമം" ആണെന്ന് മോഡൽ അനുമാനിക്കുകയും വിവേചനം ഓട്ടോമേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു. അതുകൊണ്ടാണ് ഫെയർനസ് വിശകലനം - വ്യത്യസ്ത ഗ്രൂപ്പുകൾക്ക് (ലിംഗം, പ്രായം, പ്രദേശം) മോഡൽ സമാനമായ രീതിയിൽ പ്രവർത്തിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കുന്നത് അത്യാവശ്യമാണ്.
സുതാര്യതയും വിശദീകരണവും: ഒരു മോഡൽ ഒരു വ്യക്തിയെ നിരസിച്ചത് എന്തുകൊണ്ടാണെന്ന് നിങ്ങൾക്ക് വിശദീകരിക്കാൻ കഴിയണം. "ബ്ലാക്ക് ബോക്സ് അങ്ങനെ പറഞ്ഞു" എന്നത് ധാർമ്മികമായും പലപ്പോഴും നിയമപരമായും അസ്വീകാര്യമാണ്. അതുകൊണ്ടാണ് വിശദീകരിക്കാനുള്ള ഉപകരണങ്ങൾ (സവിശേഷത പ്രാധാന്യം, SHAP മൂല്യങ്ങൾ) വിലപ്പെട്ടതാണ്.
ഉത്തരവാദിത്തം: മോഡൽ തെറ്റായ തീരുമാനമെടുത്താൽ ആരാണ് ഉത്തരവാദി? ഉത്തരം എപ്പോഴും ഒരു വ്യക്തി/സ്ഥാപനമാണ്, ഒരു മാതൃകയല്ല. ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങളിൽ മനുഷ്യൻ്റെ മേൽനോട്ടം (ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് - അന്തിമ തീരുമാനത്തെ അംഗീകരിക്കുന്ന ഒരു മനുഷ്യൻ) സംരക്ഷിക്കപ്പെടണം.
മുന്നറിയിപ്പ്: ഒരു മോഡൽ സ്ഥിതിവിവരക്കണക്ക് "ശരി" ആയിരിക്കാം, എന്നാൽ ധാർമ്മികമായി അസ്വീകാര്യമാണ്. ഒരു ഗ്രൂപ്പിനെ വ്യവസ്ഥാപിതമായി ദോഷകരമായി ബാധിക്കുന്ന വളരെ കൃത്യമായ ഒരു മാതൃക നല്ല മാതൃകയല്ല. സത്യസന്ധത നീതിക്ക് പകരമാവില്ല.
സ്വകാര്യത: വ്യക്തിഗത ഡാറ്റ ശ്രദ്ധാപൂർവ്വം പരിരക്ഷിച്ചിരിക്കുന്നു
ഡാറ്റാ സയൻസിൻ്റെ അസംസ്കൃത വസ്തുക്കൾ പലപ്പോഴും വ്യക്തിഗത ഡാറ്റയാണ്, ഈ ഡാറ്റ നിയമപ്രകാരം പരിരക്ഷിച്ചിരിക്കുന്നു: Türkiye-യിലെ KVKK, യൂറോപ്പിലെ GDPR. അടിസ്ഥാന തത്വങ്ങൾ ഇവയാണ്: ഉദ്ദേശ്യ പരിമിതി (ഡാറ്റ ശേഖരിക്കപ്പെട്ട ഉദ്ദേശ്യത്തിനല്ലാതെ മറ്റ് ആവശ്യങ്ങൾക്കായി ഉപയോഗിക്കുന്നില്ല), ഡാറ്റ ചെറുതാക്കൽ (ആവശ്യത്തിൽ കൂടുതൽ ഡാറ്റ ശേഖരിക്കുകയോ നിലനിർത്തുകയോ ചെയ്യുന്നില്ല), അജ്ഞാതവൽക്കരണം (വിവരങ്ങൾ തിരിച്ചറിയുന്നത് നീക്കം ചെയ്യപ്പെടുന്നു), സുരക്ഷ (ഡാറ്റ എൻക്രിപ്റ്റുചെയ്ത് ആക്സസ് നിയന്ത്രിച്ചിരിക്കുന്നു). AI ടൂളുകൾക്കൊപ്പം പ്രവർത്തിക്കുമ്പോൾ നിർണായക നിയമം: ഒരു പൊതു AI ടൂളിലേക്ക് ഒരിക്കലും യഥാർത്ഥ വ്യക്തിഗത ഡാറ്റ ഒട്ടിക്കരുത്. മിക്കപ്പോഴും, വിശകലനത്തിന് ഒരു ഡയഗ്രാമും ഒരു അജ്ഞാത/സിന്തറ്റിക് സാമ്പിളും മതിയാകും.
വിവര സുരക്ഷയുടെ പശ്ചാത്തലത്തിൽ ഒരു അധിക ഊന്നൽ: പ്രതിരോധപരവും നിയമാനുസൃതവുമായ വിശകലന ആവശ്യങ്ങൾക്കായി നിങ്ങൾക്ക് അധികാരമുള്ള ഡാറ്റയിലും സിസ്റ്റങ്ങളിലും മാത്രം ഡാറ്റ സയൻസ് ടൂളുകളും ടെക്നിക്കുകളും ഉപയോഗിക്കുക. മറ്റൊരാളുടെ ഡാറ്റയിലേക്കുള്ള അനധികൃത ആക്സസ്, വ്യക്തികളെ വീണ്ടും തിരിച്ചറിയൽ (അജ്ഞാത ഡാറ്റയിൽ നിന്ന് ഐഡൻ്റിറ്റി എക്സ്ട്രാക്റ്റുചെയ്യൽ) അല്ലെങ്കിൽ അനധികൃത പ്രൊഫൈലിംഗ് എന്നിവ നിയമവിരുദ്ധവും അധാർമ്മികവുമാണ്.
മൂന്ന് മിനി കേസുകൾ
കേസ് 1 - ട്രാക്ക് ചെയ്യപ്പെടാത്ത തകർച്ച. ഒരു ഇ-കൊമേഴ്സ് കമ്പനി അതിൻ്റെ ശുപാർശ മോഡലുമായി തത്സമയം പോയി, ട്രാക്കിംഗ് സജ്ജീകരിച്ചില്ല. 4 മാസത്തിനു ശേഷം ഉൽപ്പന്ന കാറ്റലോഗ് വളരെയധികം മാറി; മോഡൽ കാലഹരണപ്പെട്ട ഉൽപ്പന്നങ്ങൾ ശുപാർശ ചെയ്യുന്നത് തുടർന്നു, പരിവർത്തന നിരക്ക് നിശബ്ദമായി 30% കുറഞ്ഞു. മാസങ്ങളോളം ആരും ശ്രദ്ധിച്ചില്ല. പാഠം: നിരീക്ഷണമില്ലാത്ത വിന്യാസം അന്ധമായി പോകുന്നു.
കേസ് 2 - മറഞ്ഞിരിക്കുന്ന വിവേചനം. ഒരു റിക്രൂട്ട് സ്ക്രീനിംഗ് മോഡൽ ചരിത്രപരമായ ഡാറ്റയിലെ ലിംഗ അസന്തുലിതാവസ്ഥയെക്കുറിച്ചും വ്യവസ്ഥാപിതമായി സ്ത്രീ സ്ഥാനാർത്ഥികളെ കുറച്ചുകാണുന്നതിനെക്കുറിച്ചും പഠിച്ചു. ന്യായമായ വിശകലനം ഇല്ലാത്തതിനാൽ അത് ശ്രദ്ധിക്കപ്പെട്ടില്ല; ഇത് ഒരു ഓഡിറ്റിൽ വെളിപ്പെടുത്തുകയും സ്ഥാപനം ഗുരുതരമായ പ്രശസ്തി/നിയമപരമായ അപകടസാധ്യത നേരിടുകയും ചെയ്തു. പാഠം: ഉയർന്ന ഇംപാക്ട് മോഡലുകളിൽ ഗ്രൂപ്പ് അടിസ്ഥാനത്തിലുള്ള ഫെയർനസ് നിയന്ത്രണം അത്യാവശ്യമാണ്.
കേസ് 3 - രഹസ്യാത്മകതയുടെ ലംഘനം. ഒരു അനലിസ്റ്റ് യഥാർത്ഥ ഉപഭോക്തൃ ഇമെയിലുകളും വാങ്ങൽ ചരിത്രവും അടങ്ങിയ ഒരു ഫയൽ ഒരു പൊതു AI ടൂളിലേക്ക് ലോഡുചെയ്ത് "സെഗ്മെൻ്റുകൾ സംഗ്രഹിക്കുക" എന്ന് പറഞ്ഞു. വ്യക്തിഗത ഡാറ്റ സ്ഥാപനം വിട്ടു; KVKK പ്രക്രിയ ആരംഭിച്ചു. ഐഡൻ്റിറ്റി ഫീൽഡുകൾ നീക്കം ചെയ്യുകയും അജ്ഞാത സ്വത്തുക്കൾ മാത്രം പങ്കിടുകയും ചെയ്യുക എന്നതായിരുന്നു ശരിയായ മാർഗം. പാഠം: യഥാർത്ഥ വ്യക്തിഗത ഡാറ്റ ഓപ്പൺ ടൂളിൽ പ്രവേശിക്കുന്നില്ല.
പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ
1) പ്രീ-വിന്യാസ ചെക്ക്ലിസ്റ്റ്:
നിങ്ങളുടെ റോൾ: MLOps കൺസൾട്ടൻ്റ്. ഒരു മോഡൽ നിർമ്മിക്കുന്നതിന് മുമ്പ് ഞാൻ പരിശോധിക്കേണ്ട കാര്യങ്ങൾ ലിസ്റ്റ് ചെയ്യുക: പതിപ്പിംഗ്, മോണിറ്ററിംഗ് മെട്രിക്സ്, റോൾബാക്ക് പ്ലാൻ, പെർഫോമൻസ് ത്രെഷോൾഡ്, ഡാറ്റ ഡ്രിഫ്റ്റ് അലേർട്ട്, ഉത്തരവാദിത്തമുള്ള വ്യക്തി. ഓരോ ഇനത്തിനും "എന്തുകൊണ്ടാണ് ഇത് പ്രധാനം" എന്ന ഒറ്റ വാക്യത്തിൻ്റെ വിശദീകരണം ചേർക്കുക. ഞാൻ തീരുമാനിക്കും.
2) മോഡൽ ഷിഫ്റ്റ് ട്രാക്കിംഗ് ഡിസൈൻ:
പ്രൊഡക്ഷനിലെ ഒരു വർഗ്ഗീകരണ മോഡലിനായി ഒരു ഡ്രിഫ്റ്റ് മോണിറ്ററിംഗ് പ്ലാൻ നിർദ്ദേശിക്കുക: (1) ഞാൻ എന്ത് ഇൻപുട്ട് വിതരണങ്ങൾ നിരീക്ഷിക്കണം, (2) പ്രവചന വിതരണത്തിനുള്ള അലാറം, (3) യഥാർത്ഥ ഫലം വരുമ്പോൾ പ്രകടനം എങ്ങനെ താരതമ്യം ചെയ്യാം, (4) ഏത് ത്രെഷോൾഡ് റീട്രെയിനിംഗ് പ്രവർത്തനക്ഷമമാക്കണം. ഒരു കോഡ് അസ്ഥികൂടവും നൽകുക.
3) ന്യായമായ നിയന്ത്രണം:
വ്യത്യസ്ത ഗ്രൂപ്പുകൾക്കായുള്ള (ഉദാ. പ്രായപരിധി, പ്രദേശം) എൻ്റെ മോഡലിൻ്റെ പ്രകടനത്തെ താരതമ്യം ചെയ്യുന്ന കോഡ് എഴുതുക: ഓരോ ഗ്രൂപ്പിനും തിരിച്ചുവിളിക്കൽ/പ്രിസിഷൻ, പോസിറ്റീവ് തീരുമാന നിരക്ക്. ഗ്രൂപ്പുകൾക്കിടയിൽ കാര്യമായ വ്യത്യാസമുണ്ടെങ്കിൽ മുന്നറിയിപ്പ് നൽകുക. കാര്യകാരണ/രാഷ്ട്രീയ വ്യാഖ്യാനങ്ങൾ ഉണ്ടാക്കുക; അഭിപ്രായവ്യത്യാസങ്ങൾ കാണിക്കൂ, ഞാൻ തീരുമാനം പരിഗണിക്കും.
4) സ്വകാര്യത മുൻകൂട്ടി പരിശോധിക്കുക:
ഒരു AI ടൂളിലേക്ക് ഡാറ്റ നൽകുന്നതിന് മുമ്പ്, പരിശോധിക്കുക: താഴെയുള്ള കോളം ലിസ്റ്റിൽ വ്യക്തിഗത/ഐഡൻ്റിറ്റി ഡാറ്റ (പേര്, ഇമെയിൽ, ഐഡി, ഫോൺ, വിലാസം, IP) ഉണ്ടോ? അങ്ങനെയാണെങ്കിൽ, ഏതൊക്കെയാണ് നീക്കം ചെയ്യേണ്ടത് അല്ലെങ്കിൽ അജ്ഞാതമാക്കേണ്ടത് എന്ന് ലിസ്റ്റ് ചെയ്യുക. നിരകൾ: [ലിസ്റ്റ്]. ഉദ്ദേശ്യം: അജ്ഞാത സ്കീമ മാത്രം പങ്കിടാൻ.
ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്
ദുർബലമായ പ്രോംപ്റ്റ്:
എൻ്റെ മോഡൽ തയ്യാറാണ്, തത്സമയം പോകൂ.
വിന്യാസം ഒരു ഘട്ടമല്ല; നിരീക്ഷണം, റോൾബാക്ക്, ഫെയർനസ്, സ്വകാര്യത നിയന്ത്രണം എന്നിവയില്ലാതെ തത്സമയം പോകുന്നത് ദുരന്തത്തിലേക്കുള്ള നിശബ്ദ ക്ഷണമാണ്.
ശക്തമായ നിർദ്ദേശം:
നിങ്ങളുടെ റോൾ: ഉത്തരവാദിത്തമുള്ള MLOps കൺസൾട്ടൻ്റ്. എൻ്റെ മോഡൽ പരിശീലിപ്പിച്ചിരിക്കുന്നു, തത്സമയമാകുന്നതിന് മുമ്പ് എനിക്ക് പൂർണ്ണമായ തയ്യാറെടുപ്പ് ആവശ്യമാണ്. ജനറേറ്റ് ചെയ്യുക: (1) പ്രീ-ഡിപ്ലോയ്മെൻ്റ് ചെക്ക്ലിസ്റ്റ്, (2) ഡ്രിഫ്റ്റ് മോണിറ്ററിംഗ് പ്ലാൻ, (3) ഗ്രൂപ്പ് അടിസ്ഥാനമാക്കിയുള്ള ഫെയർനസ് ചെക്ക് കോഡ്, (4) സ്വകാര്യത പരിശോധന (വ്യക്തിഗത ഡാറ്റ ഉണ്ടോ). ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങളിൽ മനുഷ്യൻ്റെ സമ്മതം എങ്ങനെ സംരക്ഷിക്കാമെന്നും നിർദ്ദേശിക്കുക. അന്തിമ തീരുമാനങ്ങൾ എൻ്റേതാണ്.
ഇവിടെ വിതരണം, നിരീക്ഷണം, നീതി, സ്വകാര്യത എന്നിവ ഒരൊറ്റ ഉത്തരവാദിത്ത പ്രക്രിയയായി കണക്കാക്കുന്നു.
സാധാരണ തെറ്റുകൾ
- മോണിറ്ററിംഗ് സജ്ജീകരിക്കാതെ ഒരു മോഡൽ വിന്യസിക്കുന്നു. മോഡൽ നിശബ്ദമായി തെന്നിമാറുകയും വികലമാക്കുകയും ചെയ്യുന്നു; ഇത് ശ്രദ്ധിക്കപ്പെടാൻ മാസങ്ങൾ എടുത്തേക്കാം.
- നീതിന്യായ പരിശോധനയെ മറികടക്കുന്നു. ഉയർന്ന വിശ്വാസ്യതയുള്ള മോഡൽ ഒരു ഗ്രൂപ്പിനെ വ്യവസ്ഥാപിതമായി ദോഷകരമായി ബാധിച്ചേക്കാം.
- വിശദീകരിക്കാനാകാത്ത ബ്ലാക്ക് ബോക്സ് തീരുമാനം എടുക്കുന്നു. ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങൾ വിശദീകരിക്കാവുന്നതായിരിക്കണം; "മോഡൽ പറഞ്ഞു" പോരാ.
- AI ടൂൾ തുറക്കാൻ യഥാർത്ഥ വ്യക്തിഗത ഡാറ്റ നൽകുന്നു. കെവികെകെ/ജിഡിപിആർ ലംഘനം; ഡയഗ്രാമും അജ്ഞാത ഉദാഹരണവും മതി.
- തീരുമാനം മോഡലിന് കൈമാറുന്നു. ഉത്തരവാദിത്തം എപ്പോഴും ഒരു വ്യക്തിയിൽ നിക്ഷിപ്തമാണ്; ഉയർന്ന സ്വാധീനമുള്ള മനുഷ്യ നിരീക്ഷണം നിലനിർത്തുന്നു.
നുറുങ്ങ്: നിങ്ങൾ ഓരോ മോഡലുമായും തത്സമയം പോകുന്നതിന് മുമ്പ്, ഉറക്കെ ഒരു ചോദ്യം ചോദിക്കുക: “നാളെ ഈ മോഡൽ നിശബ്ദമായി തകരുകയോ ഒരു ഗ്രൂപ്പിനെ അന്യായമായി ശിക്ഷിക്കുകയോ ചെയ്താൽ, ഞാൻ അത് എങ്ങനെ ശ്രദ്ധിക്കുകയും പിൻവലിക്കുകയും ചെയ്യും?” ഈ ചോദ്യത്തിന് നിങ്ങൾക്ക് വ്യക്തമായ ഉത്തരം ഇല്ലെങ്കിൽ, മോഡൽ ഇതുവരെ നിർമ്മാണത്തിന് തയ്യാറായിട്ടില്ല.
ചുരുക്കത്തിൽ
ഒരു മോഡലിൻ്റെ ജോലി ഉയർന്ന സ്കോറിൽ അവസാനിക്കുന്നില്ല, മറിച്ച് ഉൽപാദനത്തിൽ വിശ്വസനീയമായും ഉത്തരവാദിത്തത്തോടെയും പ്രവർത്തിക്കുന്നതിലൂടെയാണ്. MLOps എന്നത് തത്സമയം പോകുന്നതിനും, ഡ്രിഫ്റ്റ് നിരീക്ഷിക്കുന്നതിനും, വീണ്ടും പരിശീലിപ്പിക്കുന്നതിനും, മോഡലിനെ തിരികെ കൊണ്ടുവരുന്നതിനുമുള്ള അച്ചടക്കമാണ്; ട്രാക്ക് ചെയ്യാതെയുള്ള വിന്യാസം നിശബ്ദ തകർച്ചയാണ്. ധാർമ്മികതയ്ക്ക് മാതൃകയുടെ നീതിയും സുതാര്യതയും ഉത്തരവാദിത്തവും ആവശ്യമാണ്; സ്റ്റാറ്റിസ്റ്റിക്കൽ കൃത്യത ധാർമ്മിക സ്വീകാര്യതയ്ക്ക് പകരമാവില്ല. സ്വകാര്യത എന്നാൽ KVKK/GDPR തത്ത്വങ്ങൾ ഉപയോഗിച്ച് വ്യക്തിഗത ഡാറ്റ പരിരക്ഷിക്കുകയും യഥാർത്ഥ ഡാറ്റ ഓപ്പൺ ടൂളുകളിൽ നിന്ന് അകറ്റി നിർത്തുകയും ചെയ്യുന്നു. ഈ തീരുമാനങ്ങളെല്ലാം സാങ്കേതികമല്ല, ഉത്തരവാദിത്ത തീരുമാനങ്ങളാണ്, എല്ലായ്പ്പോഴും ഒരു മനുഷ്യൻ്റേതാണ്.
ആപ്ലിക്കേഷൻ ടാസ്ക്
നിങ്ങൾ നിർമ്മിച്ച (അല്ലെങ്കിൽ സാങ്കൽപ്പികമായ) ഒരു മോഡൽ പ്രൊഡക്ഷനിൽ ഉൾപ്പെടുത്തുകയും നാല് ലിസ്റ്റുകൾ പൂരിപ്പിക്കുകയും ചെയ്യുന്നതുപോലെ ചിന്തിക്കുക: (1) പ്രീ-ഡിപ്ലോയ്മെൻ്റ് ചെക്ക്ലിസ്റ്റ്, (2) നിങ്ങൾ ട്രാക്ക് ചെയ്യുന്ന ഡ്രിഫ്റ്റ് മെട്രിക്സ്, (3) ഗ്രൂപ്പ് അടിസ്ഥാനമാക്കിയുള്ള ഫെയർനെസ് കൺട്രോൾ പ്ലാൻ, (4) സ്വകാര്യത നിയന്ത്രണം. "അത് നാളെ നിശബ്ദമായി തകർന്നാൽ അത് തിരികെ ലഭിക്കുകയാണെങ്കിൽ ഞാൻ എങ്ങനെ ശ്രദ്ധിക്കും?" എന്ന ചോദ്യത്തിന് കൃത്യമായ ഉത്തരം എഴുതുക.
ചെക്ക്ലിസ്റ്റ്
- [ ] ഞാൻ ഒരു മോണിറ്ററിംഗും (സ്ലിപ്പ് അലേർട്ട്) റോൾബാക്ക് പ്ലാനും ഉപയോഗിച്ച് മോഡൽ വിന്യസിക്കുകയാണോ?
- [ ] വ്യത്യസ്ത ഗ്രൂപ്പുകൾക്കുള്ള ന്യായ/പ്രകടന വിടവ് ഞാൻ പരിശോധിച്ചിട്ടുണ്ടോ?
- [ ] ഉയർന്ന സ്വാധീനമുള്ള തീരുമാനങ്ങളിൽ ഞാൻ ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് നിലനിർത്തിയിട്ടുണ്ടോ?
- [ ] KVKK/GDPR തത്വങ്ങൾ ഉപയോഗിച്ച് ഞാൻ വ്യക്തിഗത ഡാറ്റ പരിരക്ഷിക്കുകയും തുറന്ന ഉപകരണങ്ങളിൽ നിന്ന് അവയെ അകറ്റി നിർത്തുകയും ചെയ്തിട്ടുണ്ടോ?
- [ ] ഞാൻ ആത്യന്തികമായ ഉത്തരവാദിത്തം ഒരു മനുഷ്യനെ ഏൽപ്പിച്ചിട്ടുണ്ടോ, അല്ലാതെ മാതൃകയിലല്ല?
മൊഡ്യൂൾ പരീക്ഷ
1. ഒരു ഡാറ്റാ സയൻ്റിസ്റ്റ് ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസിനോട് ചോദിക്കുന്നു, "ഈ ഡാറ്റയിൽ റാൻഡം ഫോറസ്റ്റ് എത്രത്തോളം കൃത്യമാണ്?" മോഡലിനെ പരിശീലിപ്പിക്കാതെ തന്നെ "89%" എന്ന ഉത്തരം നേരിട്ട് അവതരണത്തിൽ ഉൾപ്പെടുത്തുന്നു. ഈ സമീപനത്തിലെ അടിസ്ഥാനപരമായ തെറ്റ് എന്താണ്?
- എ) ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസിന് ഡാറ്റയും മോഡലുകളും നൽകാതെ അളവുകൾക്കായി കാത്തിരിക്കുന്നു; അത് ഉൽപ്പാദിപ്പിക്കുന്ന നമ്പർ വ്യാജമാണെന്നും പരിശീലനത്തിലൂടെയും പരിശോധനയിലൂടെയും മാത്രമേ യഥാർത്ഥ മെട്രിക് കണ്ടെത്താനാകൂ എന്നതും അവഗണിക്കുന്നു ✔
- ബി) റാൻഡം ഫോറസ്റ്റിന് പകരം ലോജിസ്റ്റിക് റിഗ്രഷൻ ഉപയോഗിക്കണം
- സി) കൃത്യത നിരക്ക് എപ്പോഴും 90% ന് മുകളിലായിരിക്കണം.
- ഡി) അവതരണത്തിൽ മെട്രിക്സ് ഉൾപ്പെടുത്തുന്നത് കർശനമായി നിരോധിച്ചിരിക്കുന്നു
വിശദീകരണം: മോഡലും ഡാറ്റയും ആക്സസ് ചെയ്യാതെ ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് ഒരു മെട്രിക് നിർമ്മിക്കാൻ കഴിയില്ല; അവൻ നൽകുന്ന സംഖ്യ ഒരു ഹാലുസിനേഷൻ (ഫാബ്രിക്കേറ്റഡ്) ആണ്. മോഡൽ യഥാർത്ഥത്തിൽ പരിശീലിപ്പിച്ച് പരീക്ഷിച്ചതിന് ശേഷം മാത്രമാണ് ഡാറ്റാ സയൻ്റിസ്റ്റിൻ്റെ സ്വന്തം കണക്കുകൂട്ടൽ വഴി മെട്രിക് ലഭിക്കുന്നത്. സ്ഥിരീകരിക്കാത്ത ഔട്ട്പുട്ട് ഒപ്പിടാത്ത റിപ്പോർട്ട് പോലെയാണ്.
2. ഒരു ചർൺ പ്രവചനത്തിനായി ഡാറ്റ ശേഖരിക്കുമ്പോൾ 'അക്കൗണ്ട് ക്ലോഷറിനുള്ള കാരണം' കോളം ഉൾപ്പെടുത്തിയിട്ടുണ്ട്; ഉപഭോക്താവ് പോയതിനുശേഷം മാത്രമേ ഈ കോളം പൂരിപ്പിക്കൂ. മോഡൽ ടെസ്റ്റ് സെറ്റിൽ 97% നൽകുന്നു, പക്ഷേ ഉൽപ്പാദനത്തിൽ പ്രവർത്തിക്കുന്നില്ല. ഈ അവസ്ഥയുടെ പേരും കാരണവും എന്താണ്?
- എ) ഓവർലേണിംഗ്; മോഡൽ വളരെ സങ്കീർണ്ണമാണ്
- ബി) ഡാറ്റ ചോർച്ച; ✔ പ്രവചന സമയത്ത് ലഭ്യമല്ലാത്ത, എന്നാൽ ലക്ഷ്യത്തിൻ്റെ ഫലമായ വിവരങ്ങൾ ഒരു സവിശേഷതയായി ഉപയോഗിക്കുന്നു
- സി) അപര്യാപ്തമായ പഠനം; മോഡൽ വളരെ ലളിതമാണ്
- ഡി) തിരഞ്ഞെടുപ്പ് പക്ഷപാതം; ചെറിയ സാമ്പിൾ വലിപ്പം
വിശദീകരണം: ഇതൊരു ക്ലാസിക് ഡാറ്റ ചോർച്ചയാണ്: 'ക്ലോസിംഗ് കാരണം' ലക്ഷ്യത്തിൻ്റെ ഫലമാണ്, പ്രവചന സമയത്ത് ഇപ്പോഴും ശൂന്യമാണ്. ഈ ഭാവി അറിവ് ഉപയോഗിച്ച് മോഡൽ തന്ത്രം ചെയ്യുന്നു, ടെസ്റ്റ് സെറ്റിൽ ഇത് മികച്ചതായി തോന്നുന്നു, പക്ഷേ ആ കോളം ശൂന്യമായതിനാൽ ഉൽപ്പാദനത്തിൽ തകരാറിലാകുന്നു. പ്രവചന സമയത്ത് എനിക്കത് ഉണ്ടോ എന്ന ചോദ്യം ഓരോ കോളത്തിലും ചോദിക്കണം.
3. വരുമാന നിരയിലെ നഷ്ടമായ മൂല്യങ്ങൾ ശരാശരി ഉപയോഗിച്ച് ഒരു അനലിസ്റ്റ് പൂരിപ്പിക്കുന്നു; എന്നാൽ കാണാതായ ആളുകൾ യഥാർത്ഥത്തിൽ വരുമാനം പ്രഖ്യാപിച്ചിട്ടില്ലാത്ത താഴ്ന്ന വരുമാന വിഭാഗത്തിൽ പെട്ടവരാണ് (സിസ്റ്റമാറ്റിക് മിസിംഗ്). എന്തുകൊണ്ട് ഈ പൂരിപ്പിക്കൽ തെറ്റാണ്?
- എ) ശരാശരി എപ്പോഴും മീഡിയനേക്കാൾ വലുതാണ്, അതിനാൽ ഇത് തെറ്റാണ്
- ബി) നഷ്ടമായ മൂല്യങ്ങൾ ഒരിക്കലും പൂരിപ്പിക്കരുത്, അവ എല്ലായ്പ്പോഴും ഇല്ലാതാക്കണം
- സി) സിസ്റ്റമാറ്റിക് വിടവ് ശരാശരി ഉപയോഗിച്ച് പൂരിപ്പിക്കുന്നത് ആ ഗ്രൂപ്പിനെ കൃത്രിമമായി പ്രതിനിധീകരിക്കുന്നതിലൂടെ ഡാറ്റയെ വളച്ചൊടിക്കുന്നു; 'എന്തിനാ ശൂന്യം' എന്ന ചോദ്യം ചോദിക്കാതെയാണ് പൂരിപ്പിക്കൽ നടത്തിയത്. ✔
- D) ശരാശരി കണക്കാക്കുന്നത് ഒരു പ്രകടന പ്രശ്നം സൃഷ്ടിക്കുന്നു, കാരണം അത് വളരെ മന്ദഗതിയിലാണ്
വിശദീകരണം: കുറവിൻ്റെ കാരണം പരിഹാരം നിർണ്ണയിക്കുന്നു. സിസ്റ്റമാറ്റിക് മിസ്സിംഗ് (ഒരു നിശ്ചിത ഗ്രൂപ്പിൽ കേന്ദ്രീകരിച്ചിരിക്കുന്ന വിടവ്) ശരാശരി കൊണ്ട് നിറയുമ്പോൾ, ആ ഗ്രൂപ്പ് കൃത്രിമമായി 'ശരാശരി വരുമാനം' ആയി മാറുകയും ഡാറ്റ വികലമാവുകയും ചെയ്യുന്നു. പൂരിപ്പിക്കുന്നതിന് മുമ്പ്, 'എന്തുകൊണ്ടാണ് ഒഴിഞ്ഞത്' എന്ന ചോദ്യം ചോദിക്കണം; വ്യവസ്ഥാപിത/പ്രധാനമായ നഷ്ടമായ ശരാശരി പൂരിപ്പിക്കാൻ പാടില്ല.
4. ഒരു ടീം 'പരസ്യ ചെലവും' 'വിൽപനയും' തമ്മിൽ 0.78 പരസ്പരബന്ധം കണ്ടെത്തുകയും ബജറ്റ് ഇരട്ടിയാക്കുകയും ചെയ്യുന്നു; എന്നിരുന്നാലും, രണ്ടും യഥാർത്ഥത്തിൽ ട്രിഗർ ചെയ്യുന്നത് സീസണൽ പ്രചാരണങ്ങളാണ്. സ്ഥിതിവിവരക്കണക്കുകളിലെ ഏത് തത്വമാണ് ഈ പിശക് വിശദീകരിക്കുന്നത്?
- എ) പരസ്പരബന്ധം കാരണമല്ല; മറഞ്ഞിരിക്കുന്ന മൂന്നാമത്തെ വേരിയബിൾ രണ്ട് വേരിയബിളുകളെയും ബാധിച്ചേക്കാം ✔
- B) 0.78 ൻ്റെ പരസ്പരബന്ധം വളരെ കുറവായതിനാൽ, ബന്ധം അവഗണിക്കണം
- സി) പരസ്പരബന്ധം എല്ലായ്പ്പോഴും കാര്യകാരണം തെളിയിക്കുന്നു, ടീം അത് ശരിയാക്കി
- ഡി) പരസ്യവും വിൽപ്പനയും തമ്മിലുള്ള പരസ്പരബന്ധം ഗണിതശാസ്ത്രപരമായി കണക്കാക്കാൻ കഴിയില്ല.
വിശദീകരണം: പരസ്പരബന്ധം കാരണമല്ല. മറഞ്ഞിരിക്കുന്ന മൂന്നാമത്തെ വേരിയബിൾ (ഇവിടെ സീസണൽ കാമ്പെയ്നുകൾ) അവ രണ്ടിനെയും ബാധിക്കുന്നതിനാൽ രണ്ട് വേരിയബിളുകളും ഒരുമിച്ച് പ്രവർത്തിച്ചേക്കാം. ഒന്ന് മറ്റൊന്നിന് കാരണമാകുന്നു എന്ന നിഗമനം പരീക്ഷണത്തിലൂടെയും ഫീൽഡ് അറിവിലൂടെയും മാത്രമേ സ്ഥാപിക്കാനാകൂ; പരസ്പര ബന്ധങ്ങളുടെ എണ്ണം മാത്രം കാര്യകാരണത്തിൻ്റെ തെളിവല്ല.
5. ഒരു തട്ടിപ്പ് കണ്ടെത്തൽ മോഡൽ 99.2% കൃത്യത കാണിക്കുന്നു, ടീം ആഘോഷിക്കുന്നു; എന്നിരുന്നാലും, ഡാറ്റയിലെ വ്യാജ ഇടപാട് നിരക്ക് 0.8% മാത്രമാണ്, മോഡലിൻ്റെ തിരിച്ചുവിളിക്കൽ 6% ആണ്. ഈ പട്ടിക എന്താണ് കാണിക്കുന്നത്?
- എ) കൃത്യത 99% ആയതിനാൽ മോഡൽ മികച്ചതാണ്
- ബി) അസന്തുലിതമായ ഡാറ്റ ഉപയോഗിച്ച് കൃത്യത തെറ്റിദ്ധരിപ്പിക്കുന്നതാണ്; മോഡൽ മിക്കവാറും എല്ലാ വ്യാജങ്ങളും നഷ്ടപ്പെടുത്തുന്നു (കുറഞ്ഞ തിരിച്ചുവിളികൾ), ഉചിതമായ മെട്രിക് നോക്കണം ✔
- സി) മോഡലിൻ്റെ തിരിച്ചുവിളികൾ ഉയർന്നതിനാൽ ഒരു പ്രശ്നവുമില്ല
- ഡി) വ്യാജ നിരക്ക് കുറവായതിനാൽ ഒരു മോഡൽ നിർമ്മിക്കേണ്ട ആവശ്യമില്ല
വിശദീകരണം: അസന്തുലിതമായ ഡാറ്റയിൽ 'കൃത്യത' തെറ്റിദ്ധരിപ്പിക്കുന്നതാണ്. മോഡൽ മിക്കവാറും എല്ലാ ഇടപാടുകളും 'വൃത്തിയുള്ളത്' എന്ന് വിളിക്കുമ്പോൾ, അതിന് ഉയർന്ന കൃത്യത ലഭിക്കുന്നു, കാരണം വ്യാജങ്ങൾ വളരെ കുറവാണ്, പക്ഷേ വ്യാജങ്ങൾ പിടിക്കുന്നതിൽ പരാജയപ്പെടുന്നു, ഇതാണ് അതിൻ്റെ പ്രധാന ലക്ഷ്യം (6% ഓർക്കുക). അതിനാൽ, അസന്തുലിതമായ പ്രശ്നങ്ങളിൽ, ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത് കൃത്യതയിലല്ല, മറിച്ച് റീകോൾ/പ്രിസിഷൻ പോലുള്ള ജോലിയുടെ ഉദ്ദേശ്യത്തിന് അനുയോജ്യമായ കൺഫ്യൂഷൻ മാട്രിക്സിലും മെട്രിക്സിലുമാണ്.
6. ഡിമാൻഡ് ഫോർകാസ്റ്റിംഗ് പ്രോജക്റ്റിൽ, സമയത്തെ ആശ്രയിച്ചുള്ള ഡാറ്റ ക്രമരഹിതമായി പരിശീലനം/ടെസ്റ്റിംഗ് ആയി വിഭജിക്കപ്പെടുന്നു. മോഡൽ 93% കൃത്യത നൽകുന്നു, പക്ഷേ ഉൽപ്പാദനത്തിൽ തകരുന്നു. ശരിയായ വിഭജന സമീപനം എന്തായിരിക്കണം?
- എ) ടെസ്റ്റ് സെറ്റ് വലുതാക്കുന്നു, ഉദാ. വിഭജനം 50%/50%
- ബി) കൂടുതൽ സങ്കീർണ്ണമായ മോഡൽ ഉപയോഗിക്കുന്നു
- സി) പാർട്ടീഷൻ പൂർണ്ണമായും നീക്കം ചെയ്ത് എല്ലാ ഡാറ്റയും ഉപയോഗിച്ച് പരിശീലിപ്പിക്കുക
- D) ക്രോണോളജിക്കൽ സ്പ്ലിറ്റിംഗ്: പഴയ കാലഘട്ടത്തിലെ പരിശീലനവും പുതിയ കാലയളവിലെ പരീക്ഷണവും, അങ്ങനെ മോഡലിനെ ഭാവി കാണുന്നതിൽ നിന്ന് തടയുന്നു ✔
വിശദീകരണം: സമയ ശ്രേണി ഡാറ്റയിൽ ക്രമരഹിതമായ വിഭജനം നടത്തുകയാണെങ്കിൽ, മോഡൽ ഭാവി കാണുകയും പരിശീലനത്തിൽ ഭൂതകാലത്തെ പ്രവചിക്കുകയും ചെയ്യുന്നു; അത് ഒരു ചോർച്ചയാണ്, യഥാർത്ഥത്തിൽ നിലവിലില്ലാത്ത വിജയം ഉണ്ടാക്കുന്നു. ശരിയായ സമീപനം കാലാനുസൃതമായ വിഭജനമാണ്: പഴയ കാലഘട്ടത്തോടുകൂടിയ പരിശീലനവും പുതിയ കാലഘട്ടത്തോടുകൂടിയ പരീക്ഷണവും, ഉൽപാദനത്തിലെ യഥാർത്ഥ സാഹചര്യം അനുകരിക്കുന്നു (ഭൂതകാലത്തിൽ നിന്ന് ഭാവിയിലേക്ക് പ്രവചിക്കുന്നു).
7. ഫീച്ചർ എഞ്ചിനീയറിംഗിൽ ഏത് ഡാറ്റയിൽ നിന്നാണ് സ്കെയിലിംഗ് (സ്റ്റാൻഡേർഡ് സ്കെയിലർ) പാരാമീറ്ററുകൾ കണക്കാക്കേണ്ടത്, അവ എങ്ങനെ പ്രയോഗിക്കണം?
- എ) എല്ലാ ഡാറ്റയിൽ നിന്നും ഇത് കണക്കാക്കണം (പരിശീലനം + ടെസ്റ്റിംഗ് ഒരുമിച്ച്) അത് കൂടുതൽ കൃത്യമാണ്
- ബി) ഓരോ വരിക്കും ആ വരിയുടെ സ്വന്തം മൂല്യത്തിൽ നിന്ന് ഇത് പ്രത്യേകം കണക്കാക്കണം
- സി) ടെസ്റ്റ് ഡാറ്റയിൽ നിന്ന് മാത്രം കണക്കാക്കണം
- ഡി) പരിശീലന ഡാറ്റയിൽ നിന്ന് മാത്രമേ ഇത് കണക്കാക്കാവൂ, തുടർന്ന് ടെസ്റ്റ് ഡാറ്റയിൽ അതേ പാരാമീറ്ററുകൾ പ്രയോഗിക്കണം; അല്ലെങ്കിൽ അത് ചോർന്നുപോകും ✔
വിശദീകരണം: സ്കെയിലിംഗ്, എൻകോഡിംഗ്, പാഡിംഗ് എന്നിങ്ങനെയുള്ള എല്ലാ പരിവർത്തനങ്ങളുടെയും (അർത്ഥം, സ്റ്റാൻഡേർഡ് ഡീവിയേഷൻ മുതലായവ) പാരാമീറ്ററുകൾ പരിശീലന ഡാറ്റയിൽ നിന്ന് മാത്രമേ പഠിക്കാവൂ, തുടർന്ന് ടെസ്റ്റ് ഡാറ്റയിലും അത് പ്രയോഗിക്കണം. ടെസ്റ്റ് ഡാറ്റ കണക്കിലെടുക്കുന്നത് ടെസ്റ്റ് വിവരങ്ങൾ പരിശീലനത്തിൽ ഇടപെടുന്നതിന് കാരണമാകുന്നു, അതായത് ചോർച്ച, കൂടാതെ മോഡൽ അതിനെക്കാൾ മികച്ചതായി കാണപ്പെടും. പൈപ്പ്ലൈൻ ഉപയോഗിക്കുന്നത് ഇത് ഉറപ്പാക്കുന്നു.
8. ഒരു മോഡൽ പരിശീലന സെറ്റിൽ 98% കൃത്യതയും ടെസ്റ്റ് സെറ്റിൽ 72% കൃത്യതയും നൽകുന്നു. ഈ ലക്ഷണം എന്താണ് സൂചിപ്പിക്കുന്നത്, എന്തുചെയ്യണം?
- എ) അപര്യാപ്തമായ പഠനം; മോഡൽ കൂടുതൽ സങ്കീർണ്ണമാക്കണം
- ബി) ഡാറ്റ ചോർച്ച; ടെസ്റ്റ് സെറ്റ് മാറ്റണം
- സി) ഓവർഫിറ്റിംഗ്; മോഡൽ ലളിതമാക്കണം, ക്രമപ്പെടുത്തലും ക്രോസ് മൂല്യനിർണ്ണയവും പ്രയോഗിക്കണം ✔
- ഡി) ഒരു സാധാരണ സാഹചര്യം; വിദ്യാഭ്യാസ സ്കോർ എപ്പോഴും ഉയർന്നതാണ്, മുൻകരുതലുകൾ ആവശ്യമില്ല
വിശദീകരണം: പരിശീലനത്തിലെ ഉയർന്ന സ്കോറും ടെസ്റ്റിംഗിൽ വളരെ കുറഞ്ഞ സ്കോറും ഓവർഫിറ്റിംഗിൻ്റെ ഒരു ക്ലാസിക് ലക്ഷണമാണ്: യഥാർത്ഥ പാറ്റേണിനേക്കാൾ പരിശീലന ഡാറ്റയുടെ ശബ്ദമാണ് മോഡൽ മനഃപാഠമാക്കിയത്. മോഡൽ ലളിതമാക്കൽ, കൂടുതൽ ഡാറ്റ, റെഗുലറൈസേഷൻ, ക്രോസ്-വാലിഡേഷൻ ഉപയോഗിച്ച് സംസ്ഥാനം പരിശോധിക്കൽ എന്നിവ ഉൾപ്പെടുന്നു. വിദ്യാഭ്യാസ സ്കോറിൽ മാത്രം ആശ്രയിക്കുന്നത് ഈ അപകടത്തെ മറയ്ക്കുന്നു.
9. ഒരു മാനേജ്മെൻ്റ് അവതരണത്തിൽ, വിൽപന 1,000-ൽ നിന്ന് 1,020 ആയി വർദ്ധിക്കുന്ന ഒരു ബാർ ചാർട്ടിൻ്റെ y-അക്ഷം 980-ൽ ആരംഭിക്കുന്നത് വർദ്ധന വളരെ വലുതായി കാണുന്നതിന് വേണ്ടിയാണ്. യഥാർത്ഥ വർദ്ധനവ് 2% ആണ്. എന്തുകൊണ്ടാണ് ഇത് ഒരു ധാർമ്മിക പ്രശ്നമായിരിക്കുന്നത്?
- A) വെട്ടിച്ചുരുക്കിയ y-അക്ഷം ദൃശ്യപരമായി ഒരു ചെറിയ വ്യത്യാസം പെരുപ്പിച്ചു കാണിക്കുകയും കാഴ്ചക്കാരനെ തെറ്റിദ്ധരിപ്പിക്കുകയും ചെയ്യുന്നു; നീതിക്ക്, താരതമ്യ ബാറുകളിലെ അച്ചുതണ്ട് 0 ✔ ൽ നിന്ന് ആരംഭിക്കണം
- ബി) ബാർ ചാർട്ടുകൾ ഒരിക്കലും വിൽപ്പന ഡാറ്റയ്ക്കായി ഉപയോഗിക്കാൻ കഴിയില്ല
- സി) ഒരു പ്രശ്നവുമില്ല; ചാർട്ട് ആകർഷകമാക്കുന്നത് എല്ലായ്പ്പോഴും നല്ലതാണ്
- D) Y-അക്ഷം എല്ലായ്പ്പോഴും ഡാറ്റയുടെ ഏറ്റവും വലിയ മൂല്യത്തിൽ നിന്ന് ആരംഭിക്കണം
വിശദീകരണം: താരതമ്യ ആവശ്യങ്ങൾക്കായുള്ള ബാർ ചാർട്ടുകളിൽ, y-അക്ഷം സാധാരണയായി 0-ൽ ആരംഭിക്കണം. അച്ചുതണ്ട് മുറിച്ച് 980-ൽ ആരംഭിക്കുന്നത് ചെറിയ 2% വ്യത്യാസം ദൃശ്യപരമായി വലുതായി തോന്നുകയും കാഴ്ചക്കാരനെ തെറ്റിദ്ധരിപ്പിക്കുകയും ചെയ്യുന്നു. ഡാറ്റാ പ്രൊഫഷണലിൻ്റെ ധാർമ്മിക ഉത്തരവാദിത്തം, ഡാറ്റയെ അമിതമാക്കുകയോ വിലകുറച്ച് കാണുകയോ ചെയ്യാത്ത സത്യസന്ധമായ ഗ്രാഫുകൾ വരയ്ക്കുക എന്നതാണ്.
10. ഉൽപ്പന്ന പട്ടികയ്ക്കൊപ്പം ഓർഡറുകൾ ജോയിൻ ചെയ്തതിന് ശേഷം ഒരു അനലിസ്റ്റ് മൊത്തം വിറ്റുവരവ് 3 തവണ കണ്ടെത്തുന്നു; ലൈനുകളുടെ എണ്ണം 240 ആയിരത്തിൽ നിന്ന് 690 ആയിരമായി വർദ്ധിച്ചു. ഈ നിശബ്ദ തെറ്റ് തടയാൻ എന്താണ് ചെയ്യേണ്ടത്?
- എ) മൊത്തം വിറ്റുവരവിനെ 3 കൊണ്ട് ഹരിക്കുക
- B) JOIN എന്നതിനുപകരം എപ്പോഴും പ്രത്യേക അന്വേഷണങ്ങൾ ഉപയോഗിക്കുക
- സി) ഉൽപ്പന്ന പട്ടിക പൂർണ്ണമായും ഇല്ലാതാക്കുന്നു
- ഡി) ലയിപ്പിച്ചതിന് ശേഷമുള്ള വരികളുടെ എണ്ണം പരിശോധിച്ച് അവ ശരിയായ കീ വഴി ചേർന്നിട്ടുണ്ടോയെന്ന് പരിശോധിക്കുക; ✔ പകർപ്പെടുക്കൽ നേരത്തെ പിടിക്കുന്നു
വിശദീകരണം: ഉൽപ്പന്ന പട്ടികയിൽ ഓരോ ഉൽപ്പന്നത്തിനും ഒന്നിലധികം വരികൾ (ഉദാഹരണത്തിന്, വ്യത്യസ്ത നിറങ്ങൾ) ഉള്ളപ്പോൾ, തെറ്റായ കീ വഴി ചേരുന്നത് ഓരോ ഓർഡറും ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യുകയും മൊത്തം തുക വർദ്ധിപ്പിക്കുകയും ചെയ്യും. കോഡ് പിശകുകളില്ലാതെ പ്രവർത്തിക്കുന്നു, പക്ഷേ ഫലം തെറ്റാണ്. ഇത് ഒഴിവാക്കാനുള്ള മാർഗം ഓരോ ലയനത്തിനും/ജൊഇനിനും ശേഷവും വരികളുടെ എണ്ണം പരിശോധിച്ച് ശരിയായ കീ ഉപയോഗിച്ച് ലയിപ്പിക്കുക എന്നതാണ്.
11. ഒരു റിക്രൂട്ട് സ്ക്രീനിംഗ് മോഡൽ ചരിത്രപരമായ ഡാറ്റയിലെ ലിംഗ അസന്തുലിതാവസ്ഥയെ കുറിച്ചും വ്യവസ്ഥാപിതമായി സ്ത്രീ സ്ഥാനാർത്ഥികളുടെ സ്കോറിനു കീഴിലുള്ളതിനെ കുറിച്ചും പഠിക്കുന്നു, എന്നാൽ അതിൻ്റെ മൊത്തത്തിലുള്ള കൃത്യത ഉയർന്നതാണ്. എന്താണിതിനർത്ഥം?
- എ) മോഡലിന് ഉയർന്ന കൃത്യത ഉള്ളതിനാൽ ഒരു പ്രശ്നവുമില്ല
- ബി) സ്റ്റാറ്റിസ്റ്റിക്കൽ കൃത്യത ധാർമ്മിക സ്വീകാര്യതയ്ക്ക് പകരമല്ല; മുൻകാല വിവേചനത്തെക്കുറിച്ച് മോഡൽ പഠിച്ചു, ഗ്രൂപ്പ് അടിസ്ഥാനത്തിലുള്ള ന്യായമായ പരിശോധന ആവശ്യമാണ് ✔
- സി) മോഡലിൻ്റെ കൃത്യത കൂടുതൽ വർദ്ധിപ്പിക്കുന്നത് പ്രശ്നം പരിഹരിക്കുന്നു
- ഡി) ന്യായം ഡാറ്റാ സയൻസിൻ്റെ പരിധിക്ക് പുറത്താണ്
വിശദീകരണം: ഒരു മോഡൽ സ്ഥിതിവിവരക്കണക്ക് ശരിയാണെങ്കിൽ പോലും, അത് ധാർമ്മികമായി അസ്വീകാര്യമായേക്കാം. മോഡൽ കഴിഞ്ഞ ഡാറ്റയിലെ അനീതി പഠിക്കുകയും വിവേചനം ഓട്ടോമേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു. ഉയർന്ന സമഗ്രത നീതിക്ക് പകരമാവില്ല; ഉയർന്ന-ഇംപാക്ട് മോഡലുകളിൽ, വ്യത്യസ്ത ഗ്രൂപ്പുകളുടെ പ്രകടന/തീരുമാന വ്യത്യാസം അളക്കുന്ന ഫെയർനസ് കൺട്രോൾ അത്യാവശ്യമാണ്, ആത്യന്തിക ഉത്തരവാദിത്തം മനുഷ്യനായിരിക്കും.
12. ഒരു ജീവനക്കാരൻ യഥാർത്ഥ ഉപഭോക്തൃ ഇമെയിലുകളും വാങ്ങൽ ചരിത്രവും അടങ്ങിയ ഒരു ഫയൽ ഒരു പൊതു AI ടൂളിലേക്ക് അപ്ലോഡ് ചെയ്യുകയും 'സെഗ്മെൻ്റുകൾ സംഗ്രഹിക്കുക' എന്ന് പറയുകയും ചെയ്യുന്നു. എന്തുകൊണ്ടാണ് ഇത് ഗുരുതരമായ തെറ്റ്, എന്താണ് ശരിയായ മാർഗം?
- എ) ഒരു പ്രശ്നവുമില്ല; AI ഉപകരണങ്ങൾ ഒരിക്കലും ഡാറ്റ സംഭരിക്കുന്നില്ല
- ബി) ഫയൽ വളരെ വലുതാണ് എന്നതാണ് പിശക്; കുറയ്ക്കേണ്ടതായിരുന്നു
- സി) ഒരു തുറന്ന ഉപകരണത്തിലേക്ക് യഥാർത്ഥ വ്യക്തിഗത ഡാറ്റ നൽകുന്നത് KVKK/GDPR ൻ്റെ ലംഘനമാണ്; ഐഡൻ്റിറ്റി ഫീൽഡുകൾ നീക്കം ചെയ്യുകയും അജ്ഞാത സ്കീമ/സ്വത്ത് മാത്രം പങ്കിടുകയും വേണം ✔
- D) Excel എന്നതിന് പകരം CSV ഉപയോഗിക്കണമായിരുന്നു
വിശദീകരണം: പൊതുവായി ലഭ്യമായ ഒരു ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് ഉപകരണത്തിന് യഥാർത്ഥ വ്യക്തിഗത ഡാറ്റ (ഇ-മെയിൽ, പേര് മുതലായവ) നൽകുമ്പോൾ, KVKK / GDPR-ൻ്റെ പരിധിയിൽ ഒരു സ്വകാര്യതാ ലംഘനം ഉണ്ടാകും; ഡാറ്റ ഓർഗനൈസേഷനിൽ നിന്ന് പുറത്തുപോകുന്നു. മിക്കപ്പോഴും, വിശകലനത്തിന് ഒരു ഡയഗ്രാമും ഒരു അജ്ഞാത/സിന്തറ്റിക് സാമ്പിളും മതിയാകും. ഐഡൻ്റിറ്റി ഫീൽഡുകൾ നീക്കം ചെയ്യുകയും അജ്ഞാത പ്രോപ്പർട്ടികൾ മാത്രം പങ്കിടുകയും ചെയ്യുക എന്നതാണ് ശരിയായ മാർഗം.
13. ഒരു ശുപാർശ മോഡൽ നിർമ്മാണത്തിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്, പക്ഷേ ട്രാക്കിംഗ് സ്ഥാപിച്ചിട്ടില്ല; 4 മാസത്തിനുശേഷം ഉൽപ്പന്ന കാറ്റലോഗ് മാറുമ്പോൾ, മോഡൽ പഴയ ഉൽപ്പന്നങ്ങൾ ശുപാർശ ചെയ്യുന്നത് തുടരുകയും പരിവർത്തന നിരക്ക് നിശബ്ദമായി 30% കുറയുകയും ചെയ്യുന്നു. ഈ പ്രതിഭാസത്തിൻ്റെ പേരെന്താണ്?
- എ) ഓവർലേണിംഗ്; മോഡൽ പരിശീലന സെറ്റ് ഓർമ്മിക്കുന്നു
- ബി) മോഡൽ ഡ്രിഫ്റ്റ്; ലോകം മാറുന്നതിനനുസരിച്ച്, നിരീക്ഷണം സ്ഥാപിക്കാത്തതിനാൽ മോഡൽ നിശബ്ദമായി കാലഹരണപ്പെട്ടു, ശ്രദ്ധിക്കപ്പെടാതെ പോകുന്നു ✔
- സി) തിരഞ്ഞെടുപ്പ് പക്ഷപാതം; മാതൃകാ പക്ഷപാതം
- ഡി) ഡാറ്റ മിനിമൈസേഷൻ ലംഘനം
വിശദീകരണം: ഇതാണ് മോഡൽ ഡ്രിഫ്റ്റ് (മോഡൽ/ഡാറ്റ ഡ്രിഫ്റ്റ്): ലോകം മാറുമ്പോൾ (കാറ്റലോഗ്, പെരുമാറ്റം, സീസൺ) മോഡൽ പരിശീലിപ്പിച്ച സാഹചര്യങ്ങൾ മാറുകയും മോഡൽ നിശബ്ദമായി തകരുകയും ചെയ്യുന്നു. ഉൽപ്പാദനത്തിൽ ഏർപ്പെട്ടിരിക്കുന്ന ഒരു മോഡൽ സ്വയം നശിക്കുന്നു; 'എപ്പോൾ' എന്നതാണു കാര്യം. നിരീക്ഷിക്കാതെയുള്ള വിന്യാസം (ഇൻപുട്ടും പ്രകടനവും ട്രാക്കുചെയ്യുന്നത്) ഡീഗ്രഡേഷൻ കണ്ടെത്തുന്നത് അസാധ്യമാക്കുന്നു.
14. ഒരൊറ്റ പരിശീലന/ടെസ്റ്റ് വിഭജനത്തിൽ 88% കൃത്യത ലഭിക്കുന്ന ഒരു മോഡലിന് 88%, 71%, 83%, 64%, 79% എന്നിങ്ങനെ 5-മടങ്ങ് ക്രോസ്-വാലിഡേഷൻ സ്കോറുകൾ ഉണ്ട്. ഇത് എന്താണ് സൂചിപ്പിക്കുന്നത്, എന്തുകൊണ്ട് ക്രോസ് മൂല്യനിർണ്ണയം പ്രധാനമാണ്?
- എ) മോഡൽ സ്ഥിരതയുള്ളതാണ്; 88% യഥാർത്ഥ പ്രകടനമാണ്
- ബി) ക്രോസ് മൂല്യനിർണ്ണയം അനാവശ്യമാണ്; ഒരു കമ്പാർട്ട്മെൻ്റ് മതി
- സി) സ്കോറുകളുടെ വലിയ അസ്ഥിരത മോഡൽ അസ്ഥിരമാണെന്ന് സൂചിപ്പിക്കുന്നു; ഒന്നിലധികം ബിന്നുകളുടെ ശരാശരിയിലും വിതരണത്തിലുമുള്ള പ്രകടനത്തെ ക്രോസ്-വാലിഡേഷൻ അടിസ്ഥാനമാക്കുന്നു, ഒരൊറ്റ ലക്കി ബിൻ ✔
- ഡി) ഏറ്റവും ഉയർന്ന സ്കോർ (88%) റിപ്പോർട്ട് ചെയ്യുന്നതാണ് നല്ലത്
വിശദീകരണം: ഒരൊറ്റ കമ്പാർട്ട്മെൻ്റ് ഭാഗ്യമോ നിർഭാഗ്യമോ ആകാം; 88% ആ എളുപ്പത്തിലുള്ള വിഭജനത്തിൻ്റെ ഫലം മാത്രമായിരുന്നു. ക്രോസ്-വാലിഡേഷൻ ഡാറ്റയെ ഒന്നിലധികം തവണ വിഭജിക്കുന്നു, ശരാശരി (ഇവിടെ ~77%) പ്രകടനത്തെ അടിസ്ഥാനമാക്കി സ്കോറുകളുടെ അസ്ഥിരത കാണിക്കുന്നു. ഇവിടെ ഉയർന്ന അസ്ഥിരത മോഡൽ അസ്ഥിരമാണെന്ന് സൂചിപ്പിക്കുന്നു; ഒരൊറ്റ കമ്പാർട്ട്മെൻ്റിനെ ആശ്രയിക്കുന്നത് തെറ്റിദ്ധരിപ്പിക്കുന്നതാണ്.