மறுஉருவாக்கம் மற்றும் முடிவு முதல் இறுதி திட்டம்: அனைத்தையும் இணைத்தல்

ஆதாயங்கள்:

• நான்கு தூண்கள் (விதை நிர்ணயம், தரவு பதிப்பு, ஊடக உறைதல், பரிசோதனை கண்காணிப்பு) மூலம் மறுஉற்பத்தியை உறுதி செய்யும் திறன் மற்றும் அதே ஓட்டத்தை மீண்டும் செய்யும் போது அதே முடிவை உருவாக்கும்
• தொகுதியின் அனைத்து நிறுத்தங்களையும் (அளவீடுகள், தரவு, மாதிரி, LLM கூறுகள், ஏவல், நியாயத்தன்மை, பாதுகாப்பு, விநியோகம், கண்காணிப்பு) ஒரு இறுதி முதல் இறுதி சங்கிலியில் இணைக்கும் திறன்
• ஒவ்வொரு நிறுத்தத்திலும் முக்கியமான முடிவு மனிதனிடம் உள்ளது என்பதைச் சரிபார்த்து, தணிக்கை செய்யக்கூடிய முறையில் திட்டத்தை ஆவணப்படுத்தும் திறன்

ஒரு ML திட்டத்தின் மிகவும் நயவஞ்சகமான தோல்வி ஒரு செயலிழப்பு அல்ல; "மீண்டும் அதே முடிவைப் பெறவில்லை." மூன்று மாதங்களுக்கு முன்பு நீங்கள் தயாரித்த மாடலின் மதிப்பெண்ணை இன்று உங்களால் மீண்டும் உருவாக்க முடியாவிட்டால், அந்த மாதிரியை நீங்கள் உண்மையில் கட்டுப்படுத்த முடியாது. இந்த இறுதிப் பிரிவில், நாம் மறுஉற்பத்தியை ஆழப்படுத்துகிறோம்: அதே உள்ளீடுகளுடன் அதே முடிவை நம்பகத்தன்மையுடன் பெறுவதற்கான திறன் மற்றும் முழு தொகுதியையும் இறுதி முதல் இறுதி திட்ட ஒழுங்குமுறையில் இணைக்கும் திறன்.

ஏன் இனப்பெருக்கம் செய்வது கடினம்

சாதாரண மென்பொருளில், அதே குறியீடு ஒரே வெளியீட்டை அளிக்கிறது. ML இல் முடிவைத் தீர்மானிக்கும் பல மாறிகள் உள்ளன:

• சீரற்ற தன்மை: தரவு மாற்றுதல், எடை துவக்குதல், தரவு பிரித்தல் - அனைத்தும் சீரற்ற தன்மையை சார்ந்துள்ளது.
• தரவு: ஒரே குறியீடு வெவ்வேறு தரவு பதிப்புகளுடன் வெவ்வேறு மாதிரிகளை உருவாக்குகிறது.
• சூழல்: நூலக பதிப்புகள், வன்பொருள் (CPU/GPU), இயங்குதளம் கூட முடிவை மாற்றலாம்.
• மறைக்கப்பட்ட வழக்கு: சேமிக்கப்படாத ஹைப்பர் பாராமீட்டர், ஒரு கையேடு முன் செயலாக்க படி, குறிப்பிடப்படாத தேர்வு.

மறுஉருவாக்கம் என்பது "இருப்பது நல்லது" அல்ல, மாறாக ஒரு அறிவியல் மற்றும் பொறியியல் கட்டாயமாகும். மறுஉருவாக்கம் செய்ய முடியாத ஒரு முடிவு நிரூபிக்க முடியாத கூற்றாகும்.

மறுஉற்பத்தியின் நான்கு தூண்கள்

1. சீரற்ற தன்மையை சரிசெய்யவும். அனைத்து சீரற்ற விதைகளையும் ஒரே இடத்தில் அமைக்கவும்: தரவு பிரித்தல், மாதிரி துவக்கம், தரவு மாற்றுதல். நிலையான விதை என்பது "ஒரே ஓட்டத்தை மீண்டும் செய்யும் போது அதே முடிவு" உத்தரவாதத்தின் அடிப்படையாகும்.

2. தரவு பதிப்பு. ஒவ்வொரு சோதனையும் எந்த தரவுப் பதிப்பைக் கொண்டு நிகழ்த்தப்பட்டது (அலகு 2 இல் தரவுப் பதிப்பு). "சமீபத்திய தரவு" தெளிவற்றது; "தரவு பதிப்பு v3, ஹாஷ் abc123" துல்லியமானது.

3. நடுத்தரத்தை உறைய வைக்கவும். எல்லா சார்புகளையும் அவற்றின் சரியான பதிப்புகளில் பொருத்தவும் (எ.கா. numpy==1.26.4 போன்ற சரியான பதிப்புகள் requires.txt, அல்லது ஒரு கொள்கலன் படம்). "சமீபத்திய பதிப்பு" ஒரு நாள் எல்லாவற்றையும் உடைக்கும்.

4. அனைத்தையும் கண்காணிக்கவும் (சோதனை கண்காணிப்பு). ஒவ்வொரு சோதனைக்கும் தானாகச் சேமிக்கவும்: குறியீடு பதிப்பு (ஜிட் கமிட்), தரவுப் பதிப்பு, அனைத்து ஹைப்பர்பாராமீட்டர்கள், அளவீடுகள் மற்றும் வெளியீட்டு கட்டமைப்புகள். MLflow, Weights & Biases போன்ற சோதனை கண்காணிப்பு கருவிகள் இதை முறையாகச் செய்கின்றன. பதிவு செய்யாமல், "எந்த அமைப்பு சிறந்தது" என்ற கேள்விக்கு பதிலளிக்கப்படவில்லை.

எச்சரிக்கை: "நான் பின்னர் நினைவில் கொள்கிறேன்" என்பது மிகவும் விலையுயர்ந்த தவறு. இரண்டு வாரங்களுக்குப் பிறகு நீங்கள் எந்த விதை, எந்த தரவு, எந்த ஹைப்பர் பாராமீட்டர் ஆகியவற்றைப் பயன்படுத்தியீர்கள் என்பதை நீங்கள் நினைவில் கொள்ள மாட்டீர்கள். தானியங்கி கண்காணிப்பு நினைவகத்தின் மீதான நம்பிக்கையை நீக்குகிறது.

பலவீனமான அணுகுமுறை / வலுவான அணுகுமுறை

பலவீனமானது: "நான் சிறந்த மாதிரியைக் கண்டேன், அது நோட்புக்கில் உள்ளது, அதன் மதிப்பெண் 89% என்று நான் நினைக்கிறேன்."

வலிமையானது: "பரிசோதனை கண்காணிப்பு கருவியில் #147ஐ இயக்கவும்: git commit a3f9c, தரவு பதிப்பு v3 (hash abc123), விதை 42, அனைத்து ஹைப்பர்பாராமீட்டர்களும் பதிவுசெய்யப்பட்டுள்ளன, PR-AUC 0.887 ஐ சோதிக்கவும். அதே கட்டளையை மீண்டும் இயக்கும்போது, ​​சிறிது சிறிதாக அதே முடிவைப் பெறுகிறேன். registry இல் இந்த இயக்கத்தைப் பொறுத்து மாதிரி."

வித்தியாசம்: வலுவான அணுகுமுறையில் முடிவு நினைவகத்தை அடிப்படையாகக் கொண்டிருக்கவில்லை, ஆனால் நிலையான மற்றும் கண்காணிக்கப்பட்ட சங்கிலியில் உள்ளது. ஒவ்வொருவரும் ஒவ்வொரு முறையும் ஒரே முடிவை உருவாக்க முடியும்.

முடிவு-இறுதி திட்டம்: தொகுதியின் கலவை

இப்போது முழு தொகுதியையும் ஒரே திட்ட ஓட்டமாக இணைப்போம். ஒரு உண்மையான ML அமைப்பு இந்த நிறுத்தங்கள் வழியாக செல்கிறது, மேலும் ஒவ்வொரு நிறுத்தமும் முந்தையதை அடிப்படையாகக் கொண்டது:

1. சிக்கல் வரையறை: நாம் எதைத் தீர்க்கிறோம், வெற்றியை எவ்வாறு அளவிடுவது (அலகு 3: சரியான அளவீடு, வணிகச் சூழல்). தொடக்கத்திலிருந்தே மெட்ரிக் மற்றும் வாசல் தெளிவாக உள்ளது.
2. தரவு பைப்லைன்: சேகரிப்பு, சரிபார்த்தல், சுத்தப்படுத்துதல், கசிவு இல்லாத பகிர்வு, பதிப்பு (அலகு 2).
3. மாதிரி உருவாக்கம்: பயிற்சி, அடிப்படை ஒப்பீடு, குறுக்கு சரிபார்ப்பு, கடினமான விதை (அலகு 3 + இந்த அலகு).
4. LLM கூறுகள் (பொருந்தினால்): RAG (அலகு 4) மற்றும்/அல்லது முகவர்கள் (அலகு 5); தேவைப்பட்டால் நன்றாகச் சரிசெய்தல் (அலகு 6).
5. மதிப்பீடு: எட்ஜ் மற்றும் செக்யூரிட்டி கேஸ்கள் கொண்ட எவல் கிளஸ்டர், எல்எல்எம் அமைப்புகளில் பல அடுக்கு எவல் (அலகு 8).
6. நீதி மற்றும் நெறிமுறைகள் தணிக்கை: துணைக்குழு பகுப்பாய்வு, மாதிரி அட்டை, விளக்கத்திறன் (அலகு 10).
7. பாதுகாப்பு தணிக்கை: உடனடி ஊசி, தனியுரிமை, விநியோக சங்கிலி (அலகு 9).
8. விநியோகம்: பேக்கேஜிங், படிப்படியான விநியோகம், திரும்பப் பெறுதல், மாதிரி பதிவு (அலகு 7).
9. கண்காணிப்பு: மூன்று அடுக்கு கண்காணிப்பு, டிரிஃப்ட் அலாரங்கள் (அலகு 8).
10. மறுஉருவாக்கம்: விதை, தரவு பதிப்பு, ஊடகம் மற்றும் சோதனை கண்காணிப்பு முழு சங்கிலி முழுவதும் (இந்த அலகு).

இந்த ஓட்டத்தில், AI என்பது ஒவ்வொரு நிறுத்தத்திலும் ஒரு முடுக்கி மற்றும் புளூபிரிண்ட் ஜெனரேட்டராகும்; ஆனால் மெட்ரிக் தேர்வு, தரவு முடிவுகள், நியாயமான முன்னுரிமை, வரிசைப்படுத்தல் வரம்பு மற்றும் வெளியீட்டு ஒப்புதல் - முக்கியமான முடிவுகள் மனிதனிடம் இருக்கும். இது தொகுதியின் சாராம்சம்.

ஆவணம்: எதிர்காலம் உங்களுக்கு நன்றி சொல்லும்

ஒரு நல்ல ML திட்ட ஆவணங்கள். குறைந்தபட்சம், பின்வருவனவற்றை எழுத வேண்டும்: சிக்கல் மற்றும் வெற்றிக்கான அளவுகோல்கள், தரவு மூல மற்றும் பதிப்பு, மாதிரி தேர்வுகள் மற்றும் நியாயப்படுத்தல்கள், மதிப்பீட்டு முடிவுகள் (துணைக்குழுக்கள் உட்பட), அறியப்பட்ட வரம்புகள் மற்றும் அபாயங்கள், வரிசைப்படுத்தல் மற்றும் மீட்டெடுப்பு செயல்முறை, கண்காணிப்புத் திட்டம். ஆறு மாதங்களுக்குப் பிறகு திட்டத்திற்குத் திரும்பும் நபரின் (ஒருவேளை அது நீங்கள்தான்) இந்த ஆவணம் சிறந்த நண்பர்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - இழந்த முடிவு. ஒரு பொறியாளர் ஒரு சிறந்த மாடலைப் பயிற்றுவித்தார், ஆனால் அவர் விதையை சரிசெய்யவில்லை மற்றும் தரவு பதிப்பைச் சேமிக்கவில்லை. அவர் வேலையை விட்டு வெளியேறியபோது, ​​அந்த முடிவை யாராலும் மீண்டும் உருவாக்க முடியவில்லை; இந்த மாதிரி ஒரு "கருப்பு பெட்டி புராணமாக" ஆனது மற்றும் இறுதியில் புதிதாக கட்டப்பட்டது. வாரங்கள் வீணாகின. பாடம்: மறுஉருவாக்கம் செய்ய முடியாத முடிவு, இல்லாத முடிவு.

வழக்கு 2 - சுற்றுச்சூழல் சரிவு. ஒரு குழு சார்புநிலைகளை சரி செய்யவில்லை. ஒரு நூலகம் தானாகவே புதுப்பிக்கப்படும் போது, ​​மாதிரி வெளியீடுகள் அமைதியாக மாறி, உற்பத்தி தடைபட்டது. சிக்கலைக் கண்டுபிடிக்க பல நாட்கள் ஆனது. சார்புநிலைகள் உறைந்து, உறுதியான பதிப்புகளுடன் கன்டெய்னரைஸ் செய்யப்பட்டபோது, ​​சிக்கல் மீண்டும் ஏற்படவில்லை. பாடம்: சுற்றுச்சூழலை உறைய வைக்கவும்.

வழக்கு 3 - கண்காணிப்பு சக்தி. ஒவ்வொரு பரிசோதனையையும் ஒரு குழு தானாகவே கண்காணித்தது. மூன்று மாதங்களுக்குப் பிறகு, ஒரு ஒழுங்குமுறை தணிக்கையின் போது, ​​"என்ன தரவுகளுடன், எந்த அமைப்புகளுடன், எந்தெந்த குழுக்களில் என்ன செயல்திறன் கிடைத்தது?" என்ற கேள்விக்கு அவர்கள் பதிலளித்தனர். நிமிடங்களில் முழுப் பதிவுடன். சோதனை சுமூகமாக நடந்தது. பாடம்: கண்காணிப்பு என்பது ஒரு இணக்கமான கருவியாகும், ஒரு பொறியியல் மட்டும் அல்ல.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

இந்த ML திட்டத்திற்கான மறுஉருவாக்கம் சரிபார்க்கவும்.- அனைத்து சீரற்ற விதைகளும் சரி செய்யப்பட்டுள்ளதா (பிரித்தல், துவக்குதல், கலக்குதல்)?- தரவு பதிப்பு செய்யப்பட்டதா?- சார்புகள் துல்லியமான பதிப்புகளுக்கு உறைந்துள்ளதா?- ஒவ்வொரு பரிசோதனையும் (குறியீடு உறுதி, தரவு, உயர் அளவுகோல், மெட்ரிக்) கண்காணிக்கப்படுகிறதா? ஒவ்வொரு விடுபட்ட நெடுவரிசைக்கும் அதை எவ்வாறு சரிசெய்வது என்பது குறித்த உறுதியான படிகளை எழுதவும். திட்ட அமைப்பு: [விளக்கம்]

இந்த எண்ட்-டு-எண்ட் ML திட்டத்திற்கான திட்ட எலும்புக்கூட்டை உருவாக்கவும். சிக்கல்: [விளக்கம்] பின்வரும் நிறுத்தங்களை மூடி, ஒவ்வொரு நிறுத்தத்திலும் மனித முடிவு எங்குள்ளது என்பதைக் குறிக்கவும்: சிக்கல்/மெட்ரிக், பைப்லைன், மாதிரி, (RAG/agent/fine-tune?), eval, fairness, பாதுகாப்பு, விநியோகம், கண்காணிப்பு, மறுஉருவாக்கம். ஒவ்வொரு நிறுத்தத்திற்கும் முக்கிய ஆபத்து மற்றும் சரிபார்ப்பு படிகளை எழுதவும்.

இந்த திட்டத்திற்கான தொழில்நுட்ப ஆவண டெம்ப்ளேட்டை உருவாக்கவும். பிரிவுகள்: சிக்கல்+வெற்றிக்கான அளவுகோல்கள், தரவு (மூலம்+பதிப்பு), மாதிரித் தேர்வுகள்+நியாயப்படுத்துதல், மதிப்பீடு (துணைக்குழுக்கள் உட்பட), அறியப்பட்ட வரம்புகள்+அபாயங்கள், வரிசைப்படுத்தல்+பின்வாங்கல், கண்காணிப்புத் திட்டம். ஒவ்வொரு பிரிவிற்கும் நிரப்ப வேண்டிய புலங்களை கேள்விகளாக கொடுங்கள்.

எனது பரிசோதனை கண்காணிப்பு அமைப்பைச் சரிபார்க்கவும்: ஒவ்வொரு இயக்கத்திலும் இது தானாகச் சேமிக்கப்படுகிறதா: git உறுதி, தரவு பதிப்பு/ஹாஷ், அனைத்து ஹைப்பர்பாராமீட்டர்கள், அனைத்து அளவீடுகள், சூழல் (நூலக பதிப்புகள்)? நான் மீண்டும் அதே ஓட்டத்தை இயக்கும்போது அதே முடிவைப் பெறுகிறேனா? அமைப்பு: [விளக்கம்]. குறைபாடுகள் மற்றும் திருத்தங்களை பட்டியலிடுங்கள்.

மறுஉருவாக்கம் பத்திகள் அட்டவணை

நெடுவரிசை

எது நிலையானது

வாகன உதாரணம்

சீரற்ற தன்மை

அனைத்து விதைகள்

விதை அமைப்பு

தரவு

தரவு பதிப்பு/ஹாஷ்

DVC

சூழல்

நூலக பதிப்புகள்

தேவைகள் பின், டோக்கர்

கண்காணிப்பு

குறியீடு+தரவு+அமைப்பு+மெட்ரிக்

MLflow, W&B

பொதுவான தவறுகள்

• விதையை சரி செய்யவில்லை. முடிவை மீண்டும் செய்ய முடியாது.
• தரவு பதிப்பைச் சேமிக்கவில்லை. "என்ன தரவுகளுடன்?" பதிலளிக்கப்படாமல் உள்ளது.
• போதையை உறைய வைப்பதில்லை. ஒரு புதுப்பிப்பு அமைதியாக எல்லாவற்றையும் உடைக்கும்.
• சோதனைகளை நினைவகத்திற்கு விட்டுவிடுதல். இரண்டு வாரங்கள் கழித்து எதுவும் நினைவில் இல்லை.
• முக்கியமான முடிவுகளை செயற்கை நுண்ணறிவுக்கு விட்டுவிடுதல். அளவீடுகள், நீதி மற்றும் விநியோக முடிவுகள் மக்களிடம் இருக்க வேண்டும்.
• ஆவணங்களை ஒத்திவைத்தல். எதிர்கால அணி (மற்றும் நீங்கள்) விலை கொடுக்க.

சுருக்கமாக

மறுஉருவாக்கம் என்பது தீவிர ML பொறியியலின் கையொப்பம்: மறுஉருவாக்கம் செய்ய முடியாத முடிவு நிரூபிக்க முடியாத கூற்று. இது நான்கு நெடுவரிசைகளுடன் வருகிறது - சீரற்ற தன்மையை சரிசெய்தல், பதிப்பு தரவு, உறைதல் சூழல், ஒவ்வொரு பரிசோதனையையும் கண்காணிக்கலாம். இந்த தொகுதியின் அனைத்து நிறுத்தங்களையும் (மெட்ரிக், டேட்டா, மாடல், எல்எல்எம் கூறுகள், ஏவல், நியாயத்தன்மை, பாதுகாப்பு, விநியோகம், கண்காணிப்பு) ஒன்றோடொன்று இணைக்கப்பட்ட சங்கிலியில் ஒரு எண்ட்-டு-எண்ட் திட்டம் ஒருங்கிணைக்கிறது; செயற்கை நுண்ணறிவு ஒவ்வொரு நிறுத்தத்திலும் ஒரு முடுக்கி, ஆனால் முக்கியமான முடிவுகள் மனிதனிடம் இருக்கும். எல்லாவற்றையும் ஆவணப்படுத்தவும் - எதிர்கால குழு மற்றும் தணிக்கைகளுக்கு. இந்த ஒழுக்கம் என்பது தொகுதி முழுவதும் நீங்கள் கற்றுக் கொள்ளும் அனைத்தையும் தாங்கும் கட்டமைப்பாகும்.

விண்ணப்ப பணி

நான்கு மறுஉற்பத்தித் தூண்களுக்கு எதிராக ஒரு ML திட்டத்தைச் சரிபார்க்கவும்: விதைகள் மாறாதவையா, தரவு பதிப்பு செய்யப்பட்டதா, சூழல் உறைந்துள்ளதா, சோதனைகள் கண்காணிக்கப்படுகிறதா? விடுபட்ட நெடுவரிசைகளை சரிசெய்து, ஒரே ஓட்டத்தை இரண்டு முறை இயக்கி, அதே முடிவைப் பெற முடியும் என்பதை நிரூபிக்கவும். ஒரு பக்கத்தில் திட்டத்தின் முடிவு முதல் இறுதி வரையிலான ஓட்டத்தை (10 நிறுத்தங்கள்) வெளியிட்டு, ஒவ்வொரு நிறுத்தத்திலும் "மனித முடிவு எங்கே" என்பதைக் குறிக்கவும். இறுதியாக, ஒரு சிறிய தொழில்நுட்ப ஆவண வரைவை எழுதவும்.

சரிபார்ப்பு பட்டியல்

• [ ] அனைத்து சீரற்ற விதைகளும் சரி செய்யப்பட்டன.
• [ ] ஒவ்வொரு சோதனையிலும் தரவு பதிப்பு/ஹாஷ் பதிவு செய்யப்படுகிறது.
• [ ] சார்புநிலைகள் உறுதியான பதிப்புகளுக்கு (பின்/கன்டெய்னர்) உறைந்திருக்கும்.
• [ ] ஒவ்வொரு பரிசோதனையும் தானாகவே கண்காணிக்கப்படும் (குறியீடு+தரவு+அமைப்பு+மெட்ரிக்).
• [ ] நான் அதே ரன் மீண்டும் போது, ​​நான் அதே முடிவு கிடைக்கும்.
• [ ] இறுதி முதல் இறுதி வரையிலான ஓட்டத்தில் முக்கியமான முடிவுகள் மனிதர்களால் எடுக்கப்படுகின்றன என்பதை நான் சரிபார்த்து ஆவணப்படுத்தினேன்.

தொகுதி தேர்வு

1. ஒரு ML பொறியாளராக, செயற்கை நுண்ணறிவை பணிப்பாய்வுகளில் நிலைநிறுத்தும்போது சிறந்த அணுகுமுறை என்ன?

• A) குறைந்த ஆபத்துள்ள வணிகங்களில் AI ஒரு முடுக்கி; அளவீடுகள், தரவு மற்றும் உற்பத்தி போன்ற முக்கியமான முடிவுகள் சரிபார்க்கப்பட்டு மனிதனிடம் விடப்படும் ✔
• B) AI வெளியீடுகள் நன்றாக இருக்கும் வரை, சரிபார்ப்பு தேவையில்லை
• சி) செயற்கை நுண்ணறிவுக்கு மாதிரியை தயாரிப்பதற்கான முடிவை விட்டுவிடுவது நேரத்தை மிச்சப்படுத்துகிறது.
• D) செயற்கை நுண்ணறிவு உரை எழுதுவதற்கு மட்டுமே பயனுள்ளதாக இருக்கும், இது தரவு மற்றும் மாதிரி வேலைகளுடன் எந்த தொடர்பும் இல்லை

விளக்கம்: AI என்பது குறியீடு, டேட்டா டைஜெஸ்ட்கள் மற்றும் ஆவணங்கள் போன்ற குறைந்த ஆபத்துள்ள, எளிதில் சரிபார்க்கப்பட்ட பணிகளுக்கான சக்திவாய்ந்த முடுக்கியாகும்; எவ்வாறாயினும், பணம், இரகசியத்தன்மை மற்றும் சட்டப் பொறுப்பு ஆகியவற்றைப் பாதிக்கும் முடிவுகளுக்கான பொறுப்பு, அதாவது மெட்ரிக் தேர்வு, எந்தத் தரவு பயிற்சிக்கு செல்கிறது, மற்றும் மாதிரியை தயாரிப்பில் வைப்பது, தகுதிவாய்ந்த பொறியாளர் மற்றும் குழுவிடம் உள்ளது. ஒவ்வொரு வெளியீடும் சரிபார்ப்பு இல்லாமல் பயன்படுத்தப்படக்கூடாது.

2. டேட்டா பைப்லைனின் தொடக்கத்தில் ஸ்கீமா சரிபார்ப்பு ஏன் வைக்கப்படுகிறது?

• A) ஏனெனில் இது நேரடியாக மாதிரியின் துல்லியத்தை அதிகரிக்கிறது
• B) ஏனெனில் இது தரவு பதிப்பை தேவையற்றதாக ஆக்குகிறது
• C) ஏனெனில் இது சிதைந்த தரவை ஆரம்ப மற்றும் மலிவான புள்ளியில் பிடித்து அடுத்த படிகளில் கசியவிடாமல் தடுக்கிறது ✔
• D) ஏனெனில் இது லேபிளிங்கின் தேவையை நீக்குகிறது

விளக்கம்: முந்தைய ஊழல் தரவு பிடிபட்டால், அதை சரிசெய்வது மலிவானது. வரியின் தொடக்கத்தில் எதிர்பார்க்கப்படும் வகை மற்றும் வரம்பிற்கு அப்பாற்பட்ட தரவை நிராகரிப்பதன் மூலம் ஊழலான தரவு பயிற்சி அல்லது உற்பத்தியில் அமைதியாக கசிவதைத் தடுக்கிறது. உற்பத்தியில் சிக்கிய அதே பிழை பல மடங்கு அதிக விலை கொண்டது.

3. நேரம் (நேரத் தொடர்) சம்பந்தப்பட்ட பிரச்சனையில் தரவைப் பயிற்சி மற்றும் சோதனை எனப் பிரிக்கும்போது சரியான அணுகுமுறை என்ன?

• A) சீரற்ற பிரித்தலைப் பயன்படுத்துதல், ஏனெனில் இது எப்போதும் சிறந்த முறையாகும்
• B) தற்காலிக பிளவுகளைப் பயன்படுத்துதல்: கடந்த காலத்துடன் பயிற்சி மற்றும் எதிர்காலத்தில் சோதனை மூலம் கசிவைத் தடுக்கவும் ✔
• C) அனைத்து தரவையும் பயிற்சி மற்றும் சோதனை ஆகிய இரண்டாகப் பயன்படுத்துதல்
• D) பயிற்சிக்கு முன் அளவிடுதல் அளவுருக்களில் சோதனைத் தரவை இணைத்தல்

விளக்கம்: நேரத் தொடரில் சீரற்ற முறையில் பிரிப்பது மாதிரிக்கு 'எதிர்காலத்தைப் பார்க்கும்' நன்மையை அளிக்கிறது, அது உற்பத்தியில் ஒருபோதும் நடக்காது மற்றும் செயற்கையாக அளவீடுகளை (தற்காலிக கசிவு) உயர்த்துகிறது. சரியானது தற்காலிக பிரிவு: கடந்த காலத்துடன் பயிற்சி, எதிர்காலத்தில் சோதனை. இது உற்பத்தியில் வைத்திருக்கும் உண்மையான செயல்திறனை அளவிடுகிறது.

4. 1.5% நேர்மறை வகுப்பு விகிதம் கொண்ட மோசடி கண்டறிதல் மாதிரியில் துல்லியம் ஏன் தவறாக வழிநடத்துகிறது?

• A) சமநிலையற்ற தரவுகளில் துல்லியம் எப்போதும் குறைவாக இருப்பதால்
• B) ஏனெனில் துல்லியமானது பின்னடைவு பிரச்சனைகளில் மட்டுமே பயன்படுத்தப்படும்
• C) ஏனெனில் துல்லிய கணக்கீடுக்கு அதிக செயலாக்க சக்தி தேவைப்படுகிறது
• D) பெரும்பான்மை வகுப்பைக் கணிக்கும் ஒரு அற்ப மாதிரி கூட மிகவும் துல்லியமாக இருக்கும், இதனால் உண்மையான வெற்றியை மறைத்துவிடும் ✔

விளக்கம்: சமநிலையற்ற தரவுகளில், 'எல்லாவற்றையும் எதிர்மறையாக அழைக்கவும்' என்று கூறும் ஒரு அடிப்படை மாதிரி கூட 98.5% துல்லியத்தைப் பெறுகிறது, ஆனால் ஒரு மோசடி கூட பிடிக்காது. எனவே, சமநிலையற்ற வகைப்பாட்டில், துல்லியம், நினைவுபடுத்துதல், F1 அல்லது PR-AUC ஆகியவை துல்லியத்திற்குப் பதிலாகப் பயன்படுத்தப்படுகின்றன, மேலும் ஒவ்வொரு அளவீடும் அடிப்படை மாதிரியின்படி விளக்கப்படுகிறது.

5. மாதிரியின் அளவீடு பற்றி பேசும்போது அடிப்படை ஒப்பீடு ஏன் அவசியம்?

• A) ஏனெனில் அடிப்படை மாதிரி எப்போதும் உண்மையான மாதிரியை விட சிறந்தது
• B) ஒரு மெட்ரிக் அர்த்தமுள்ளதா அல்லது ஒரு எளிய அடிப்படை மாதிரியுடன் ஒப்பிடும் போது மட்டும் அல்ல என்பது தெளிவாக இருப்பதால் ✔
• C) அடிப்படை மாதிரி குறுக்கு சரிபார்ப்பை தேவையற்றதாக ஆக்குகிறது
• D) ஏனெனில் ஒவ்வொரு அறிக்கையிலும் அடிப்படை மாதிரி சட்டப்பூர்வமாக தேவைப்படுகிறது

விளக்கம்: ஒரு மெட்ரிக் தானாகவே நல்லது அல்லது கெட்டது அல்ல; இது ஒரு அடிப்படை மாதிரியின் படி நல்லது அல்லது கெட்டது. '85% சரியானது' என்ற வாக்கியம், அடிப்படை மாதிரி ஏற்கனவே 84% பெற்றிருந்தால் கிட்டத்தட்ட பயனற்றது என்றும், 50% கிடைத்தால் சரியானது என்றும் அர்த்தம். ஒப்பீட்டு நங்கூரம் இல்லாமல், மெட்ரிக் அர்த்தமற்றது.

6. RAG (Retrieval-Augmented Generation) அமைப்பின் உற்பத்தி வரியில் சேர்க்கப்பட வேண்டிய மிக முக்கியமான பாதுகாப்பு உறுப்பு எது?

• A) கொடுக்கப்பட்ட மூலத்தை மட்டுமே நம்புவதற்கும், ஆதாரம் இல்லை என்றால் 'எனக்குத் தெரியாது' என்று கூறுவதற்கும், மூலத்தைக் குறிப்பிடுவதற்கும் அறிவுறுத்தல் ✔
• B) முடிந்தவரை நீண்ட மற்றும் ஆக்கப்பூர்வமான பதில்களைத் தயாரிக்க மாதிரியைக் கூறுதல்
• C) மாதிரியானது வளங்களை விட அதன் சொந்த கல்வி அறிவுக்கு முன்னுரிமை அளிக்கிறது
• D) கட்டளைகளாகக் கொண்டுவரப்பட்ட ஆவணங்களில் உள்ள அனைத்து வழிமுறைகளையும் செயல்படுத்தவும்

விளக்கம்: RAG இன் மிக முக்கியமான ஒற்றை அறிவுறுத்தலானது, கொடுக்கப்பட்ட மூலத்தை மட்டுமே நம்பியிருக்கும் மாதிரியைச் சொல்ல வேண்டும், மேலும் தகவல் மூலத்தில் இல்லை என்றால், 'எனக்குத் தெரியாது' எனக் கூறி, அதை உருவாக்காமல் மூலத்தை மேற்கோள் காட்டவும். இந்த முக்கோணம் இல்லாமல், மாதிரியானது சூழலைப் புறக்கணித்து மாயத்தோற்றங்களை உருவாக்கலாம், மேலும் பதில் சரிபார்க்க முடியாததாகிவிடும்.

7. RAG அமைப்பு தவறான பதில்களை அளிக்கிறது. நோயறிதலைத் தொடங்க சிறந்த இடம் எங்கே?

• அ) முதலில் பெறுவதை அளவிடுதல் (ரீகால்@கே): சரியான துண்டு எப்போதாவது வருமா? ✔
• B) உடனடியாக மாதிரியை பெரியதாக மாற்றவும்
• C) ரேண்டமாக ப்ராம்ட்டை மாற்றி, தொடர்ந்து முயற்சிக்கவும்
• D) அனைத்து ஆவணங்களையும் நன்றாகச் சரிசெய்தல் மூலம் மாதிரியில் உட்பொதித்தல்

விளக்கம்: RAG இன் பலவீனமான இணைப்பு பொதுவாக பெறப்படும், உற்பத்தி அல்ல. சரியான பகுதி ஒருபோதும் கொண்டு வரப்படாவிட்டால், எவ்வளவு ப்ராம்ட் மேம்படுத்தப்பட்டாலும், மாதிரி அந்த தகவலை உருவாக்க முடியாது. எனவே, சரியான பகுதி வந்துள்ளதா என்பதைப் பார்க்க முதலில் Recall@K அளவிடப்படுகிறது; பெறுதல் நன்றாக இருந்தால், உற்பத்தி மற்றும் ப்ராம்ட் ஆய்வு செய்யப்படும்.

8. ஒரு முகவருக்கு ஒரு கருவியைக் கொடுக்கும்போது மனித ஒப்புதலுக்குப் பின்னால் என்ன நடவடிக்கைகள் எடுக்கப்பட வேண்டும்?

• A) இல்லை; முகவர் ஒவ்வொரு செயலையும் தன்னிச்சையாகச் செய்யக்கூடியவராக இருக்க வேண்டும்
• B) தரவைப் படிப்பது மற்றும் தேடுவது போன்ற மீளக்கூடிய செயல்கள் மட்டுமே
• C) பணத்தை மாற்றுதல், நீக்குதல், அனுப்புதல் ✔ போன்ற மாற்ற முடியாத அல்லது அதிக தாக்கத்தை ஏற்படுத்தும் செயல்கள்
• D) கணக்கீடுகளை மட்டுமே உள்ளடக்கிய செயல்கள்

விளக்கம்: செயல்கள் ஆபத்து நிலை மூலம் பிரிக்கப்படுகின்றன. வரைவுகளைப் படித்தல், தேடுதல், கணக்கிடுதல் மற்றும் உருவாக்குதல் போன்ற மீட்டெடுக்கக்கூடிய பணிகள் தன்னாட்சி முறையில் செய்யப்படலாம்; எவ்வாறாயினும், பணத்தை மாற்றுவது, மின்னஞ்சல்களை அனுப்புவது, தரவை நீக்குவது, ஆர்டர்களை வைப்பது போன்ற மீளமுடியாத அல்லது அதிக தாக்கத்தை ஏற்படுத்தக்கூடிய செயல்களுக்கு மனித ஒப்புதல் தேவை. மாற்ற முடியாத ஒவ்வொரு செயலும் ஒப்புதலுக்கு உட்பட்டதாக இருக்க வேண்டும்.

9. மறைமுக உடனடி ஊசி ஆபத்துக்கு எதிராக சிறந்த வடிவமைப்பு அணுகுமுறை என்ன?

• A) சிஸ்டம் ப்ராம்ப்டில் 'ignore bad instruction' என்ற ஒற்றை வாக்கியத்தைச் சேர்த்தால் போதும்
• B) வெளிப்புற உள்ளடக்கத்தில் உள்ள வழிமுறைகளை நம்பி மாதிரிக்கு அதிக அதிகாரம் கொடுங்கள்
• சி) ஊசி போடுவது தடுக்க முடியாதது என்பதால் எந்த முன்னெச்சரிக்கை நடவடிக்கையும் எடுக்கவில்லை
• D) வெளிப்புற உள்ளடக்கத்தை நம்பகத்தன்மையற்ற தரவுகளாக தனிமைப்படுத்துதல் மற்றும் குறைந்தபட்ச அங்கீகாரம், ஒப்புதல் மற்றும் வெளியீட்டு கட்டுப்பாட்டுடன் அடுக்கு பாதுகாப்புகளை நிறுவுதல் ✔

விளக்கம்: இணையப் பக்கம், ஆவணம், மின்னஞ்சல் போன்ற முகவர் அல்லது RAG மூலம் செயலாக்கப்படும் வெளிப்புற உள்ளடக்கம், நம்பத்தகாத தரவு மற்றும் ரகசிய வழிமுறைகளைக் கொண்டிருக்கலாம். சரியான அணுகுமுறை அடுக்கு பாதுகாப்பு: வெளிப்புற உள்ளடக்கத்தை 'தரவு, கட்டளைகள் அல்ல' என தெளிவான வரையறைகளுடன் தனிமைப்படுத்துதல், குறைந்தபட்ச அங்கீகாரத்தைப் பயன்படுத்துதல், மாற்ற முடியாத செயல்களை மனித ஒப்புதலுடன் பிணைத்தல் மற்றும் வெளியீட்டைத் தணிக்கை செய்தல். அறிவுறுத்தல்களின் ஒற்றை வரி போதாது.

10. ஒரு சிக்கலை ஃபைன்-ட்யூனிங் அல்லது RAG மூலம் தீர்க்க வேண்டுமா என்பதை தீர்மானிக்கும்போது முக்கிய வேறுபாடு என்ன?

• A) RAG மூலம் தகவல் பிரச்சனைகள் சிறப்பாக தீர்க்கப்படுகின்றன, நடத்தை/வடிவ பிரச்சனைகள் நன்றாக சரிசெய்தல் மூலம் சிறப்பாக தீர்க்கப்படும் ✔
• B) ஒவ்வொரு பிரச்சனையும் எப்பொழுதும் நன்றாகச் சரிசெய்தல் மூலம் தீர்க்கப்பட வேண்டும்
• C) RAG என்பது குறியீடு உருவாக்கத்திற்கு மட்டுமே பயன்படுத்தப்படுகிறது, ஃபைன்-ட்யூனிங் மொழிபெயர்ப்புக்கு மட்டுமே பயன்படுத்தப்படுகிறது
• D) Fine-tuning எப்போதும் RAGஐ விட மலிவாகவும் வேகமாகவும் புதுப்பிக்கப்படும்

விளக்கம்: ஃபைன்-டியூனிங் பலவீனமானது மற்றும் புதிய தகவல்களை மாதிரிக்கு கற்பிப்பதில் ஆபத்தானது; ஆனால் நடத்தை, வடிவம், தொனி மற்றும் பாணியை கற்பிப்பதில் சக்தி வாய்ந்தது. 'மாடல் நிறுவனத்திற்கு எங்கள் தரவு தெரியாது' என்பது ஒரு தகவல் பிரச்சனை மற்றும் RAG க்கு சொந்தமானது. 'மாடல் எப்பொழுதும் எங்களின் கண்டிப்பான வடிவமைப்பில் வெளிவரட்டும்' என்பது ஒரு நடத்தை பிரச்சனை மற்றும் நன்றாகச் சரிசெய்வதற்கான வேட்பாளராகும். கூடுதலாக, ப்ராம்ட் மற்றும் சில-ஷாட்களை நன்றாக-டியூனிங் செய்வதற்கு முன் உட்கொள்ள வேண்டும்.

11. புதிய மாடலை உற்பத்தி செய்யும் போது பாதுகாப்பான வரிசைப்படுத்தலுக்கு எது கட்டாயம்?

• A) சோதனையில் மாதிரி நன்றாக இருந்தால், அதை நேரடியாக 100% டிராஃபிக்கிற்கு திறக்கவும்
• B) வரிசைப்படுத்தப்பட்ட பிறகு கண்காணிப்பை அமைக்கவில்லை
• C) படிநிலை வரிசைப்படுத்தல் (நிழல்/கேனரி) மற்றும் முன்-சோதனை செய்யப்பட்ட பின்வாங்கல் திட்டம் ✔
• D) மதிப்பீட்டு வரம்பை சந்திக்காவிட்டாலும் மாதிரியை வெளியிடுதல்

விளக்கம்: புதிய மாடலை நேரடியாக எல்லாப் போக்குவரத்திற்கும் திறப்பது ஆபத்தானது; தவறு செய்தால் அனைவரும் பாதிக்கப்படுவார்கள். சரியான விஷயம் என்னவென்றால், இது ஒரு படிப்படியான விநியோகம் (நிழல், கேனரி) மற்றும் ஒவ்வொரு விநியோகமும் சோதனை செய்யப்பட்ட ரோல்பேக் திட்டம் உள்ளது. கிளாபேக் திட்டம் இல்லாமல் விநியோகம் முழுமையடையாது; சில நிமிடங்களுக்குள் முந்தைய பதிப்பிற்கு மாற்றியமைக்க முடிந்தால், மாடல் உற்பத்தியில் எதிர்பாராத விதமாக செயல்படும் போது பயனரைப் பாதுகாக்கிறது.

12. ML மாடல் தயாரிப்பில் எப்படி 'அமைதியாக' தோல்வியடையும் மற்றும் இதைப் பிடிக்க என்ன வழி?

• A) மாதிரி சரிகிறது; சர்வர் பதிவுகள் இதைக் காட்டுகின்றன
• B) தவறு செய்யாமல் தவறான கணிப்புகளை உருவாக்குவதன் மூலம்; ✔ இது செயல்பாட்டு, உள்ளீடு மற்றும் வெளியீடு அடுக்கு கண்காணிப்பைப் பிடிக்கிறது
• சி) மாடல் ஒருபோதும் அமைதியாக தோல்வியடையாது, எப்போதும் எச்சரிக்கையாக இருக்கும்
• D) எந்த ஒரு சீரழிவையும் பிடிக்க தாமதத்தை கண்காணிப்பது போதுமானது

விளக்கம்: செயலிழக்காமல் அல்லது பிழைகளைத் தராமல் தவறான கணிப்புகளை உருவாக்குவதன் மூலம் மாடல் தோல்வியடையும்; இதற்கு முக்கிய காரணம் தரவு சறுக்கல் மற்றும் கருத்து சறுக்கல். செயல்பாட்டு அளவீடுகளை (தாமதம், பிழை விகிதம்) கண்காணிப்பது மட்டும் போதாது; உள்ளீடு விநியோகம் மற்றும் வெளியீடு/கணிப்பு விநியோகமும் கண்காணிக்கப்பட வேண்டும். உண்மையான முடிவு தாமதமானால், உள்ளீடு சறுக்கல் முன்கூட்டியே எச்சரிக்கை அளிக்கிறது.

13. LLM அமைப்பை மதிப்பிடுவதற்கு LLM-ஆக-நீதிபதியைப் பயன்படுத்தும் போது என்ன கொள்கை அவசியம்?

• A) LLM-நடுவர் எப்போதும் சரியானவர், மனித சரிபார்ப்பு தேவையற்றது
• B) பதில் நீளத்தின் அடிப்படையில் மட்டுமே நடுவர் முடிவெடுக்க வேண்டும்.
• C) நடுவர்கள் பயன்படுத்தப்படும் போது விதிகள் அடிப்படையிலான கட்டுப்பாடுகள் மற்றும் மனித மதிப்பீடு முற்றிலும் நிராகரிக்கப்பட வேண்டும்
• D) நீதிபதியின் மதிப்பெண்கள் மனித-லேபிளிடப்பட்ட மாதிரியைக் கொண்டு அளவீடு செய்யப்பட வேண்டும் மற்றும் அவை நம்பப்படுவதற்கு முன் அவற்றின் சார்பு அளவிடப்பட வேண்டும் ✔

விளக்கம்: LLM-நடுவராகவும் ஒரு மாதிரி; இது மாயத்தோற்றம், பாரபட்சமான (நீண்ட, நம்பிக்கையான பதில்களுக்கு சாதகமாக) மற்றும் சீரற்றதாக இருக்கலாம். எனவே, நடுவர் மதிப்பெண்கள் மனித லேபிளிடப்பட்ட மாதிரியுடன் அளவீடு செய்யப்பட வேண்டும் மற்றும் உற்பத்தி முடிவு எடுக்கப்படுவதற்கு முன்பு அவற்றின் முறையான சார்பு அளவிடப்பட வேண்டும். சரிபார்க்கப்படாத நடுவர் தவறான நம்பிக்கையைத் தருகிறார்.

14. மாதிரி சார்புகளை மதிப்பிடும் போது ஒட்டுமொத்த துல்லியத்தை பார்ப்பது ஏன் போதுமானதாக இல்லை?

• A) ஒட்டுமொத்த துல்லியம் போதுமானது, ஏனெனில் இது எப்போதும் மோசமான குழுவின் செயல்திறனை பிரதிபலிக்கிறது
• B) துணைக்குழுக்களுக்கு இடையே உள்ள முறையான வேறுபாட்டை (மறைக்கப்பட்ட பாகுபாடு) மறைக்க முடியும் என்பதால் ஒட்டுமொத்த துல்லியம் மட்டும் போதாது ✔
• C) ஏனெனில் துல்லியம் என்பது சார்புடன் எந்த தொடர்பும் இல்லாத அளவீடு ஆகும்
• D) சார்பு மாதிரியிலிருந்து மட்டுமே வருகிறது மற்றும் தரவுகளுடன் எந்த தொடர்பும் இல்லை.

விளக்கம்: ஒட்டுமொத்த துல்லியமானது துணைக்குழுக்களுக்கு இடையே உள்ள முறையான வேறுபாடுகளை மறைக்கக்கூடும். எடுத்துக்காட்டாக, ஒட்டுமொத்தத் துல்லியம் 88% ஆக இருக்கும்போது, ​​ஒரு குழுவில் 91% மற்றும் மற்றொரு குழுவில் 67% திரும்பப் பெறலாம்; மாடல் அந்த குழுவை முறையாக தவறவிடுகிறது. எனவே, மாதிரியானது துணைக்குழுக்களின் (மக்கள்தொகை/பிரிவு) அடிப்படையில் மதிப்பீடு செய்யப்பட வேண்டும் மற்றும் நீதியின் எந்த வரையறைக்கு முன்னுரிமை அளிக்கப்பட வேண்டும் என்பது பங்குதாரர்களுடன் முடிவு செய்யப்பட வேண்டும்.

15. ஒரு ML முடிவு மீண்டும் உருவாக்கப்படுவதற்கு என்ன நான்கு விஷயங்கள் ஒன்றாகச் சரி செய்யப்பட வேண்டும்?

• A) மாடல் பெயர், அளவு, விலை மற்றும் வெளியீட்டு தேதி மட்டும்
• B) GPU பிராண்ட் மற்றும் இணைய வேகம் மட்டுமே
• சி) மாதிரியின் இறுதி துல்லிய மதிப்பெண் மட்டுமே; மீதமுள்ளவற்றை நினைவில் வைத்துக் கொள்ளலாம்
• D) சீரற்ற விதை, தரவு பதிப்பு, சூழல் (சார்பு பதிப்புகள்) மற்றும் பரிசோதனை கண்காணிப்பு ✔

விளக்கம்: மறுஉருவாக்கம் நான்கு தூண்கள் மூலம் அடையப்படுகிறது: சீரற்ற விதைகளை சரிசெய்தல், பதிப்பு தரவு (பதிப்பு/ஹாஷ்), சுற்றுச்சூழலை முடக்குதல் (சரியான நூலக பதிப்புகள்/கன்டெய்னர்), மற்றும் ஒவ்வொரு பரிசோதனையையும் கண்காணிப்பது (குறியீடு உறுதி, தரவு, ஹைபர்பராமீட்டர், மெட்ரிக்). இந்த சங்கிலி இல்லாமல் அதே முடிவை மீண்டும் உருவாக்க முடியாது; மீண்டும் உருவாக்க முடியாத முடிவு என்பது நிரூபிக்க முடியாத ஒரு கூற்றாகும்.