ஏவல் மற்றும் கண்காணிப்பு: உற்பத்தியில் மாதிரி உண்மையில் என்ன செய்கிறது என்பதை அறிவது

ஆதாயங்கள்:

• மாதிரியின் சிதைவுக்கான அமைதியான காரணங்களை அடையாளம் காணும் திறன் (தரவு சறுக்கல், கருத்து சறுக்கல், அப்ஸ்ட்ரீம் பிழை) மற்றும் மூன்று அடுக்கு (செயல்பாட்டு, உள்ளீடு, வெளியீடு) கண்காணிப்பை நிறுவுதல்
• விதி சரிபார்ப்புகள், LLM-நடுவர் மற்றும் மனித மதிப்பீடு, மற்றும் LLM-நடுவர் மனித நங்கூரம் மூலம் பல அடுக்குகளில் LLM அமைப்புகளை மதிப்பிடும் திறன்
• எட்ஜ் மற்றும் செக்யூரிட்டி கேஸ்களைக் கொண்ட ஏவல் தொகுப்பை வடிவமைக்கும் திறன் மற்றும் பிடிபட்ட ஒவ்வொரு பிழையையும் நிரந்தர சோதனை வழக்காக மாற்றும் திறன்

ஒரு மாதிரி உற்பத்திக்கு சென்றவுடன், உங்கள் வேலை முடிந்துவிடாது; உண்மையான பொறுப்பு இப்போதுதான் தொடங்குகிறது. ஏனென்றால் யாரும் பார்க்காத போது மாதிரி அமைதியாக உடைந்து விடும். இந்த பிரிவில், நாங்கள் இரண்டு நிரப்பு துறைகளை உள்ளடக்குகிறோம்: மதிப்பீடு (முறையான மாதிரியின் தரத்தை அளவிடுதல்) மற்றும் கண்காணிப்பு (உற்பத்தியில் மாதிரியின் நிலையான கண்காணிப்பு). குறிப்பாக LLM அமைப்புகளில், eval மிகவும் கடினமானது மற்றும் கிளாசிக்கல் ML ஐ விட அதிக கவனிப்பு தேவைப்படுகிறது.

உற்பத்தி மாதிரி ஏன் அமைதியாக உடைகிறது

ஒரு பிழை செயலிழக்கிறது, பதிவு அச்சிடுகிறது, அலாரம் அணைக்கப்படும். ஒரு ML மாதிரி, மறுபுறம், பிழைகளை ஏற்படுத்தாமல் தவறாக இருக்கலாம். சீரழிவுக்கான மூன்று முக்கிய காரணங்கள்:

• தரவு சறுக்கல்: உள்ளீட்டு தரவின் விநியோகம் காலப்போக்கில் மாறுகிறது (புதிய தயாரிப்புகள், பயனர் நடத்தை மாறுதல், பருவநிலை). மாதிரி அப்படியே உள்ளது ஆனால் உலகம் மாறுகிறது.
• கருத்து சறுக்கல்: உள்ளீடு-வெளியீடு உறவு மாறுகிறது. மோசடி உத்திகள் மற்றும் ஸ்பேம் வடிவங்கள் உருவாகின்றன; நேற்று சரியாக இருந்தது இன்று தவறாகிவிடும்.
• அப்ஸ்ட்ரீம் ஊழல்: தரவு மூலமானது வடிவமைப்பை மாற்றுகிறது, ஒரு பகுதி இலவசமாகிறது; சிதைந்த உள்ளீட்டால் மாடல் அமைதியாக உமிழ்கிறது.

டிரேசிங் இந்த அமைதியான சிதைவுகளை கேட்கக்கூடியதாக ஆக்குகிறது.

என்ன பார்க்க வேண்டும்: மூன்று அடுக்குகள்

நல்ல கண்காணிப்பு மூன்று அடுக்குகளை உள்ளடக்கியது:

1. செயல்பாட்டு அளவீடுகள்: தாமதம், பிழை விகிதம், கோரிக்கை அளவு, வள பயன்பாடு. "சிஸ்டம் நிற்கிறதா?"
2. தரவு/உள்ளீட்டு அளவீடுகள்: உள்ளீட்டு விநியோகம் பயிற்சியில் உள்ளதைப் போன்றதா? விடுபட்ட மதிப்பு விகிதம் அதிகரித்துள்ளதா? புதிய வகைகள் வந்துவிட்டதா? "மாடல் பரிச்சயமான தரவைப் பார்க்கிறதா?"
3. மாதிரி/வெளியீட்டு அளவீடுகள்: கணிப்பு விநியோகப் பதிவு? நம்பிக்கை மதிப்பெண்கள் குறைந்துவிட்டதா? முடிந்தால், அடிப்படை உண்மையுடன் ஒப்பிடும்போது துல்லியம் என்ன? "மாடல் இன்னும் துல்லியமாக இருக்கிறதா?"

மூன்றாவது அடுக்கு மிகவும் மதிப்புமிக்கது ஆனால் மிகவும் கடினமானது; ஏனெனில் உண்மையான முடிவு பொதுவாக தாமதத்துடன் வருகிறது (கடன் திருப்பிச் செலுத்தப்படுமா இல்லையா என்பது மாதங்களுக்குப் பிறகு தெளிவாகிறது).

உதவிக்குறிப்பு: உண்மையான முடிவு தாமதமானால், உள்ளீடு மற்றும் கணிப்பு விநியோகத்தை முதலில் கண்காணிக்கவும். உள்ளீட்டு விநியோகத்தின் மாற்றமானது துல்லியம் சிதைவின் ஆரம்ப அறிகுறியாகும், மேலும் உண்மையான முடிவுக்காக காத்திருக்காமல் அலாரத்தை எழுப்பலாம்.

LLM அமைப்புகளை மதிப்பீடு செய்தல்: சிறப்பு சவால்

கிளாசிக்கல் ML இல், "சரியான பதில்" தெளிவாக உள்ளது (வகுப்பு 0 அல்லது 1). மறுபுறம், LLM முடிவு திறந்த நிலையில் உள்ளது: ஒரே கேள்விக்கு பல சரியான பதில்கள் இருக்கலாம், "சரியானது" என்பது ஒரு எண்ணுக்கு பொருந்தாது. LLM eval அணுகுமுறைகள்:

• குறிப்பிடப்பட்ட அளவீடுகள்: வெளியீட்டை சிறந்த பதிலுடன் ஒப்பிடுதல். வரையறுக்கப்பட்ட; ஏனெனில் அது வித்தியாசமாக வெளிப்படுத்தப்பட்ட சரியான பதிலை "தவறானது" எனக் கருதலாம்.
• விதிகள் அடிப்படையிலான காசோலைகள்: வெளியீடு சரியான JSONதானா? தடை செய்யப்பட்ட வார்த்தைகள் உள்ளதா? அதில் விரும்பிய புலங்கள் உள்ளதா? மலிவான, நம்பகமான, இறுக்கமான.
• LLM-நீதிபதி (LLM-ஆக-நீதிபதி): "இந்த அளவுகோலின்படி இந்த பதில் நல்லதா?" என்று ஒரு மாதிரி கேட்க வேண்டாம். இது அளவிடப்படுகிறது, ஆனால் நடுவர் சரிபார்க்கப்பட வேண்டும்.
• மனித மதிப்புரை: தங்கம் தரநிலை ஆனால் விலை உயர்ந்தது மற்றும் மெதுவாக. இது மாதிரியில் பயன்படுத்தப்படுகிறது.

நடைமுறையில் இவை ஒன்றாகப் பயன்படுத்தப்படுகின்றன: ஒவ்வொரு வெளியீட்டிலும் மலிவான விதி சோதனைகள், ஒரு பெரிய மாதிரியில் LLM- நீதிபதி, சிறிய ஆனால் கடுமையான மாதிரியில் மனித மதிப்பீடு.

பலவீனமான அணுகுமுறை / வலுவான அணுகுமுறை

பலவீனம்: "எல்எல்எம்-நான் நடுவரிடம் கேட்டேன், எங்களின் 92% பதில்கள் நன்றாக இருந்தன. சிஸ்டம் நன்றாக உள்ளது."

Güçlü: "நாங்கள் முதலில் 100 அச்சுப் பிரதிகளை மனிதர்களால் அடையாளப்படுத்தினோம். அதே 100 பிரிண்ட்அவுட்களில் LLM-நீதிபதியை நடத்தி, 85% ஒப்பந்தம், ஏற்கத்தக்கது - 85% உடன்பாடு, ஏற்றுக்கொள்ளத்தக்கது. நீதிபதி எங்கே தவறு செய்தார் என்பதை நாங்கள் ஆவணப்படுத்தினோம் (நீண்ட பதில்களை நியாயமற்ற முறையில் கண்டுபிடிக்கும் போக்கு) மற்றும் நீதிபதிகள் அவரது மதிப்பெண்ணை நம்பிய பிறகுதான் அவரது மதிப்பெண்ணை நம்பினோம்."

வித்தியாசம்: வலுவான அணுகுமுறை நடுவரை மனித நங்கூரத்துடன் சரிபார்க்கிறது, கண்மூடித்தனமாக அல்ல. சரிபார்க்கப்படாத LLM-நடுவர் அழகாக தோற்றமளிக்கும் ஆனால் தவறான நம்பிக்கையைத் தருகிறார்.

கவனம்: LLM-நடுவராகவும் ஒரு மாதிரி; மாயத்தோற்றம், பாரபட்சம் (நீண்ட/நம்பிக்கையான பதில்களை ஆதரிக்கிறது), சீரற்றதாக இருக்கலாம். தயாரிப்பு முடிவுகளை எடுப்பதற்கு முன் மனித குறிச்சொற்கள் மூலம் நடுவர் மதிப்பெண்களை அளவீடு செய்யவும்.

மதிப்பீட்டு தொகுப்பு: கவனமாக வடிவமைக்கப்பட்டுள்ளது

ஒரு நல்ல eval தொகுப்பு பல்வேறு உண்மையான பயன்பாடு மற்றும் கடினமான நிகழ்வுகளைக் குறிக்கிறது. எளிமையான உதாரணங்களால் நிரப்பப்பட்ட ஒரு ஏவல் உங்களை தவறான நம்பிக்கையில் வைக்கும். அதை ஏவல் கிளஸ்டரில் வைக்க மறக்காதீர்கள்:

• எட்ஜ் கேஸ்கள்: வெற்று உள்ளீடு, மிக நீண்ட உள்ளீடு, அசாதாரண வடிவம்.
• அறியப்பட்ட கடினமான வழக்குகள்: மாடல் கடந்த காலத்தில் தவறுகளைச் செய்த எடுத்துக்காட்டுகள் (ஒரு பின்னடைவு சோதனையாக).
• பாதுகாப்பு சம்பவங்கள்: உடனடி ஊசி முயற்சிகள், தீங்கிழைக்கும் கோரிக்கைகள், தனியுரிமை மீறல் பொறிகள்.

எவல் கிளஸ்டர் காலப்போக்கில் வளர்கிறது: உற்பத்தியில் நீங்கள் பிடிக்கும் ஒவ்வொரு புதிய பிழையும் அடுத்த மதிப்பீட்டிற்கான சோதனையாக மாறும்.

எச்சரிக்கை மற்றும் தலையீடு

அலாரம் இல்லாமல் கண்காணிப்பு முழுமையடையாது. ஒவ்வொரு முக்கியமான அளவீட்டிற்கும் ஒரு வரம்பு மற்றும் மறுமொழித் திட்டம் இருக்க வேண்டும்: "உள்ளீடு ட்ரிஃப்ட் X ஐ விட அதிகமாக இருந்தால் பொறியாளருக்குத் தெரிவிக்கவும்", "பிழை விகிதம் Y ஐ விட அதிகமாக இருந்தால் தானாக திரும்பவும்". அலாரங்களை அர்த்தமுள்ளதாக வைத்திருங்கள் - பல தவறான அலாரங்கள் அணியை உணர்விழக்கச் செய்து உண்மையான அலாரத்தைத் தவறவிடுகின்றன.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - முன் எச்சரிக்கை. தேவை முன்னறிவிப்பு மாதிரியின் உண்மையான துல்லியம் வார இறுதியில் மட்டுமே தெளிவாகத் தெரிந்தது. குழு உள்ளீடு விநியோகத்தை கண்காணித்து வந்தது, செவ்வாய்கிழமையன்று ஒரு புதிய தயாரிப்பு வகையின் திடீர் எழுச்சியைக் கண்டது - மாடல் பார்த்திராத ஒன்று. துல்லியம் குறையும் வரை காத்திருக்காமல் மாதிரியை புதுப்பித்தனர். உள்ளீடு கண்காணிப்பு சேமிக்கப்பட்ட நாட்கள்.

வழக்கு 2 - சரிபார்க்கப்படாத நடுவர். LLM மதிப்பாய்வாளர் அடிப்படையில் "எங்கள் தரம் சிறப்பாக உள்ளது" என்று ஒரு குழு தெரிவித்துள்ளது. வாடிக்கையாளர் புகார்கள் அதிகரித்தபோது, ​​மனித கண்காணிப்பு அறிமுகப்படுத்தப்பட்டது: நடுவர் நம்பிக்கையுடன் ஆனால் தவறான பதில்களை "நல்லது" என்று எண்ணினார். நடுவர் மனிதக் குறிச்சொற்களைக் கொண்டு அளவீடு செய்தவுடன், உண்மையான தரம் வெளிப்படுத்தப்பட்டது மற்றும் மிகவும் குறைவாக இருந்தது. பாடம்: சரிபார்க்காமல் நடுவரை நம்பாதீர்கள்.

வழக்கு 3 - பின்னடைவு சோதனை. உடனடி மாற்றம் ஒரு சிக்கலைத் தீர்க்கும் அதே வேளையில் மற்றொரு சிக்கலை அமைதியாக உடைத்தது. ஆனால் குழு கடந்த பிழைகளை ஏவல் வாளியில் வைத்திருந்தது; இந்த கிளஸ்டரில் புதிய மாற்றத்தை சோதனை செய்தபோது, ​​உடைந்த கேஸ் உடனடியாக பிடிக்கப்பட்டு மாற்றம் சரி செய்யப்பட்டது. பாடம்: ஒவ்வொரு நிலையான பிழையும் நிரந்தர சோதனை வழக்காக மாற வேண்டும்.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

இந்த தயாரிப்பு மாதிரிக்கான கண்காணிப்பு திட்டத்தை உருவாக்கவும். மூன்று அடுக்குகளை உள்ளடக்கியது:1) செயல்பாட்டு (தாமதம், பிழை விகிதம், தொகுதி)2) உள்ளீடு/தரவு (விநியோக மாற்றம், விடுபட்ட மதிப்பு, புதிய வகை)3) மாதிரி/வெளியீடு (கணிப்பு விநியோகம், நம்பிக்கை, முடிந்தால் துல்லியம்)மாடல்: [விளக்கம்]. உண்மையான முடிவு வருவதற்கு எவ்வளவு நேரம் ஆகும்: [duration]ஒவ்வொரு அளவீட்டிற்கும் வரம்பு மற்றும் தலையீடு பரிந்துரையைச் சேர்க்கவும்.

இந்த LLM அமைப்புக்கான மதிப்பீட்டு (eval) உத்தியை முன்மொழியுங்கள். பணி: [விளக்கம்] அடுக்குகளைத் தீர்மானித்தல்:- ஒவ்வொரு வெளியீட்டிலும் எந்த விதி அடிப்படையிலான காசோலைகள் இயங்க வேண்டும்?- LLM-நடுவர் எந்த அளவுகோல்களை மதிப்பீடு செய்ய வேண்டும் மற்றும் அவற்றை எவ்வாறு சரிபார்க்க வேண்டும் (மனித நங்கூரம்)?- எந்த மாதிரியில் மனித மதிப்பீட்டை அமைக்க வேண்டும்.

இந்த LLM-நடுவர் அறிவுறுத்தலைச் சரிபார்க்கவும்:- மதிப்பீட்டு அளவுகோல் தெளிவாக உள்ளதா அல்லது அகநிலை சார்ந்ததா?- நீளம்/நம்பிக்கை சார்புக்கு வாய்ப்பு உள்ளதா?- மனிதக் குறிச்சொற்கள் மூலம் நடுவரை எவ்வாறு அளவீடு செய்வது? நடுவர் அறிவுறுத்தல்: [prompt]

இந்த கண்காணிப்பு அலாரத்திற்கு பதில் ரன்புக்கை எழுதவும்.அலாரம்: [எ.கா. உள்ளீடு சறுக்கல் வரம்பை மீறியது]இருந்திருக்க வேண்டும்: ஆரம்பக் கட்டுப்பாட்டுப் படிகள், சாத்தியமான காரணங்கள், திரும்பப் பெறுவதற்கான அளவுகோல்கள், யாருக்குத் தெரிவிக்க வேண்டும்.

சிதைவுக்கான காரணம் அட்டவணை

திரித்தல்

அறிகுறி

முன்கூட்டியே கண்டறிவதற்கான வழி

தரவு சறுக்கல்

உள்ளீடு விநியோக மாற்றங்கள்

உள்ளீடு விநியோக கண்காணிப்பு

கருத்து மாற்றம்

நீதி மௌனமாக விழுகிறது

கணிப்பு + உண்மையான ஒப்பீடு

அப்ஸ்ட்ரீம் பிழை

புலங்கள் காலியாகின்றன/வடிவ மாற்றங்கள்

திட்ட சரிபார்ப்பு + விடுபட்ட விகிதம்

மாதிரி முரண்பாடு

வெளியீட்டு விநியோகம் மாறுகிறது

வெளியீடு விநியோக கண்காணிப்பு

பொதுவான தவறுகள்

• கண்காணிப்பை ஏற்படுத்தவில்லை. மாதிரி அமைதியாக உடைகிறது, யாரும் அதைப் பார்க்கவில்லை.
• செயல்பாட்டு அளவீடுகளை மட்டும் கண்காணிக்கவும். அமைப்பு உள்ளது, ஆனால் கணிப்புகள் தவறாக இருக்கலாம்.
• நடுவரைச் சரிபார்க்காமல் LLM ஐப் பயன்படுத்துதல். இது தவறான நம்பிக்கையை அளிக்கிறது.
• எளிதான எடுத்துக்காட்டுகளுடன் ஏவல். இது உண்மையான சிரமத்தைக் குறிக்கவில்லை.
• eval இல் கடந்த கால பிழைகள் சேர்க்கப்படவில்லை. அதே பிழை மீண்டும் வருகிறது.
• உரத்த அலாரங்கள். உண்மையான அலாரத்தை இழந்து, குழு உணர்ச்சியற்றதாகிறது.

சுருக்கமாக

உற்பத்தியில் பிழைகள் ஏற்படாமல் மாதிரி துல்லியமற்றதாக இருக்கலாம்; எனவே வளர்ச்சியைப் போலவே ஏவல் மற்றும் கண்காணிப்பு முக்கியம். மூன்று அடுக்குகளில் (செயல்பாட்டு, உள்ளீடு, வெளியீடு) கண்காணிப்பை நிறுவுதல்; உண்மையான முடிவு தாமதமானால், முன்கூட்டியே எச்சரிக்கையாக உள்ளீடு சறுக்கலைப் பயன்படுத்தவும். எல்எல்எம் அமைப்புகளில், ஏவல் ஓபன்-எண்டட்; விதிச் சரிபார்ப்புகள், LLM-நடுவர் மற்றும் மனித மதிப்பீடு ஆகியவற்றை ஒன்றாகப் பயன்படுத்தவும் - ஆனால் LLM- நடுவரை மனித ஆங்கருடன் சரிபார்க்கவும். எட்ஜ் மற்றும் செக்யூரிட்டி கேஸ்கள் மூலம் உங்கள் ஏவல் கிளஸ்டரை வளப்படுத்தவும், பிடிபட்ட ஒவ்வொரு பிழையையும் நிரந்தர சோதனை கேஸாக மாற்றவும்.

விண்ணப்ப பணி

உற்பத்தி (அல்லது உற்பத்திக்கு அருகில்) மாதிரிக்கான மூன்று-அடுக்கு கண்காணிப்புத் திட்டத்தை எழுதவும் மற்றும் குறைந்தபட்சம் ஒரு உள்ளீடு-விநியோக அளவீட்டுக்கான வரம்பு + அலாரத்தை வரையறுக்கவும். உங்களிடம் LLM அமைப்பு இருந்தால்: மனிதர்களுடன் 30 வெளியீடுகளைக் குறிக்கவும், அதே வெளியீடுகளில் LLM- நடுவரை இயக்கவும் மற்றும் மனித-நடுவர் ஒப்பந்தத்தை அளவிடவும்; நடுவரின் முறையான சார்புகளைக் கவனியுங்கள். உங்கள் ஏவல் கிளஸ்டரில் குறைந்தது 3 விளிம்புகள் மற்றும் 2 பாதுகாப்பு கேஸ்களைச் சேர்க்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] கண்காணிப்பு மூன்று அடுக்குகளையும் உள்ளடக்கியது (செயல்முறை, உள்ளீடு, வெளியீடு).
• [ ] உண்மையான முடிவு தாமதமானால், உள்ளீட்டுச் சறுக்கலை ஆரம்ப எச்சரிக்கையாகப் பயன்படுத்துகிறேன்.
• [ ] நான் LLM-மத்தியஸ்தரை மனித லேபிள்களுடன் அளவீடு செய்தேன்.
• எவல் கிளஸ்டரில் விளிம்பு மற்றும் பாதுகாப்பு வழக்குகள் உள்ளன.
• [ ] நான் பிடிக்கப்பட்ட ஒவ்வொரு பிழையையும் நிரந்தர சோதனை வழக்காக மாற்றினேன்.
• [ ] ஒவ்வொரு முக்கியமான அளவீடும் ஒரு வரம்பு மற்றும் மறுமொழித் திட்டத்தைக் கொண்டுள்ளது.