வெளியீடு சரிபார்ப்பு மற்றும் மனித ஆய்வு

ஆதாயங்கள்:

• ஸ்கீமா மற்றும் விதி அடிப்படையிலான வெளியீடு சரிபார்ப்பு அடுக்குகளை நிறுவும் திறன்
• அதிக தாக்கத்தை ஏற்படுத்தும் முடிவுகளில் மனிதனை அர்த்தமுள்ள வகையில் தேவைப்படும் திறன்
• இரண்டாவது மாதிரியுடன் சரிபார்ப்பு மற்றும் நம்பிக்கை வாசல் அடிப்படையிலான ரூட்டிங் வடிவமைக்கும் திறன்

ஒரு மொழி மாதிரியானது திரவம், வற்புறுத்தல் மற்றும் பெரும்பாலும் துல்லியமாக உருவாக்குகிறது - ஆனால் "வற்புறுத்துவது" என்பது "சரியானது" அல்ல. மாதிரியானது ஒரு தொகை, தேதி அல்லது JSON புலத்தை அமைதியாகப் பொருத்த முடியும்; இது மாயத்தோற்றம் என்று அழைக்கப்படுகிறது (உண்மையில் இல்லாத தகவலை மாதிரி நம்பிக்கையுடன் உருவாக்குகிறது). ஒரு நிறுவன அமைப்பில், அந்த வெளியீடு அடுத்த கட்டத்திற்கு சென்றால் - ஒரு கட்டணம், ஒரு மின்னஞ்சல், ஒரு தரவுத்தள எழுதுதல் - பிழை நிஜ உலகில் பரவுகிறது. இந்த யூனிட்டில், கணினியில் நுழைவதற்கு முன்பு சரிபார்ப்பு அடுக்குகளுடன் வெளியீட்டை வடிகட்டவும், அதிக தாக்கத்தை ஏற்படுத்தக்கூடிய முடிவுகளில் மனிதனைப் பயன்படுத்தவும் கற்றுக்கொள்வோம்.

வெளியீடு சரிபார்ப்பு ஏன் தேவைப்படுகிறது?

மாதிரி வெளியீடு இரண்டு முதன்மை வழிகளில் சிதைக்கப்படலாம்: வடிவம் (எதிர்பார்க்கப்படும் JSON திட்டத்திற்கு இணங்கவில்லை, புலம் விடுபட்டது/அதிகமாக உள்ளது) மற்றும் உள்ளடக்கம் (வடிவம் சரியானது ஆனால் மதிப்பு தவறாக உள்ளது - இல்லாத தயாரிப்பு குறியீடு, நியாயமற்ற தேதி). பாதுகாப்பின் அடிப்படையில் மூன்றாவது பரிமாணம் உள்ளது: தீங்கிழைக்கும் வெளியீடு (ஊசி அல்லது கசிவு விளைவாக உருவாக்கப்பட்ட ஒரு தீங்கிழைக்கும் கட்டளை). ஒரு திடமான அமைப்பு வாசலில் மூன்றையும் நிறுத்துகிறது.

எச்சரிக்கை: "மாதிரி பொதுவாக துல்லியமானது" என்பது உற்பத்தி அளவுகோல் அல்ல. சரிபார்ப்பு இல்லாத அமைப்பில், ஆயிரத்தில் ஒரு பிழை கூட ஒரு நாளைக்கு 100,000 கோரிக்கைகளில் 100 தவறான பரிவர்த்தனைகளை குறிக்கிறது.

அங்கீகரிப்பு அடுக்குகள்: படிப்படியாக

1. திட்ட சரிபார்ப்பு. வெளியீடு எதிர்பார்த்த கட்டமைப்பிற்கு இணங்குகிறதா என்பதை இயந்திரத்துடன் சரிபார்க்கவும்: புலங்கள் உள்ளனவா, அவற்றின் வகைகள் சரியாக உள்ளதா, தேவையான புலங்கள் நிரப்பப்பட்டுள்ளனவா?
2. விதி/வணிக தர்க்க சரிபார்ப்பு. மதிப்புகள் வணிக விதிகளுடன் பொருந்துமா? (தொகை > 0, தேதி எதிர்காலத்தில் இல்லை, தயாரிப்பு குறியீடு பட்டியலுக்கு சொந்தமானது.)
3. குறிப்பு/மூலக் கட்டுப்பாடு. மாதிரி ஒரு உறுதிமொழியை உருவாக்கினால், அதை மூலத்துடன் இணைக்க முடியுமா? (RAG மேற்கோள் உண்மையில் ஆவணத்தில் உள்ளதா?)
4. இரண்டாவது மாதிரியுடன் சரிபார்ப்பு (LLM-ஆக-நீதிபதி). ஒரு சுயாதீன மாதிரியானது வெளியீட்டை "சரியானது/முழுமையற்றது/ஆபத்தானது" என மதிப்பிடுகிறது.
5. நம்பிக்கை வரம்பு மற்றும் நோக்குநிலை. மாதிரி அல்லது வேலிடேட்டர் குறைந்த நம்பிக்கையைப் புகாரளித்தால், வெளியீடு தானாகவே கடந்து செல்லாது; மனிதர்களுக்கு இயக்கப்படுகிறது.
6. மனித கட்டுப்பாடு. அதிக ஆற்றல் அல்லது குறைந்த பாதுகாப்பான விளைவு ஒரு நிபுணரின் ஒப்புதலைப் பொறுத்தது.

நான்கு நகலெடுக்கக்கூடிய டெம்ப்ளேட்கள்

திட்டம் + "உங்களுக்குத் தெரியாவிட்டால் அதை உருவாக்கவும்" ஒன்றாக:

பின்வரும் JSON திட்டத்தில் மட்டும் பதிலைத் தரவும்: "குறைவு" என்று எழுதவும். மதிப்பீட்டை துல்லியமாக எழுத வேண்டாம்.

இரண்டாவது மாதிரியுடன் சரிபார்ப்பு (நீதிபதி வரியில்):

நீங்கள் ஒரு சுயாதீன மதிப்பீட்டாளர். கீழே ஒரு <source> உரை மற்றும் <உரிமைகோரல்> உள்ளது. உரிமைகோரலில் உள்ள ஒவ்வொரு எண்ணும் தேதியும் மூலத்தில் சொல்லில் உள்ளதா என்பதைப் பார்க்கவும். ஒவ்வொன்றிற்கும், "சரிபார்க்கப்பட்டது | மூலத்தில் இல்லை | ஆதாரத்துடன் முரண்படுகிறது" என்று கூறவும். அவற்றில் ஒன்று கூட 'இல்லாதது/மோதல்' எனில், முடிவை "மனித மதிப்பாய்வு தேவை" எனக் குறிக்கவும்.<source>{{ text }}</source><claim>{{ model_output }}</claim>

நம்பிக்கை வரம்பு ரூட்டிங் விதி:

ரூட்டிங் விதி:- emin_misin = "உயர்" மற்றும் தொகை <10,000 TL -> தானியங்கு செயலாக்கம்- emin_misin = "நடுத்தர" அல்லது தொகை 10,000-100,000 TL -> இரண்டாவது மாதிரி சரிபார்ப்பு- emin_misin = "குறைந்த" அல்லது தொகை > 0 TL

மனித தணிக்கை சுருக்க அட்டை (விரைவு மதிப்பாய்வு):

ஒரு நபரிடம் முடிவை சமர்ப்பிக்கும் போது, இந்த அட்டையை சமர்ப்பிக்கவும்:- என்ன முன்மொழியப்படுகிறது? (ஒரு வாக்கியம்)- இது எந்த ஆதாரத்தை அடிப்படையாகக் கொண்டது? (கட்டுரை/ஆவணக் குறிப்பு)- 2 பலவீனமான அனுமானங்கள் யாவை?- அங்கீகரிக்கப்பட்டால், அவற்றை மாற்ற முடியுமா? (ஆம்/இல்லை)

பலவீனமான ப்ராம்ட் / ஸ்ட்ராங் ப்ராம்ட்

மோசமான அணுகுமுறை

வலுவான அணுகுமுறை

"விலைப்பட்டியலில் இருந்து தொகையைக் கழிக்கவும்" (இலவச உரை)

கடுமையான JSON ஸ்கீமா + பூஜ்ய + நம்பிக்கை புலம்

கட்டண முறைக்கு நேரடியாக வெளியீட்டை எழுதுதல்

திட்டம் → விதி → மனித ஒப்புதல் (தேவைப்பட்டால்)

"உறுதியாக இருங்கள்" என்று மாதிரி சொல்லி

இரண்டாவது மாதிரியுடன் எண்/தேதி சரிபார்ப்பு

ஒவ்வொரு வெளியீட்டையும் சம நம்பிக்கையுடன் செயலாக்குதல்

செல்வாக்கு மற்றும் நம்பிக்கையின் அடிப்படையில் ரூட்டிங்

வலுவான அணுகுமுறை மாதிரி சரியானது என்று நம்புவதில்லை; நீங்கள் தவறாக இருக்கும்போது உங்களைப் பிடிக்கும் ஒரு கதவை இது உருவாக்குகிறது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - திட்டம் மட்டும் போதாது. ஒரு கணக்கியல் ஆட்டோமேஷன் JSON என இன்வாய்ஸ்களில் இருந்து தொகையைப் பிரித்தெடுத்தது. திட்டம் சரியாக இருந்தது, ஆனால் மாடல் "1,250.00"க்கு பதிலாக "125,000" என்ற விலைப்பட்டியலில் (தசம மாற்றம்) உருவாக்கியது. இந்தத் திட்டம் இதைப் பிடிக்கத் தவறிவிட்டது; விதி சரிபார்ப்பு ("மொத்த விலைப்பட்டியல் பொருட்களுடன் ±1% தொகை இணங்க வேண்டும்") பிடிக்கப்பட்டது மற்றும் 112,500 TL இன் தவறான பதிவு தடுக்கப்பட்டது.

வழக்கு 2 - இரண்டாவது மாதிரி மாயத்தோற்றத்தை கைப்பற்றியது. ஒப்பந்தச் சுருக்கத்தில், "30 நாட்கள் பணிநீக்கம் அறிவிப்பு," ஒரு சட்ட ஆதரவு உதவியாளர் கூறினார்; இருப்பினும், ஒப்பந்தத்தில் அது 90 நாட்களாக இருந்தது. சுயாதீன நீதிபதி மாதிரியை "மூலத்துடன் முரண்படுகிறது" எனக் கொடியிட்டபோது, ​​வெளியீடு மனிதனுக்கு அனுப்பப்பட்டு சரி செய்யப்பட்டது. இது தானாக இருந்தால், வாடிக்கையாளர் தவறான தேதியின் அடிப்படையில் ரத்துசெய்ததை அறிவிப்பார்.

வழக்கு 3 - ரூட்டிங் சுமையை 70% குறைத்தது. ஒரு காப்பீட்டு உரிமைகோரல் அமைப்பு தானாகவே குறைந்த தொகை மற்றும் உயர்-பாதுகாப்பு உரிமைகோரல்களை அங்கீகரித்தது மற்றும் மேலே உள்ள வாசலில்/குறைந்த பாதுகாப்பை மட்டுமே நிபுணருக்கு அனுப்பியது. 3,200 தினசரி கோரிக்கைகளில், 950 மட்டுமே மனிதர்களிடம் விழுந்தது; நிபுணர்கள் தங்கள் நேரத்தை உண்மையிலேயே ஆபத்தான 30% க்கு அர்ப்பணித்தனர், சராசரி பரிவர்த்தனை நேரம் 4 மணிநேரத்திலிருந்து 40 நிமிடங்களாகக் குறைந்தது.

உதவிக்குறிப்பு: "மக்கள் அனைத்தையும் பார்க்க முடியும்" என்று மனிதக் கட்டுப்பாட்டை அமைக்க வேண்டாம் - இது மக்களை சோர்வடையச் செய்து, ஒப்புதல் ரப்பர் ஸ்டாம்ப் ஆகிவிடும். மாறாக, அதிக தாக்கம் மற்றும் குறைந்த நம்பிக்கை வெளியீடுகளை மட்டுமே மனிதனுக்கு அனுப்ப வேண்டும்; இது உண்மையில் முக்கியமானவற்றில் கவனம் செலுத்துகிறது.

மனிதக் கட்டுப்பாட்டை அர்த்தமுள்ளதாக்குதல்

ஹ்யூமன்-இன்-தி-லூப் என்பது காகிதத்தில் செக்பாக்ஸை வைப்பது அல்ல. மதிப்பாய்வாளர் (1) முடிவைப் புரிந்துகொள்வதற்கான சூழல், (2) மூலத்திற்கான அணுகல் மற்றும் (3) "இல்லை" என்று கூறுவதற்கான அதிகாரம் ஆகியவற்றைக் கொண்டிருக்க வேண்டும். இல்லையெனில், கட்டுப்பாடு ஒப்பனையாகவே இருக்கும். மறுஆய்வு அட்டை (மேலே உள்ள நான்காவது டெம்ப்ளேட்) அந்த சூழலை வழங்குவதாகும்.

பொதுவான தவறுகள்

• ஸ்கீமா சரிபார்ப்பு மற்றும் உள்ளடக்கம்/மதிப்பு பிழைகளைத் தவிர்ப்பது.
• மாதிரி "உறுதிப்படுத்து" என்று சொல்வதன் மூலம் நீங்கள் உண்மையான சரிபார்ப்பைச் செய்கிறீர்கள் என்று நினைக்கிறீர்கள்.
• அதிக தாக்கத்தை ஏற்படுத்தும், மாற்ற முடியாத முடிவுகளை தானாகவே செயல்படுத்தவும்.
• ஒவ்வொரு வெளியீட்டிலும் மனிதக் கட்டுப்பாட்டை வைப்பது மற்றும் ஒப்புதலை அர்த்தமற்ற ரப்பர் ஸ்டாம்பாக மாற்றுவது.
• ஆதாரத்தையும் சூழலையும் தராமல் மதிப்பாய்வாளரிடம் "அனுமதி" எனக் கூறுதல்.
• நம்பிக்கை வரம்பு மற்றும் ரூட்டிங் ஆகியவற்றை நிறுவாமல் அனைத்து வெளியீடுகளையும் ஒரே அபாயத்துடன் செயலாக்குகிறது.

சுருக்கமாக

• வெளியீடு மூன்று வழிகளில் சிதைந்துள்ளது: வடிவம், உள்ளடக்கம் மற்றும் தீங்கிழைக்கும் நோக்கம்; ஒரு திடமான அமைப்பு வாசலில் மூன்றையும் நிறுத்துகிறது.
• அடுக்குகள்: ஸ்கீமா சரிபார்ப்பு, விதி/வணிக தர்க்கம், மூலக் கட்டுப்பாடு, இரண்டாவது மாதிரி (எல்எல்எம்-ஆக-நீதிபதி), மற்றும் நம்பிக்கை த்ரெஷோல்ட் ரூட்டிங்.
• அதிக தாக்கம் மற்றும் குறைந்த பாதுகாப்பு வெளியீடுகளுக்கு ஹ்யூமன்-இன்-தி-லூப் கட்டாயமாக இருக்க வேண்டும்.
• மனித மதிப்பாய்வு அர்த்தமுள்ளதாக இருக்க வேண்டும்: மதிப்பாய்வாளர் சூழல், வள அணுகல் மற்றும் "இல்லை" என்று கூறுவதற்கான அதிகாரம் ஆகியவற்றைக் கொண்டிருக்க வேண்டும்.
• பாதுகாப்பு மற்றும் செயல்திறன் இரண்டும் மனிதர்களுக்கு ஆபத்தானவைகளை மட்டுமே இயக்குவதன் மூலம் பெறப்படுகின்றன, ஒவ்வொரு வெளியீட்டையும் அல்ல.

விண்ணப்ப பணி

உங்கள் சொந்த AI வெளியீட்டிலிருந்து ஒரு உதாரணத்தை எடுத்துக் கொள்ளுங்கள். முதலில் JSON ஸ்கீமாவை வரையறுத்து, அதற்கான வெளியீட்டை கட்டாயப்படுத்தவும். பின்னர் குறைந்தது இரண்டு வணிக விதிகளை எழுதவும் (உதாரணமாக, "உருப்படிகளின் மொத்தத் தொகை பொருந்துகிறது"). இறுதியாக, ஒரு ரூட்டிங் அட்டவணையை அமைக்கவும்: எந்த நம்பிக்கை/செல்வாக்கு கலவை தானாகவே செல்கிறது, இது இரண்டாவது மாதிரிக்கு செல்கிறது, இது மனிதனுக்கு செல்கிறது? ஒரு தவறான மாதிரியை உருவாக்கி, ஒவ்வொரு அடுக்கு அதை எங்கு பிடிக்கிறது என்பதைக் கவனிக்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] வெளியீட்டிற்கான கண்டிப்பான திட்டத்தை வரையறுத்து அதை இயந்திரம் மூலம் சரிபார்க்கிறேன்.
• [ ] குறைந்தது ஒரு வணிகம்/விதிகளை சரிபார்த்தலை (மதிப்பு தர்க்கம்) சேர்த்துள்ளேன்.
• [ ] நான் உறுதிப்படுத்தல்களை ஆதாரத்துடன் இணைத்து அவற்றைச் சரிபார்க்க முடியும்.
• [ ] அதிக தாக்கம்/குறைந்த பாதுகாப்பு விளைவுகளுக்கு இரண்டாவது மாதிரி அல்லது மனித சரிபார்ப்பு கிடைக்கிறது.
• நம்பிக்கை மற்றும் செல்வாக்கின் அடிப்படையில் ரூட்டிங் விதி வரையறுக்கப்படுகிறது.
• [ ] மதிப்பாய்வாளர் சூழல், ஆதாரம் மற்றும் நிராகரிப்பதற்கான அதிகாரத்துடன் வழங்கப்படுகிறார்.