ஆதாயங்கள்:
- சார்பு தரவு (வரலாற்று, பிரதிநிதித்துவம், அளவீடு, திரட்டல்) ஆகியவற்றிலிருந்து வருகிறது என்பதைப் புரிந்துகொண்டு துணைக்குழுக்களின் அடிப்படையில் மாதிரியை மதிப்பிடுவதன் மூலம் மறைக்கப்பட்ட பாகுபாட்டைக் கண்டறியும் திறன்
- மாடல் கார்டுடன் அதிக தாக்கத்தை ஏற்படுத்தும் முடிவுகளில் விளக்கமளிக்கும் தன்மை, மனித மேற்பார்வை மற்றும் பொறுப்புக்கூறல் மற்றும் ஆவண வெளிப்படைத்தன்மை ஆகியவற்றை வழங்கும் திறன்
- மிகச்சிறிய போதுமான மாதிரி, உடனடி சுருக்கம், தற்காலிக சேமிப்பு மற்றும் தொகுதி ஆகியவற்றுடன் தரத்தை சமரசம் செய்யாமல் நிதி மற்றும் சுற்றுச்சூழல் செலவுகளை நிர்வகிக்கும் திறன்
ஒரு மாதிரி தொழில்நுட்ப ரீதியாக சரியாக வேலை செய்யலாம் ஆனால் இன்னும் தவறாக இருக்கலாம் - இது சிலருக்கு நியாயமற்றதாக இருந்தால், விவரிக்க முடியாதது அல்லது தாங்க முடியாத செலவுகளை உருவாக்குகிறது. இந்த பிரிவில், ML பொறியியலின் மூன்று "கண்ணுக்கு தெரியாத" ஆனால் தீர்க்கமான பரிமாணங்களை நாங்கள் உள்ளடக்குகிறோம்: சார்பு மற்றும் நேர்மை, நெறிமுறைகள் மற்றும் வெளிப்படைத்தன்மை, செலவு மற்றும் நிலைத்தன்மை. இவை பின்னர் சேர்க்கப்பட்ட ஆபரணங்கள் அல்ல, ஆனால் பொறியியல் தரத்தின் ஒருங்கிணைந்த பகுதிகள்.
பாரபட்சம் எங்கிருந்து வருகிறது?
மாதிரி சார்பு (சில குழுக்களை வித்தியாசமாக/நியாயமற்ற முறையில் மாதிரியின் முறையான சிகிச்சை) பொதுவாக தரவிலிருந்து வருகிறது, மாதிரி அல்ல. ஆதாரங்கள்:
- வரலாற்று சார்பு: தரவு கடந்தகால அநீதியை பிரதிபலிக்கிறது. ஒரு குறிப்பிட்ட குழுவிற்கு கடந்த காலத்தில் குறைவான கடன் வழங்கப்பட்டிருந்தால், அந்தத் தரவின் மீது பயிற்சியளிக்கப்பட்ட மாதிரி இந்த பாகுபாட்டைக் கற்றுக்கொண்டு நிலைத்திருக்கும்.
- பிரதிநிதித்துவ சார்பு: சில குழுக்கள் தரவுகளில் குறைவாகவே குறிப்பிடப்படுகின்றன; மாதிரியானது அவர்களுக்கு மோசமாக செயல்படுகிறது (எ.கா. சிறிய மாதிரி மக்கள்தொகையில் குறைந்த துல்லியம்).
- அளவீட்டு சார்பு: லேபிள்களே பக்கச்சார்பானவை (எ.கா., "நல்ல பணியாளர்" என்பதன் வரையறை கடந்தகால பதவி உயர்வு முடிவுகளின் அடிப்படையில் அமைந்திருந்தால்).
- திரட்டல் சார்பு: ஒரு குறிப்பிட்ட சேனலில் இருந்து தரவு வருவதால், அது பிரபஞ்சத்தின் பிரதிநிதி அல்ல.
மாடல் இந்த சார்புகளை மட்டும் கற்றுக் கொள்ளவில்லை; அதை தானியக்கமாக்குவதன் மூலம் அளவிடுகிறது. ஒருவரின் பாரபட்சமான முடிவு மற்றொரு நபரை பாதிக்கிறது; ஒரு சார்பு மாதிரியின் தீர்ப்பு மில்லியன்கள்.
எச்சரிக்கை: "மாடல் நடுநிலையானது, ஏனெனில் இது வெறும் கணிதம்" என்று சொல்வதில் தவறிழைக்காதீர்கள். மாதிரியானது தரவுகளில் மனித சார்புகளைக் கற்றுக்கொள்கிறது மற்றும் தானியங்குபடுத்துகிறது. நடுநிலைமை என்பது இயல்புநிலை அல்ல, ஆனால் அளவிடப்பட்டு உறுதி செய்யப்பட வேண்டிய விளைவு.
நீதியை அளவிடும்
நீதியை நிர்வகிக்க, முதலில் அதை அளவிடுவது அவசியம். இதைச் செய்ய, மாதிரியை துணைக்குழு அடிப்படையில் மதிப்பீடு செய்யவும்: துல்லியம், நினைவுபடுத்துதல், தவறான நேர்மறை விகிதம் போன்ற அளவீடுகள் வெவ்வேறு மக்கள்தொகைக் குழுக்களில் சமமாக உள்ளதா? நீதியின் சில கருத்துக்கள்:
- குழு நேர்மை: மாதிரி வெவ்வேறு குழுக்களை ஒரே மாதிரியான விகிதத்தில் சரியாக/தவறாக நடத்துகிறதா?
- வாய்ப்பின் சமத்துவம்: அனைத்து குழுக்களிலும் (சமமான நினைவூட்டல்) உண்மையான நேர்மறையானவற்றை மாதிரியானது சமமாகப் பிடிக்கிறதா?
முக்கிய உண்மை: நீதியின் வெவ்வேறு வரையறைகள் ஒரே நேரத்தில் திருப்தி அடையாமல் இருக்கலாம் (இது ஒரு கணித விளைவு). இந்தச் சூழலில் நீதியின் எந்த வரையறை முன்னுரிமை பெறுகிறது என்பது ஒரு நெறிமுறை மற்றும் வணிக முடிவு, தொழில்நுட்பம் அல்ல, மேலும் பங்குதாரர்களுடன் சேர்ந்து எடுக்கப்பட்டது.
பலவீனமான அணுகுமுறை / வலுவான அணுகுமுறை
மோசமானது: "மாதிரியின் ஒட்டுமொத்த துல்லியம் 88% ஆகும், இது நியாயமானது."
Güçlü: "ஒட்டுமொத்த துல்லியம் 88%, ஆனால் நாங்கள் அதை துணைக்குழுக்களாகப் பிரித்தபோது, ஒரு குழுவில் 91% மற்றும் மற்றொரு குழுவில் 67% திரும்பப் பெறப்பட்டது - அந்த மாதிரி முறையாக அந்தக் குழுவைக் காணவில்லை. காரணத்தை (பிரதிநிதித்துவம் இல்லாமை) நாங்கள் ஆவணப்படுத்தினோம், அந்தக் குழுவிற்கான தரவைச் சேகரித்து, அதை மறுமதிப்பீடு செய்தோம். முன்னுரிமை கொடு."
வித்தியாசம்: வலுவான அணுகுமுறை பொது மெட்ரிக் பின்னால் மறைக்காது, அது துணைக்குழுக்களை பிரிக்கிறது மற்றும் நேர்மையை ஒரு திறந்த முடிவாகக் கருதுகிறது.
நெறிமுறைகள் மற்றும் வெளிப்படைத்தன்மை
பொறுப்புள்ள AI இன் அடிப்படைக் கொள்கைகள்:
- விளக்கம்: மாடல் ஏன் இந்த முடிவை எடுத்தது என்பதை விளக்க முடியுமா? அதிக தாக்கத்தை ஏற்படுத்தும் முடிவுகளில் (கடன், பணியமர்த்தல், சுகாதாரம்) ஒருவருக்கு விளக்கம் அளிக்க உரிமை உண்டு. இந்த பகுதிகளில் விவரிக்கப்படாத மாதிரி பயன்படுத்தப்படக்கூடாது அல்லது விளக்கக்கூடிய முறையால் ஆதரிக்கப்பட வேண்டும்.
- மனித மேற்பார்வை: அதிக தாக்கத்தை ஏற்படுத்தும் முடிவுகள் தானாக எடுக்கப்படக்கூடாது; மாதிரி அறிவுறுத்துகிறது, மனிதன் உறுதிப்படுத்துகிறான்.
- பொறுப்புக்கூறல்: மாதிரி தவறு செய்யும் போது யார் பொறுப்பு என்பது தெளிவாக இருக்க வேண்டும். "மாடல் முடிவு செய்யப்பட்டது" என்பது ஒரு தவிர்க்கவும் அல்ல.
- வெளிப்படைத்தன்மை: பயனர் தாங்கள் ஒரு AI உடன் தொடர்பு கொள்கிறார்கள் என்பதையும் அவர்களின் தரவு எவ்வாறு பயன்படுத்தப்படுகிறது என்பதையும் அறிந்திருக்க வேண்டும்.
பல நாடுகள் மற்றும் துறைகளில், இந்தக் கொள்கைகள் சட்டத்திலும் உட்பொதிக்கப்பட்டுள்ளன (வெளிப்படைத்தன்மை, தணிக்கை மற்றும் அதிக ஆபத்துள்ள AI அமைப்புகளுக்கான மனித மேற்பார்வைக் கடமைகள்). பொறியாளர் தனது துறையின் விதிமுறைகளை அறிந்து கொள்ள பொறுப்பு.
உதவிக்குறிப்பு: ஒவ்வொரு உயர்-தாக்க மாடலுக்கும் ஒரு "மாடல் கார்டை" வைத்திருங்கள்: மாடல் என்ன செய்கிறது, எந்தத் தரவைப் பயிற்றுவித்தது, எந்தெந்த குழுக்களில் இது எவ்வளவு நன்றாக/மோசமாக வேலை செய்கிறது, அதன் அறியப்பட்ட வரம்புகள் என்ன. இந்த ஆவணம் ஒரு வெளிப்படைத்தன்மை மற்றும் பொறுப்புக்கூறல் கருவியாகும்.
செலவு மற்றும் நிலைத்தன்மை
AI மலிவானது அல்ல. செலவு இரண்டு பரிமாணங்களில் நிர்வகிக்கப்படுகிறது:
நிதி செலவு:
- டோக்கன் செலவு (LLM): ஒவ்வொரு கோரிக்கை மற்றும் பதில் டோக்கன்கள் செலவாகும்; தொகுதி வளர, பில் வளரும். தேவையில்லாத நீண்ட தூண்டுதல்கள், அதிகப்படியான மாடல் தேர்வு மற்றும் கட்டுப்பாடற்ற ஏஜென்ட் லூப்கள் (அலகு 5) செலவை உயர்த்தும்.
- பயிற்சி மற்றும் ஹோஸ்டிங்: ஃபைன்-டியூனிங் மற்றும் மாடல் விளக்கக்காட்சிக்கு வன்பொருள் செலவுகள் ஏற்படும்.
- உகப்பாக்கம்: ஒரு சிறிய மாதிரி போதுமானதாக இருந்தால் பெரிய மாதிரியைப் பயன்படுத்த வேண்டாம்; கேச் அடிக்கடி கேட்கப்படும் கேள்விகள்; வரியை சுருக்கவும்; எதைச் செயலாக்க முடியும் என்பதைத் தொகுதி.
சுற்றுச்சூழல் செலவு: பெரிய மாதிரி பயிற்சி மற்றும் அனுமானம் குறிப்பிடத்தக்க ஆற்றலைப் பயன்படுத்துகிறது. நிலைத்தன்மை என்பது தேவையற்ற கணக்கீடுகளை (சரியான அளவு மாதிரி, திறமையான கட்டிடக்கலை) தவிர்க்கும் ஒரு தொழில்முறை பொறுப்பாகும்.
உதவிக்குறிப்பு: செலவுத் தேர்வுமுறையின் முதல் விதி: "இந்த வேலைக்குப் போதுமான சிறிய மாதிரி எது?" எல்லா இடங்களிலும் மிகவும் சக்திவாய்ந்த மாதிரியை வைப்பது, ஒரு ஸ்லெட்ஜ்ஹாம்மருடன் ஒரு ஆணியை அடிப்பது போன்றது - விலை உயர்ந்தது மற்றும் தேவையற்றது.
மூன்று சிறிய வழக்குகள்
வழக்கு 1 - மறைக்கப்பட்ட பாகுபாடு. ஒரு ஆட்சேர்ப்பு ஸ்கிரீனிங் மாதிரி ஒட்டுமொத்தமாக நன்றாக இருந்தது. துணைக்குழு பகுப்பாய்வு, வரலாற்றுத் தரவு ஆண் ஆதிக்கம் செலுத்தியதால், அந்த மாதிரி முறையாக பெண் வேட்பாளர்களை அடிக்கோடிட்டுக் காட்டுகிறது-இது வரலாற்று சார்புகளைக் கற்றுக்கொண்டது. மாதிரி நிறுத்தப்பட்டது, தரவு சமநிலைப்படுத்தப்பட்டது மற்றும் நியாயமான அளவீடுகள் கண்காணிக்கப்பட்டன. பொது நீதியானது மறைக்கப்பட்ட பாகுபாட்டை மறைத்தது.
வழக்கு 2 - விவரிக்கப்படாத நிராகரிப்பு. ஒரு கிரெடிட் மாடல் விண்ணப்பங்களை நிராகரிக்கிறது, ஆனால் அதற்கான காரணத்தை யாராலும் விளக்க முடியவில்லை. ஒரு வாடிக்கையாளர் சட்ட விளக்கத்தை கோரியபோது, குழுவால் பதிலளிக்க முடியவில்லை. விளக்கமளிக்கும் முறை சேர்க்கப்படும் வரை, ஒவ்வொரு நிராகரிப்புக்கும் நியாயப்படுத்தப்படும் வரை, உயர் தாக்க முடிவுகளில் பயன்பாட்டில் இருந்து மாடல் திரும்பப் பெறப்பட்டது. பாடம்: அதிக தாக்கத்தை ஏற்படுத்தும் முடிவெடுப்பதில் விளக்கத்திறன் அவசியம்.
வழக்கு 3 - பில் அதிர்ச்சி. ஒவ்வொரு கோரிக்கைக்கும் ஒரு குழு மிகப்பெரிய LLM மற்றும் மிக நீண்ட அறிவுறுத்தல்களைப் பயன்படுத்துகிறது. மாதாந்திர பில் எதிர்பாராத விதமாக அதிகரித்துள்ளது. பிந்தைய பகுப்பாய்வு: பெரும்பாலான கோரிக்கைகளை ஒரு சிறிய மாதிரி மூலம் தீர்க்க முடியும், தூண்டுதல்களில் பாதி தேவையற்றவை மற்றும் அடிக்கடி கேள்விகள் தற்காலிகமாக சேமிக்கப்படும். இந்த மூன்று மேம்படுத்தல்கள் தரத்தில் சமரசம் செய்யாமல், செலவைக் கணிசமாகக் குறைத்தன. பாடம்: மிகவும் சக்திவாய்ந்த மாதிரி எல்லா இடங்களிலும் தேவையில்லை.
நகலெடுக்கக்கூடிய வார்ப்புருக்கள்
சார்பு/நியாயத்திற்கான இந்த மாதிரியை மதிப்பிட எனக்கு உதவவும். எந்த துணைக்குழுக்களை (மக்கள்தொகை/பிரிவு) நான் பிரித்து அளவிட வேண்டும்? நான் எந்த அளவீடுகளை (துல்லியம், நினைவுகூரல், குழுவின் தவறான நேர்மறை விகிதம்) ஒப்பிட வேண்டும்? நியாயத்தின் வெவ்வேறு வரையறைகள் முரண்படுமா, இந்தச் சூழலில் நான் எதற்கு முன்னுரிமை கொடுக்க வேண்டும், ஏன்? மாதிரி/முடிவு சூழல்: [விளக்கம்]
இந்த உயர் தாக்க மாடலுக்கான வரைவு மாதிரி அட்டையை உருவாக்கவும். பின்வருவனவற்றை உள்ளடக்கியிருக்க வேண்டும்: நோக்கம், பயிற்சித் தரவு மற்றும் தேதி, துணைக்குழுக்களில் செயல்திறன், அறியப்பட்ட வரம்புகள், பொருத்தமான/பொருத்தமற்ற பயன்பாடு, விளக்கமளிக்கும் நிலை, மனித மேற்பார்வையின் புள்ளி. மாதிரி: [விளக்கம்]
தரத்தில் சமரசம் செய்யாமல், இந்த LLM செயலாக்கத்தின் செலவைக் குறைக்க எனக்கு உதவுங்கள். கிடைக்கக்கூடியது: மாதிரி அளவு, சராசரி உடனடி நீளம், கோரிக்கை அளவு, தற்காலிக சேமிப்பு உள்ளதா? மதிப்பீடு:1) சிறிய மாதிரி போதுமானதா (எந்தப் பணிகளுக்கு)?2) ப்ராம்ட்டைச் சுருக்க முடியுமா?3) அடிக்கடி கேட்கப்படும் கோரிக்கைகள் தற்காலிகமாகச் சேமிக்கப்படுமா?4) ஒவ்வொரு குழுவிற்கும் பரிந்துரைக்கப்பட்ட தாக்கம் உள்ளதா?
இந்த உயர் தாக்க முடிவு முறைக்கான நெறிமுறைகள்/பொறுப்பு சரிபார்ப்பு பட்டியலை உருவாக்கவும்.- விளக்கமளிக்கும் தன்மை: முடிவை நியாயப்படுத்த முடியுமா?- மனித மேற்பார்வை: அதிக தாக்கத்தை ஏற்படுத்தும் முடிவு ஒப்புதலுக்கு உட்பட்டதா?- பொறுப்புக்கூறல்: பிழை ஏற்பட்டால் யார் பொறுப்பு?- வெளிப்படைத்தன்மை: AI பயன்படுத்தப்படுகிறது என்பது பயனருக்குத் தெரியுமா?- ஒழுங்குமுறை: சட்டப்பூர்வக் கடமைகள் என்ன?
சார்பு மூல அட்டவணை
ஆதாரம்
அறிகுறி
முன்னெச்சரிக்கை
வரலாற்று சார்பு
கடந்தகால பாகுபாடு தொடர்கிறது
தரவு தணிக்கை + நியாயமான அளவீடு
பிரதிநிதித்துவ சார்பு
சிறிய மாதிரி குழுவில் குறைந்த துல்லியம்
துணைக்குழு பகுப்பாய்வு + சமநிலை
அளவீட்டு சார்பு
சார்பு முத்திரைகள்
லேபிள் செயல்முறை மதிப்பாய்வு
திரட்டல் சார்பு
பிரபஞ்சம் குறிப்பிடப்படவில்லை
வள பல்வகைப்படுத்தல்
பொதுவான தவறுகள்
- ஒட்டுமொத்த மெட்ரிக்கை நம்பியிருக்கிறது. துணைக்குழு பகுப்பாய்வு இல்லாமல் மறைக்கப்பட்ட பாகுபாடு பார்க்க முடியாது.
- "மாதிரி நடுநிலை" என்று வைத்துக்கொள்வோம். மாதிரியானது தரவில் உள்ள சார்புகளைக் கற்றுக்கொள்கிறது மற்றும் பெருக்குகிறது.
- அதிக தாக்கத்தை ஏற்படுத்தும் முடிவை விவரிக்க முடியாத மாதிரிக்கு விட்டுவிடுங்கள். சட்ட மற்றும் நெறிமுறை ஆபத்து.
- மனித மேற்பார்வையை மீறுதல். "மாடல் முடிவு செய்யப்பட்டது" என்பது மன்னிக்க முடியாது.
- எல்லா இடங்களிலும் மிகப்பெரிய மாதிரியை வைப்பது. தேவையற்ற செலவு மற்றும் ஆற்றல்.
- செலவைக் கண்காணிக்கவில்லை. மசோதா அமைதியாக வீங்குகிறது.
சுருக்கமாக
தொழில்நுட்ப ரீதியாக சரியான மாதிரியானது நியாயமானதாகவும், விளக்கக்கூடியதாகவும், நிலையானதாகவும் இல்லாவிட்டால் தோல்வியே. சார்பு பெரும்பாலும் தரவுகளிலிருந்து வருகிறது மற்றும் மாதிரி அதை அளவில் பெரிதாக்குகிறது; துணைக்குழுக்கள் மூலம் நேர்மையை அளவிடவும் மற்றும் நியாயத்தின் வரையறைக்கு முன்னுரிமை அளிக்கும் பங்குதாரர்களுடன் உடன்படவும். அதிக தாக்கத்தை ஏற்படுத்தும் முடிவுகளில் விளக்கமளிக்கும் தன்மை, மனித மேற்பார்வை மற்றும் பொறுப்புக்கூறல் ஆகியவை அவசியம்; மாதிரி அட்டையுடன் ஆவண வெளிப்படைத்தன்மை. செலவு மற்றும் ஆற்றலை நிர்வகித்தல்: போதுமான சிறிய மாதிரியைத் தேர்வுசெய்து, ப்ராம்ட்டைச் சுருக்கவும், கேச் மற்றும் தொகுதியைப் பயன்படுத்தவும். இந்த பரிமாணங்கள் பொறியியல் தரத்தின் ஒருங்கிணைந்த பகுதிகளாகும், பின்னர் சேர்க்கப்படவில்லை.
விண்ணப்ப பணி
ஒரு மாதிரியை குறைந்தபட்சம் இரண்டு துணைக்குழுக்களாகப் பிரித்து, குழு அடிப்படையில் திரும்ப அழைக்கும் மற்றும் தவறான நேர்மறை விகிதத்தை ஒப்பிடவும்; குறிப்பிடத்தக்க வேறுபாடு இருந்தால், அதற்கான காரணத்தையும் முன்னெச்சரிக்கையையும் எழுதுங்கள். உயர் தாக்க மாடலுக்கான சுருக்கமான மாடல் கார்டை உருவாக்கவும் (நோக்கம், தரவு, துணைக்குழு செயல்திறன், எல்லைகள், விளக்கமளிக்கும் தன்மை). LLM ஐ செயல்படுத்துவதற்கான செலவைக் குறைக்க குறைந்தபட்சம் இரண்டு உறுதியான மேம்படுத்தல்களை (குறைந்தபட்ச / உடனடி துண்டித்தல் / தற்காலிக சேமிப்பு / தொகுதி) அடையாளம் காணவும் மற்றும் அவற்றின் மதிப்பிடப்பட்ட தாக்கத்தை எழுதவும்.
சரிபார்ப்பு பட்டியல்
- [ ] துணைக்குழுக்களின் அடிப்படையில் மாதிரியை மதிப்பீடு செய்தேன், நான் பொது அளவீட்டை நம்பவில்லை.
- [ ] நான் நீதியின் எந்த வரையறைக்கு முன்னுரிமை அளிக்க வேண்டும் என்பதை பங்குதாரர்களுடன் முடிவு செய்தேன்.
- உயர் தாக்க முடிவு விளக்கக்கூடியது மற்றும் மனித ஒப்புதலுக்கு உட்பட்டது.
- [ ] பேட்டர்ன் கார்டுடன் வெளிப்படைத்தன்மை மற்றும் எல்லைகளை ஆவணப்படுத்தினேன்.
- [ ] நான் மிகச் சிறிய போதுமான மாதிரியைத் தேர்ந்தெடுத்தேன்; நான் prompt/cache/batch ஐ மேம்படுத்தினேன்.
- [ ] நான் செலவு மற்றும் ஆற்றல் தாக்கத்தை கண்காணிக்கிறேன்.