தொடர்ச்சியான கண்காணிப்பு, அவதானிப்பு மற்றும் சறுக்கல்

ஆதாயங்கள்:

• பயன்பாடு, பாதுகாப்பு, தரம் மற்றும் செயல்திறன் சமிக்ஞைகளை கண்காணிக்கும் அளவீடுகளை வரையறுக்கும் திறன்
• அடிப்படை மற்றும் மாதிரி மூலம் வெளியீட்டு தர சறுக்கலை கண்டறியும் திறன்
• முரண்பாடுகள் மற்றும் ஜெயில்பிரேக் அலைகளுக்கு அலாரம் மற்றும் பின்னூட்ட வளையத்தை அமைக்கும் திறன்

AI அமைப்பை உற்பத்தியில் வைப்பது ஆரம்பம், முடிவு அல்ல. மாதிரி அப்படியே இருந்தாலும், உலகம் மாறுகிறது: பயனர் நடத்தை, உள்வரும் தரவு, தாக்குதல் நுட்பங்கள் மற்றும் வணிகச் சூழல் ஆகியவை தொடர்ந்து மாறிக்கொண்டே இருக்கின்றன. நேற்றைய சரியான பதில் இன்று தவறாக இருக்கலாம். எனவே பாதுகாப்பின் இறுதித் தூண் தொடர்ச்சியான கண்காணிப்பு மற்றும் அவதானிப்பு - கணினிக்குள் என்ன நடக்கிறது என்பதை வெளியில் இருந்து பார்க்கும் திறன். இந்த யூனிட்டில், என்ன அளவீடுகளைக் கண்காணிக்க வேண்டும், வெளியீட்டுத் தரச் சறுக்கலைப் படம்பிடிப்பது மற்றும் முரண்பாடுகளுக்கு எப்படி எச்சரிப்பது போன்றவற்றைக் கற்றுக்கொள்வோம்.

ஏன் தொடர் கண்காணிப்பு?

கிளாசிக்கல் மென்பொருளில், "இது வேலை செய்கிறதா" என்பது ஒரு பைனரி கேள்வி: அது பதிலளிக்கிறது அல்லது இல்லை. AI இல், கணினி "செயல்படுகிறது" என்று தோன்றும்போது, ​​​​அது அமைதியாக மோசமடையக்கூடும்: பதில்கள் மெதுவாக துல்லியமாக மாறும், செலவுகள் அதிகரிக்கும், ஜெயில்பிரேக் முயற்சிகள் அதிகரிக்கும். சரியான சமிக்ஞைகளை தொடர்ந்து அளவிடுவதே இவற்றைப் பிடிக்க ஒரே வழி.

கவனம்: மிகவும் ஆபத்தான செயலிழப்பு அமைதியானது, சத்தம் அல்ல. கணினி பிழைகளை வீசுவதில்லை, அதன் தரம் குறைகிறது. நீங்கள் கண்காணிப்பை அமைக்கவில்லை எனில், முதலில் கவனிக்கப்படுபவர் உங்கள் வாடிக்கையாளர் அல்லது தணிக்கையாளர், நீங்கள் அல்ல.

பார்க்க வேண்டிய நான்கு சிக்னல் குடும்பங்கள்

• பயன்பாடு மற்றும் செலவு: கோரிக்கை அளவு, டோக்கன் நுகர்வு, ஒரு பயனருக்கான செலவு. திடீர் குதித்தல்; இது துஷ்பிரயோகத்தின் அறிகுறியாக இருக்கலாம், லூப்பி ஒருங்கிணைப்பு அல்லது கசிவு சுவிட்ச்.
• பாதுகாப்பு சமிக்ஞைகள்: ஜெயில்பிரேக்/இன்ஜெக்ஷன் முயற்சிகள், வாகன அழைப்புகள் நிராகரிக்கப்பட்டன, அங்கீகாரப் பிழைகள். அதிகரிப்பு செயலில் தாக்குதல் பிரச்சாரத்தைக் குறிக்கலாம்.
• தரம் மற்றும் சறுக்கல்: காலப்போக்கில் வெளியீட்டுத் தரத்தில் குறைவு (சறுக்கல்). எடுத்துக்காட்டாக, சரிபார்ப்பு தேர்ச்சி விகிதம், மனித அங்கீகாரத்தில் திருத்தம் விகிதம், பயனர் திருப்தி.
• செயல்திறன்: தாமதம், பிழை விகிதம், நேரம் முடிந்தது. இது நேரடியாக பயனர் அனுபவத்தையும் செலவையும் பாதிக்கிறது.

ட்ரிஃப்ட் என்றால் என்ன, அதை எப்படிப் பிடிப்பது?

டிரிஃப்ட் என்பது மாதிரியின் உள்ளீடுகள் அல்லது வெளியீட்டின் தரம் காலப்போக்கில் கவனிக்கப்படாமல் மாறுகிறது. இரண்டு வகைகள் உள்ளன: தரவு சறுக்கல் (உள்வரும் கோரிக்கைகளின் விநியோகம் மாற்றங்கள் - புதிய தலைப்பு, புதிய மொழி) மற்றும் தர சறுக்கல் (அதே வேலைக்கான வெளியீடு படிப்படியாக மோசமாகிறது). கைப்பற்ற ஒரு அடிப்படை தேவை: கணினி ஆரோக்கியமாக இருக்கும் போது அளவீடுகளின் சாதாரண வரம்பை பதிவு செய்யவும்; விலகல் அலாரமாக மாறட்டும்.

படிப்படியாக: கண்காணிப்பை அமைத்தல்

1. அடிப்படையை அளவிடவும். கணினி ஆரோக்கியமாக இருக்கும்போது ஒவ்வொரு சமிக்ஞையின் இயல்பான வரம்பையும் பதிவு செய்யவும்.
2. வாசல் மற்றும் அலாரத்தை வரையறுக்கவும். எந்த விலகல் யாரை எப்படி எச்சரிக்கும்?
3. மாதிரி + மனித ஆய்வு. வெளியீடுகளின் மாதிரியை ஒரு மனிதரிடம் தவறாமல் மதிப்பாய்வு செய்யவும் (தர சறுக்கல் பெரும்பாலும் மட்டுமே தெரியும்).
4. டாஷ்போர்டை நிறுவவும். ஒரு திரையில் நான்கு சிக்னல் குடும்பங்களைக் கண்காணிக்கவும்.
5. கருத்து வளையம். கண்காணிப்பு முதல் உடனடி/கட்டுப்பாட்டு மேம்பாடு வரை கண்டுபிடிப்புகளை இணைக்கவும்.

நான்கு நகலெடுக்கக்கூடிய டெம்ப்ளேட்கள்

தர மாதிரி மதிப்பீடு ப்ராம்ட் (எல்எல்எம்-ஆக-நீதிபதியுடன் டிரிஃப்ட் டிராக்கிங்):

இந்த வாரத்திலிருந்து 20 ரேண்டம் பிரிண்டபிள்கள் கீழே உள்ளன. ஒவ்வொன்றையும் "நல்லது / ஏற்கத்தக்கது / கெட்டது" என மதிப்பிடவும் மற்றும் ஒரு சிறிய நியாயத்தை எழுதவும். இறுதியாக நான் மோசமான விகிதத்தை கடந்த வார விகிதத்துடன் ஒப்பிடுவேன்; இந்த வாரம் தனித்து நிற்கும் மாதிரி (அதே வகை தவறு மீண்டும் நிகழும்) இருந்தால், அதைக் குறிக்கவும்.<outputs>{{ உதாரணங்கள் }}</outputs>

ஒழுங்கின்மை சுருக்கம் அறிவுறுத்தல்:

பின்வரும் தினசரி அளவீடுகளை ஆராயவும்: கோரிக்கைகளின் எண்ணிக்கை, டோக்கன்கள், செலவு, கருவி அழைப்பு நிராகரிக்கப்பட்டது, ஜெயில்பிரேக் முயற்சிகள், சராசரி தாமதம். அடிப்படையிலிருந்து 30%க்கு மேல் விலகும் எந்த அளவீட்டையும் "ANOMALIT" எனக் குறிக்கவும் மற்றும் சாத்தியமான காரணத்தை மதிப்பிடவும் (தாக்குதல், பிழை, துஷ்பிரயோகம்).<metrics>{{ daily_data }}</metrics>

அலாரம் வரம்பு வரையறை விதி:

ஒவ்வொரு சிக்னலுக்கும் அலாரங்களை வரையறுக்கவும்:- செலவு: தினசரி சராசரியை 2xக்கு மேல் இருந்தால் -> அதிக முன்னுரிமை எச்சரிக்கை- ஜெயில்பிரேக் முயற்சிகள்: ஒரு மணி நேரத்திற்கு 10 ஐத் தாண்டினால் -> பாதுகாப்புக் குழுவைத் தெரிவிக்கவும்- சரிபார்ப்பு தேர்ச்சி விகிதம்: 90%-க்குக் கீழே இருந்தால் -> தர மதிப்பாய்வு- தாமதம்: p95 இலக்கை விட 2x -> செயல்திறன் மதிப்பாய்வு

சறுக்கல் ஆராய்ச்சி தூண்டுதல்:

கடந்த 2 வாரங்களில் சரிபார்ப்பு தேர்ச்சி விகிதம் 94%லிருந்து 78% ஆகக் குறைந்துள்ளது. இந்தக் கேள்விகளுக்குப் பதிலளிக்க எனக்கு உதவுங்கள்: (1) உள்வரும் கோரிக்கைகளில் புதிய தலைப்பு/மொழி/வடிவம் தோன்றியுள்ளதா? (2) பிழைகள் ஒரு குறிப்பிட்ட பிரிவில் குவிந்துள்ளதா? (3) நேரமானது ஒரு ப்ராம்ட்/மாடல்/டூல் மாற்றத்துடன் ஒத்துப்போகிறதா? ஒவ்வொன்றிற்கும் சரிபார்க்க வேண்டிய தரவைக் குறிப்பிடவும்.

பலவீனமான ப்ராம்ட் / ஸ்ட்ராங் ப்ராம்ட்

மோசமான அணுகுமுறை

வலுவான அணுகுமுறை

"பிழை இருந்தால் பார்ப்போம்"

அடிப்படை + வாசல் + செயலில் உள்ள அலாரம்

சிஸ்டம் நிற்கிறதா என்று பார்க்கிறேன்.

நான்கு குடும்ப சமிக்ஞைகளைக் கண்காணித்தல் (பயன்பாடு, பாதுகாப்பு, தரம், செயல்திறன்)

வெளியீட்டுத் தரத்தை மாதிரியாக எடுக்கவில்லை

வழக்கமான மனித மாதிரி + LLM-ஆக நீதிபதி

அளவீடுகளை சேகரித்து பார்க்கவில்லை

டாஷ்போர்டு + பின்னூட்ட வளையம்

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - காஸ்ட் அலாரம் கசிவு விசையைப் பிடித்தது. ஒரு நிறுவனத்தின் தினசரி டோக்கன் விலை ஒரே இரவில் மூன்று மடங்கு. வாசல் அலாரம் பாதுகாப்புக் குழுவை எச்சரித்தது; சோதனை சாவி கசிந்து போட் மூலம் பயன்படுத்தப்பட்டது என்று விசாரணையில் தெரியவந்துள்ளது. 25 நிமிடங்களில் சாவி திரும்பப் பெறப்பட்டது; அலாரம் இல்லாமல் இருந்திருந்தால், மாதக் கடைசியில் பில் கவனிக்கப்பட்டிருக்கும்.

வழக்கு 2 - சைலண்ட் தர சறுக்கல். ஒரு ஆதரவு உதவியாளரின் சரிபார்ப்பு தேர்ச்சி விகிதம் மூன்று வாரங்களில் அமைதியாக 95% இலிருந்து 80% ஆகக் குறைந்தது. வாராந்திர மாதிரி இதை கைப்பற்றியது; காரணம், வாடிக்கையாளர்கள் புதிய தயாரிப்பு வரிசையைப் பற்றி கேட்கத் தொடங்கினர், மேலும் மாடலின் அறிவுத் தளம் முழுமையடையாமல் இருந்தது. அறிவுத் தளம் புதுப்பிக்கப்பட்டபோது வீதம் மீட்டெடுக்கப்பட்டது.

வழக்கு 3 - ஜெயில்பிரேக் அலை ஆரம்பமானது. ஒரு உதவியாளருக்கு செய்யப்பட்ட ஊசி முயற்சிகள் ஒரே நாளில் ஒரு மணி நேரத்திற்கு 2 முதல் 40 ஆக அதிகரித்தது. பாதுகாப்பு அலாரம் தூண்டப்பட்டது; கணினியை சிதைப்பதற்கான "செய்முறை" ஒரு மன்றத்தில் பகிரப்பட்டது. குழுவானது பாதுகாப்பு ப்ராம்ட் மற்றும் விகிதம் வரையறுக்கப்பட்ட சந்தேகத்திற்கிடமான கணக்குகளை புதுப்பித்தது; உண்மையான கசிவாக மாறுவதற்கு முன்பு அலை இறந்தது.

உதவிக்குறிப்பு: இயந்திர அளவீடுகளுக்கு மட்டும் தீர்வு காண வேண்டாம். மாதிரி வெளியீடுகளை ஒரு மனிதனைப் படிக்க வைப்பதன் மூலம் தர சறுக்கல் பெரும்பாலும் பிடிக்கப்படுகிறது. வாரத்திற்கு 15-20 ரேண்டம் பிரிண்ட்அவுட்களை மதிப்பாய்வு செய்யும் ஒரு சிறிய வழக்கமான, மிகவும் விலையுயர்ந்த அமைதியான தோல்விகளை முன்கூட்டியே பிடிக்கும்.

பொதுவான தவறுகள்

• அதை உற்பத்தியில் வைக்காமல் கண்காணிப்பை அமைக்கவும் ("இது வேலை செய்கிறது, சரி").
• அடிப்படையை அளவிடாமல் ஒழுங்கின்மையை அடையாளம் காண முடியாது.
• "எழுந்து நிற்கிறதா" என்று மட்டும் பார்த்துத் தரச் சறுக்கலைக் காணவில்லை.
• மனிதக் கண்கள் மூலம் வெளியீட்டுத் தரத்தை மாதிரி எடுக்கவில்லை.
• அலாரத்தை எழுப்பாமல், வாடிக்கையாளர்/மேற்பார்வையாளரிடமிருந்து சிக்கலைக் கண்டறிதல்.
• கண்காணிப்பு கண்டுபிடிப்புகளை முன்னேற்றத்துடன் இணைக்கவில்லை (கருத்து வளையம் இல்லை).

சுருக்கமாக

• AI அமைப்புகள் அமைதியாக மோசமடையலாம்; மிகவும் ஆபத்தான செயலிழப்பு என்பது பிழைகளைத் தூக்கி எறியாதது, ஆனால் தரத்தை மட்டுமே குறைக்கிறது.
• நான்கு குடும்ப சமிக்ஞைகளைக் கண்காணிக்கவும்: பயன்பாடு/செலவு, பாதுகாப்பு, தரம்/சறுக்கல் மற்றும் செயல்திறன்.
• சறுக்கல் (காலப்போக்கில் உள்ளீடு அல்லது வெளியீட்டின் தரத்தின் சறுக்கல்) ஒரு அடிப்படையுடன் ஒப்பிடும்போது மட்டுமே பிடிக்கப்படுகிறது.
• இயந்திர அளவீடுகளுக்கு கூடுதலாக வழக்கமான மனித மாதிரிகள் தரமான சறுக்கலைப் பிடிக்கிறது.
• அலாரம் மற்றும் பின்னூட்ட வளையத்துடன் கண்காணிப்பை இணைக்கவும்; அளந்து பார்க்காமல் இருப்பது கண்காணிப்பல்ல.

விண்ணப்ப பணி

உங்கள் சொந்த AI அமைப்பிற்காக நான்கு சிக்னல் குடும்பங்களில் இருந்து குறைந்தபட்சம் ஒரு மெட்ரிக்கை தேர்வு செய்து, அவற்றின் தற்போதைய (அல்லது மதிப்பிடப்பட்ட) அடிப்படைகளை எழுதவும். ஒவ்வொரு அளவீட்டிற்கும் ஒரு அலாரம் வரம்பை வரையறுக்கவும். உங்கள் கடைசி செமஸ்டர் வெளியீடுகளில் 15ஐ எடுத்து, மேலே உள்ள மாதிரி வரியில் அவற்றை ஸ்கோர் செய்யுங்கள்; "மோசமான" விகிதத்தைக் கவனியுங்கள். எதிர்காலத்தில் சறுக்கலை ஒப்பிடுவதற்கான உங்கள் முதல் அடிப்படை இதுவாக இருக்கட்டும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் நான்கு சமிக்ஞை குடும்பங்களில் இருந்து அளவீடுகளை வரையறுத்தேன் (பயன்பாடு, பாதுகாப்பு, தரம், செயல்திறன்).
• [ ] ஒவ்வொரு அளவீட்டிற்கும் ஒரு அடிப்படை மற்றும் அலாரம் வரம்பை அமைத்துள்ளேன்.
• [ ] நான் மனிதக் கண்கள் மூலம் வெளியீட்டுத் தரத்தை தொடர்ந்து மாதிரியாகப் பார்க்கிறேன்.
• [ ] நான் சிக்னல்களை ஒரு டிஸ்ப்ளே பேனலுடன் ஒற்றைத் திரையில் கண்காணிக்கிறேன்.
• [ ] முரண்பாடுகள் மற்றும் ஜெயில்பிரேக் அலைகளுக்கு அலாரம் பாதுகாப்பு குழுவிற்கு செல்கிறது.
• [ ] உடனடி/கட்டுப்பாட்டு மேம்பாட்டிற்கு கண்காணிப்பு கண்டுபிடிப்புகளை நான் காரணம் கூறுகிறேன்.