સતત દેખરેખ, અવલોકનક્ષમતા અને ડ્રિફ્ટ

નફો:

• મેટ્રિક્સને વ્યાખ્યાયિત કરવાની ક્ષમતા કે જે ઉપયોગ, સુરક્ષા, ગુણવત્તા અને પ્રદર્શન સંકેતોનું નિરીક્ષણ કરે છે
• બેઝલાઇન અને સેમ્પલિંગ સાથે આઉટપુટ ક્વોલિટી ડ્રિફ્ટ શોધવાની ક્ષમતા
• વિસંગતતાઓ અને જેલબ્રેક તરંગો માટે એલાર્મ અને પ્રતિસાદ લૂપ સેટ કરવાની ક્ષમતા

ઉત્પાદનમાં AI સિસ્ટમ મૂકવી એ શરૂઆત છે, અંત નથી. જો મોડલ એકસરખું રહે તો પણ, વિશ્વ બદલાય છે: વપરાશકર્તાની વર્તણૂક, ઇનકમિંગ ડેટા, હુમલાની તકનીકો અને વ્યવસાય સંદર્ભો સતત બદલાતા રહે છે. ગઈકાલનો સાચો જવાબ આજે ખોટો હોઈ શકે છે. તેથી સુરક્ષાનો અંતિમ સ્તંભ સતત દેખરેખ અને અવલોકનક્ષમતા છે - સિસ્ટમની અંદર શું ચાલી રહ્યું છે તે બહારથી જોવાની ક્ષમતા. આ એકમમાં, આપણે શીખીશું કે કયા મેટ્રિક્સનું નિરીક્ષણ કરવું, આઉટપુટ ગુણવત્તાના પ્રવાહને કેવી રીતે કેપ્ચર કરવું અને વિસંગતતાઓ માટે કેવી રીતે ચેતવણી આપવી.

સતત દેખરેખ શા માટે?

ક્લાસિકલ સોફ્ટવેરમાં, "શું તે કામ કરે છે" એ દ્વિસંગી પ્રશ્ન છે: કાં તો તે જવાબ આપે છે અથવા તે નથી આપતો. AI માં, જ્યારે સિસ્ટમ "કામ કરતી" દેખાય છે, ત્યારે તે શાંતિથી બગડી શકે છે: જવાબો ધીમે ધીમે અચોક્કસ બને છે, ખર્ચ વધે છે, જેલબ્રેકના પ્રયાસો વધે છે. આને કેપ્ચર કરવાનો એકમાત્ર રસ્તો એ છે કે સતત યોગ્ય સિગ્નલોને માપવા.

ધ્યાન આપો: સૌથી ખતરનાક ખામી એ શાંત છે, ઘોંઘાટીયા નથી. સિસ્ટમ ભૂલો ફેંકતી નથી, તેની ગુણવત્તા ફક્ત ઘટે છે. જો તમે મોનિટરિંગ સેટઅપ નહીં કરો, તો નોટિસ કરનાર પ્રથમ વ્યક્તિ તમારા ગ્રાહક અથવા ઑડિટર હશે, તમે નહીં.

જોવા માટે ચાર સિગ્નલ પરિવારો

• વપરાશ અને કિંમત: વિનંતી વોલ્યુમ, ટોકન વપરાશ, વપરાશકર્તા દીઠ કિંમત. અચાનક જમ્પ; તે દુરુપયોગની નિશાની, લૂપી એકીકરણ અથવા લીકી સ્વીચ હોઈ શકે છે.
• સુરક્ષા સંકેતો: જેલબ્રેક/ઇન્જેક્શનના પ્રયાસો, વાહન કૉલ્સ નકારવામાં આવ્યા, અધિકૃતતા ભૂલો. વધારો સક્રિય હુમલો અભિયાન સૂચવી શકે છે.
• ગુણવત્તા અને પ્રવાહ: સમય જતાં આઉટપુટ ગુણવત્તામાં ઘટાડો (ડ્રિફ્ટ). ઉદાહરણ તરીકે, ચકાસણી પાસ દર, માનવ મંજૂરીમાં કરેક્શન રેટ, વપરાશકર્તા સંતોષ.
• પ્રદર્શન: વિલંબ, ભૂલ દર, સમયસમાપ્તિ. તે વપરાશકર્તાના અનુભવ અને ખર્ચને સીધી અસર કરે છે.

ડ્રિફ્ટ શું છે અને તેને કેવી રીતે પકડવું?

ડ્રિફ્ટ એ છે જ્યારે મોડલના ઇનપુટ્સ અથવા આઉટપુટની ગુણવત્તા સમય જતાં કોઈનું ધ્યાન ન જાય. ત્યાં બે પ્રકાર છે: ડેટા ડ્રિફ્ટ (આવનારી વિનંતીઓનું વિતરણ બદલાય છે — નવો વિષય, નવી ભાષા) અને ગુણવત્તા ડ્રિફ્ટ (સમાન કામ માટેનું આઉટપુટ ધીમે ધીમે ખરાબ થાય છે). કેપ્ચર કરવા માટે એક આધારરેખા જરૂરી છે: જ્યારે સિસ્ટમ સ્વસ્થ હોય ત્યારે મેટ્રિક્સની સામાન્ય શ્રેણીને રેકોર્ડ કરો; વિચલનને એલાર્મ બનવા દો.

સ્ટેપ બાય સ્ટેપ: મોનીટરીંગ સુયોજિત કરી રહ્યા છે

1. આધારરેખા માપો. જ્યારે સિસ્ટમ સ્વસ્થ હોય ત્યારે દરેક સિગ્નલની સામાન્ય શ્રેણીને રેકોર્ડ કરો.
2. થ્રેશોલ્ડ અને એલાર્મ વ્યાખ્યાયિત કરો. કયું વિચલન કોને અને કેવી રીતે ચેતવણી આપશે?
3. સેમ્પલિંગ + માનવ નિરીક્ષણ. નિયમિતપણે આઉટપુટના નમૂનાની માનવીય સમીક્ષા કરો (ગુણવત્તા ડ્રિફ્ટ ઘણીવાર ફક્ત દૃશ્યમાન હોય છે).
4. ડેશબોર્ડ ઇન્સ્ટોલ કરો. એક સ્ક્રીન પર ચાર સિગ્નલ પરિવારોને મોનિટર કરો.
5. પ્રતિસાદ લૂપ. તારણોને મોનિટરિંગથી પ્રોમ્પ્ટ/નિયંત્રણ સુધારણા સુધી જોડો.

ચાર નકલ કરી શકાય તેવા નમૂનાઓ

ગુણવત્તા સેમ્પલિંગ મૂલ્યાંકન પ્રોમ્પ્ટ (એલએલએમ-જજ-જજ સાથે ડ્રિફ્ટ ટ્રેકિંગ):

નીચે આ અઠવાડિયાના 20 રેન્ડમ પ્રિન્ટેબલ છે. દરેકને "સારા/સ્વીકાર્ય/ખરાબ" તરીકે રેટ કરો અને ટૂંકું સમર્થન લખો. છેલ્લે હું છેલ્લા સપ્તાહના દર સાથે ખરાબ દરની તુલના કરીશ; જો આ અઠવાડિયે કોઈ પેટર્ન (સમાન પ્રકારની ભૂલનું પુનરાવર્તન) હોય, તો તેને ચિહ્નિત કરો.<outputs>{{ ઉદાહરણો }}</outputs>

વિસંગતતા સારાંશ પ્રોમ્પ્ટ:

નીચેના દૈનિક મેટ્રિક્સનું પરીક્ષણ કરો: વિનંતીઓની સંખ્યા, ટોકન્સ, કિંમત, ટૂલ કૉલ નકારવામાં આવ્યો, જેલબ્રેકના પ્રયાસો, સરેરાશ લેટન્સી. કોઈપણ મેટ્રિક કે જે આધારરેખામાંથી 30% થી વધુ વિચલિત થાય છે તેને "ANOMALIT" તરીકે ચિહ્નિત કરો અને સંભવિત કારણ (હુમલો, બગ, દુરુપયોગ) નો અંદાજ કાઢો.<metrics>{{ daily_data }}</metrics>

એલાર્મ થ્રેશોલ્ડ વ્યાખ્યા નિયમ:

દરેક સિગ્નલ માટે એલાર્મ વ્યાખ્યાયિત કરો:- કિંમત: જો દૈનિક સરેરાશ 2x કરતાં વધી જાય -> ઉચ્ચ પ્રાથમિકતા ચેતવણી- જેલબ્રેક પ્રયાસો: જો 10 પ્રતિ કલાકથી વધુ હોય -> સુરક્ષા ટીમને સૂચિત કરો- ચકાસણી પાસ દર: જો 90% થી નીચે આવે તો -> ગુણવત્તા સમીક્ષા- લેટન્સી: જો p95 2x દ્વારા લક્ષ્ય કરતાં વધી જાય -> પ્રદર્શન

ડ્રિફ્ટ રિસર્ચ પ્રોમ્પ્ટ:

છેલ્લા 2 અઠવાડિયામાં વેરિફિકેશન પાસ રેટ 94% થી ઘટીને 78% થયો છે. આ પ્રશ્નોના જવાબ આપવામાં મને મદદ કરો: (1) શું આવનારી વિનંતીઓમાં નવો વિષય/ભાષા/ફોર્મેટ દેખાયો છે? (2) શું ભૂલો કોઈ ચોક્કસ શ્રેણીમાં કેન્દ્રિત છે? (3) શું સમય પ્રોમ્પ્ટ/મોડેલ/ટૂલ ફેરફાર સાથે સુસંગત છે? દરેક માટે તપાસવાના ડેટાને નામ આપો.

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળી અભિગમ

મજબૂત અભિગમ

"જો કોઈ ભૂલ હશે, તો અમે જોઈશું"

બેઝલાઇન + થ્રેશોલ્ડ + પ્રોએક્ટિવ એલાર્મ

તંત્ર ઉભું છે કે કેમ તે જોવા માટે જ.

સિગ્નલોના ચાર પરિવારોનું નિરીક્ષણ કરવું (ઉપયોગ, સુરક્ષા, ગુણવત્તા, પ્રદર્શન)

આઉટપુટ ગુણવત્તાને બિલકુલ નમૂનો નથી

નિયમિત માનવ નમૂના + LLM-જજ તરીકે

મેટ્રિક્સ એકત્ર કરવા અને જોતા નથી

ડેશબોર્ડ + પ્રતિસાદ લૂપ

ત્રણ મિની કેસ

કેસ 1 - કોસ્ટ એલાર્મે લીક થતી કી પકડી લીધી. એક કંપનીનો દૈનિક ટોકન ખર્ચ રાતોરાત ત્રણ ગણો વધી ગયો. થ્રેશોલ્ડ એલાર્મે સુરક્ષા ટીમને ચેતવણી આપી; તપાસ દર્શાવે છે કે ટેસ્ટ કી લીક થઈ ગઈ હતી અને બોટ દ્વારા તેનો ઉપયોગ કરવામાં આવ્યો હતો. કી 25 મિનિટમાં રદ કરવામાં આવી હતી; જો કોઈ એલાર્મ ન હોત, તો મહિનાના અંતે બિલની નોંધ લેવામાં આવી હોત.

કેસ 2 - સાયલન્ટ ક્વોલિટી ડ્રિફ્ટ. સહાયક સહાયકનો વેરિફિકેશન પાસ રેટ શાંતિથી ત્રણ અઠવાડિયામાં 95% થી ઘટીને 80% થઈ ગયો. સાપ્તાહિક નમૂના આ કબજે; કારણ એ હતું કે ગ્રાહકોએ નવી પ્રોડક્ટ લાઇન વિશે પૂછવાનું શરૂ કર્યું હતું અને તેના પર મોડેલનો જ્ઞાન આધાર અધૂરો હતો. જ્યારે નોલેજ બેઝ અપડેટ કરવામાં આવ્યો ત્યારે દર પુનઃપ્રાપ્ત થયો.

કેસ 3 - જેલબ્રેક વેવ વહેલો હતો. આસિસ્ટન્ટ પર ઇન્જેક્શનના પ્રયાસો એક દિવસમાં 2 થી વધીને 40 પ્રતિ કલાક થયા. સુરક્ષા એલાર્મ ટ્રિગર થયું; એવું જોવામાં આવ્યું હતું કે સિસ્ટમને ક્રેક કરવાની "રેસીપી" એક ફોરમમાં શેર કરવામાં આવી હતી. ટીમે સંરક્ષણ પ્રોમ્પ્ટ અને દર-મર્યાદિત શંકાસ્પદ એકાઉન્ટ્સને અપડેટ કર્યા; તરંગ વાસ્તવિક લીકમાં ફેરવાય તે પહેલાં જ મરી ગયું.

ટિપ: માત્ર મશીન મેટ્રિક્સ માટે સમાધાન કરશો નહીં. ક્વોલિટી ડ્રિફ્ટ ઘણીવાર માત્ર સેમ્પલ આઉટપુટ વાંચવા માટે માનવ દ્વારા પકડવામાં આવે છે. દર અઠવાડિયે 15-20 રેન્ડમ પ્રિન્ટઆઉટ્સની સમીક્ષા કરવાની એક નાની દિનચર્યા સૌથી મોંઘી સાયલન્ટ નિષ્ફળતાઓને વહેલા પકડી લેશે.

સામાન્ય ભૂલો

• તેને ઉત્પાદનમાં ન મૂકવું અને મોનિટરિંગ સેટ કરવું ("તે કામ કરી રહ્યું છે, ઠીક છે").
• આધારરેખાને માપ્યા વિના વિસંગતતાને ઓળખવામાં સક્ષમ નથી.
• માત્ર "શું તે ઊભું રહે છે" જોઈને ગુણવત્તા ડ્રિફ્ટ ચૂકી જાય છે.
• માનવ આંખો દ્વારા આઉટપુટ ગુણવત્તાને બિલકુલ નમૂનો આપવો.
• એલાર્મ વધારવું નહીં અને ગ્રાહક/સુપરવાઈઝર પાસેથી સમસ્યા શોધવી નહીં.
• મોનિટરિંગ તારણોને સુધારણા સાથે જોડતા નથી (કોઈ પ્રતિસાદ લૂપ નથી).

સારાંશમાં

• એઆઈ સિસ્ટમ્સ શાંતિથી બગડી શકે છે; સૌથી ખતરનાક ખામી તે છે જે ભૂલો ફેંકતી નથી, પરંતુ માત્ર ગુણવત્તા ઘટાડે છે.
• સિગ્નલના ચાર પરિવારોને ટ્રૅક કરો: વપરાશ/કિંમત, સલામતી, ગુણવત્તા/ડ્રિફ્ટ અને પ્રદર્શન.
• ડ્રિફ્ટ (સમય સાથે ઇનપુટ અથવા આઉટપુટ ગુણવત્તાનું ડ્રિફ્ટ) ફક્ત બેઝલાઇનની તુલનામાં લેવામાં આવે છે.
• મશીન મેટ્રિક્સ ઉપરાંત નિયમિત માનવ નમૂના ગુણવત્તા ડ્રિફ્ટ મેળવે છે.
• મોનિટરિંગને એલાર્મ અને ફીડબેક લૂપ સાથે જોડો; માપવું અને ન જોવું એ દેખરેખ નથી.

એપ્લિકેશન કાર્ય

તમારી પોતાની AI સિસ્ટમ માટે ચાર સિગ્નલ પરિવારોમાંથી દરેકમાંથી ઓછામાં ઓછું એક મેટ્રિક પસંદ કરો અને તેમની વર્તમાન (અથવા અંદાજિત) બેઝલાઈન લખો. દરેક મેટ્રિક માટે એલાર્મ થ્રેશોલ્ડ વ્યાખ્યાયિત કરો. પછી તમારા છેલ્લા સેમેસ્ટરના 15 આઉટપુટ લો અને ઉપરના સેમ્પલિંગ પ્રોમ્પ્ટ સાથે તેમને સ્કોર કરો; "ખરાબ" દરની નોંધ લો. ભવિષ્યમાં ડ્રિફ્ટની સરખામણી કરવા માટે આ તમારી પ્રથમ આધારરેખા બનવા દો.

ચેકલિસ્ટ

• [ ] મેં ચાર સિગ્નલ પરિવારો (ઉપયોગ, સુરક્ષા, ગુણવત્તા, પ્રદર્શન) માંથી મેટ્રિક્સ વ્યાખ્યાયિત કર્યા.
• [ ] મેં દરેક મેટ્રિક માટે બેઝલાઇન અને એલાર્મ થ્રેશોલ્ડ સેટ કર્યું છે.
• [ ] હું નિયમિતપણે માનવ આંખો દ્વારા આઉટપુટ ગુણવત્તાનો નમૂના લઉં છું.
• [ ] હું ડિસ્પ્લે પેનલ સાથે સિંગલ સ્ક્રીન પર સિગ્નલોનું નિરીક્ષણ કરું છું.
• [ ] એલાર્મ અસંગતતાઓ અને જેલબ્રેક તરંગો માટે સુરક્ષા ટીમને જાય છે.
• [ ] હું દેખરેખના તારણોને પ્રોમ્પ્ટ/નિયંત્રણ સુધારણાને આભારી છું.