തുടർച്ചയായ നിരീക്ഷണം, നിരീക്ഷണം, ഡ്രിഫ്റ്റ്

നേട്ടങ്ങൾ:

• ഉപയോഗം, സുരക്ഷ, ഗുണനിലവാരം, പ്രകടന സിഗ്നലുകൾ എന്നിവ നിരീക്ഷിക്കുന്ന അളവുകൾ നിർവചിക്കാനുള്ള കഴിവ്
• ബേസ്‌ലൈനും സാമ്പിളും ഉപയോഗിച്ച് ഔട്ട്‌പുട്ട് ഗുണനിലവാരമുള്ള ഡ്രിഫ്റ്റ് കണ്ടെത്താനുള്ള കഴിവ്
• അപാകതകൾക്കും ജയിൽ ബ്രേക്ക് തരംഗങ്ങൾക്കും അലാറവും ഫീഡ്‌ബാക്ക് ലൂപ്പും സജ്ജമാക്കാനുള്ള കഴിവ്

ഒരു AI സിസ്റ്റം ഉൽപ്പാദനത്തിൽ ഉൾപ്പെടുത്തുന്നത് തുടക്കമാണ്, അവസാനമല്ല. മോഡൽ അതേപടി തുടരുകയാണെങ്കിൽപ്പോലും, ലോകം മാറുന്നു: ഉപയോക്തൃ പെരുമാറ്റം, ഇൻകമിംഗ് ഡാറ്റ, ആക്രമണ രീതികൾ, ബിസിനസ്സ് സന്ദർഭം എന്നിവ നിരന്തരം മാറിക്കൊണ്ടിരിക്കുന്നു. ഇന്നലത്തെ ശരിയുത്തരം ഇന്ന് തെറ്റായിരിക്കാം. അതിനാൽ സുരക്ഷയുടെ അവസാന സ്തംഭം തുടർച്ചയായ നിരീക്ഷണവും നിരീക്ഷണവുമാണ് - സിസ്റ്റത്തിനുള്ളിൽ എന്താണ് സംഭവിക്കുന്നതെന്ന് പുറത്ത് നിന്ന് കാണാനുള്ള കഴിവ്. ഈ യൂണിറ്റിൽ, എന്തൊക്കെ മെട്രിക്‌സ് നിരീക്ഷിക്കണം, ഔട്ട്‌പുട്ട് നിലവാരമുള്ള ഡ്രിഫ്റ്റ് എങ്ങനെ ക്യാപ്‌ചർ ചെയ്യാം, അപാകതകൾക്കായി എങ്ങനെ മുന്നറിയിപ്പ് നൽകണം എന്നിവ ഞങ്ങൾ പഠിക്കും.

എന്തുകൊണ്ടാണ് തുടർച്ചയായ നിരീക്ഷണം?

ക്ലാസിക്കൽ സോഫ്‌റ്റ്‌വെയറിൽ, "ഇത് പ്രവർത്തിക്കുന്നുണ്ടോ" എന്നത് ഒരു ബൈനറി ചോദ്യമാണ്: ഒന്നുകിൽ അത് ഉത്തരം നൽകുന്നു അല്ലെങ്കിൽ ഇല്ല. AI-യിൽ, സിസ്റ്റം "പ്രവർത്തിക്കുന്നു" എന്ന് തോന്നുമ്പോൾ, അത് നിശബ്ദമായി വഷളാകും: ഉത്തരങ്ങൾ സാവധാനം കൃത്യമല്ല, ചെലവ് വർദ്ധിക്കുന്നു, ജയിൽ ബ്രേക്ക് ശ്രമങ്ങൾ വർദ്ധിക്കുന്നു. ശരിയായ സിഗ്നലുകൾ നിരന്തരം അളക്കുക എന്നതാണ് ഇവ പിടിച്ചെടുക്കാനുള്ള ഏക മാർഗം.

ശ്രദ്ധിക്കുക: ഏറ്റവും അപകടകരമായ തകരാറ് നിശബ്ദതയാണ്, ശബ്ദമുണ്ടാക്കുന്ന ഒന്നല്ല. സിസ്റ്റം പിശകുകൾ എറിയുന്നില്ല, അതിൻ്റെ ഗുണനിലവാരം കുറയുന്നു. നിങ്ങൾ നിരീക്ഷണം സജ്ജീകരിച്ചില്ലെങ്കിൽ, ആദ്യം ശ്രദ്ധിക്കുന്നത് നിങ്ങളുടെ ഉപഭോക്താവോ ഓഡിറ്ററോ ആയിരിക്കും, നിങ്ങളല്ല.

കാണാനുള്ള നാല് സിഗ്നൽ കുടുംബങ്ങൾ

• ഉപയോഗവും ചെലവും: അഭ്യർത്ഥന അളവ്, ടോക്കൺ ഉപഭോഗം, ഓരോ ഉപയോക്താവിനും ചെലവ്. പെട്ടെന്നുള്ള ചാട്ടം; ഇത് ദുരുപയോഗത്തിൻ്റെ അടയാളമോ ലൂപ്പി സംയോജനമോ ചോർച്ചയുള്ള സ്വിച്ചോ ആകാം.
• സുരക്ഷാ സിഗ്നലുകൾ: ജയിൽ ബ്രേക്ക്/ഇഞ്ചക്ഷൻ ശ്രമങ്ങൾ, വാഹന കോളുകൾ നിരസിച്ചു, അംഗീകാര പിശകുകൾ. വർദ്ധനവ് ഒരു സജീവ ആക്രമണ പ്രചാരണത്തെ സൂചിപ്പിക്കാം.
• ഗുണനിലവാരവും ഡ്രിഫ്റ്റും: കാലക്രമേണ ഔട്ട്പുട്ട് ഗുണനിലവാരത്തിൽ കുറവ് (ഡ്രിഫ്റ്റ്). ഉദാഹരണത്തിന്, സ്ഥിരീകരണ പാസ് നിരക്ക്, മനുഷ്യ അംഗീകാരത്തിലെ തിരുത്തൽ നിരക്ക്, ഉപയോക്തൃ സംതൃപ്തി.
• പ്രകടനം: ലേറ്റൻസി, പിശക് നിരക്ക്, കാലഹരണപ്പെടൽ. ഇത് ഉപയോക്തൃ അനുഭവത്തെയും വിലയെയും നേരിട്ട് ബാധിക്കുന്നു.

എന്താണ് ഡ്രിഫ്റ്റ്, അത് എങ്ങനെ പിടിക്കാം?

മോഡലിൻ്റെ ഇൻപുട്ടുകളുടെയോ ഔട്ട്‌പുട്ടിൻ്റെയോ ഗുണനിലവാരം കാലക്രമേണ ശ്രദ്ധിക്കപ്പെടാതെ മാറുന്നതാണ് ഡ്രിഫ്റ്റ്. രണ്ട് തരങ്ങളുണ്ട്: ഡാറ്റ ഡ്രിഫ്റ്റ് (ഇൻകമിംഗ് അഭ്യർത്ഥനകളുടെ വിതരണം മാറുന്നു - പുതിയ വിഷയം, പുതിയ ഭാഷ), ഗുണനിലവാര ഡ്രിഫ്റ്റ് (ഒരേ ജോലിക്കുള്ള ഔട്ട്‌പുട്ട് ക്രമേണ മോശമാകും). ക്യാപ്‌ചർ ചെയ്യുന്നതിന് ഒരു ബേസ്‌ലൈൻ ആവശ്യമാണ്: സിസ്റ്റം ആരോഗ്യമുള്ളപ്പോൾ മെട്രിക്കുകളുടെ സാധാരണ ശ്രേണി രേഖപ്പെടുത്തുക; വ്യതിയാനം ഒരു അലാറമായി മാറട്ടെ.

ഘട്ടം ഘട്ടമായി: നിരീക്ഷണം സജ്ജമാക്കുക

1. അടിസ്ഥാനം അളക്കുക. സിസ്റ്റം ആരോഗ്യമുള്ളപ്പോൾ ഓരോ സിഗ്നലിൻ്റെയും സാധാരണ ശ്രേണി രേഖപ്പെടുത്തുക.
2. ത്രെഷോൾഡും അലാറവും നിർവചിക്കുക. ഏത് വ്യതിയാനം ആർക്ക്, എങ്ങനെ മുന്നറിയിപ്പ് നൽകും?
3. സാമ്പിൾ + മനുഷ്യ പരിശോധന. ഔട്ട്‌പുട്ടുകളുടെ ഒരു സാമ്പിൾ പതിവായി ഒരു മനുഷ്യ അവലോകനം നടത്തുക (ഗുണനിലവാരമുള്ള ഡ്രിഫ്റ്റ് പലപ്പോഴും ദൃശ്യമാകും).
4. ഒരു ഡാഷ്ബോർഡ് ഇൻസ്റ്റാൾ ചെയ്യുക. ഒരു സ്ക്രീനിൽ നാല് സിഗ്നൽ കുടുംബങ്ങളെ നിരീക്ഷിക്കുക.
5. ഫീഡ്ബാക്ക് ലൂപ്പ്. നിരീക്ഷണം മുതൽ പ്രോംപ്റ്റ്/നിയന്ത്രണം മെച്ചപ്പെടുത്തൽ വരെ കണ്ടെത്തലുകൾ ബന്ധിപ്പിക്കുക.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

ഗുണമേന്മയുള്ള സാംപ്ലിംഗ് മൂല്യനിർണ്ണയ പ്രോംപ്റ്റ് (LLM-as-judge ഉള്ള ഡ്രിഫ്റ്റ് ട്രാക്കിംഗ്):

ഈ ആഴ്‌ചയിൽ നിന്നുള്ള 20 റാൻഡം പ്രിൻ്റബിളുകൾ ചുവടെയുണ്ട്. ഓരോന്നും "നല്ലത് / സ്വീകാര്യം / മോശം" എന്ന് റേറ്റുചെയ്ത് ഒരു ചെറിയ ന്യായീകരണം എഴുതുക. അവസാനമായി ഞാൻ മോശം നിരക്ക് കഴിഞ്ഞ ആഴ്‌ചയിലെ നിരക്കുമായി താരതമ്യം ചെയ്യും; ഈ ആഴ്‌ച വേറിട്ടുനിൽക്കുന്ന ഒരു പാറ്റേൺ (അതേ തരത്തിലുള്ള തെറ്റിൻ്റെ ആവർത്തനം) ഉണ്ടെങ്കിൽ, അത് അടയാളപ്പെടുത്തുക.<outputs>{{ ഉദാഹരണങ്ങൾ }}</outputs>

അനോമലി സംഗ്രഹ നിർദ്ദേശം:

ഇനിപ്പറയുന്ന ദൈനംദിന മെട്രിക്‌സ് പരിശോധിക്കുക: അഭ്യർത്ഥനകളുടെ എണ്ണം, ടോക്കണുകൾ, ചെലവ്, ടൂൾ കോൾ നിരസിച്ചു, ജയിൽ ബ്രേക്ക് ശ്രമങ്ങൾ, ശരാശരി ലേറ്റൻസി. ബേസ്‌ലൈനിൽ നിന്ന് 30%-ൽ കൂടുതൽ വ്യതിചലിക്കുന്ന ഏതെങ്കിലും മെട്രിക് "ANOMALIT" എന്ന് അടയാളപ്പെടുത്തുകയും സാധ്യമായ കാരണം കണക്കാക്കുകയും ചെയ്യുക (ആക്രമണം, ബഗ്, ദുരുപയോഗം).<metrics>{{ daily_data }}</metrics>

അലാറം ത്രെഷോൾഡ് നിർവചന നിയമം:

ഓരോ സിഗ്നലിനും അലാറങ്ങൾ നിർവചിക്കുക:- ചെലവ്: പ്രതിദിന ശരാശരി 2x കവിയുന്നുവെങ്കിൽ -> ഉയർന്ന മുൻഗണനയുള്ള അലേർട്ട്- Jailbreak ശ്രമങ്ങൾ: മണിക്കൂറിൽ 10 കവിയുന്നുവെങ്കിൽ -> സുരക്ഷാ ടീമിനെ അറിയിക്കുക- പരിശോധന പാസ് നിരക്ക്: 90%-ൽ താഴെയാണെങ്കിൽ -> ഗുണനിലവാര അവലോകനം- ലേറ്റൻസി: p95 ടാർഗെറ്റിനെ 2x കവിയുന്നുവെങ്കിൽ -> പ്രകടന അവലോകനം

ഡ്രിഫ്റ്റ് ഗവേഷണ പ്രോംപ്റ്റ്:

കഴിഞ്ഞ 2 ആഴ്ചയ്ക്കുള്ളിൽ വെരിഫിക്കേഷൻ പാസ് നിരക്ക് 94% ൽ നിന്ന് 78% ആയി കുറഞ്ഞു. ഈ ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ എന്നെ സഹായിക്കൂ: (1) ഇൻകമിംഗ് അഭ്യർത്ഥനകളിൽ ഒരു പുതിയ വിഷയം/ഭാഷ/ഫോർമാറ്റ് പ്രത്യക്ഷപ്പെട്ടിട്ടുണ്ടോ? (2) പിശകുകൾ ഒരു പ്രത്യേക വിഭാഗത്തിൽ കേന്ദ്രീകരിച്ചിട്ടുണ്ടോ? (3) സമയം ഒരു പ്രോംപ്റ്റ് / മോഡൽ / ടൂൾ മാറ്റവുമായി പൊരുത്തപ്പെടുന്നുണ്ടോ? ഓരോന്നിനും പരിശോധിക്കേണ്ട ഡാറ്റയ്ക്ക് പേര് നൽകുക.

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

മോശം സമീപനം

ശക്തമായ സമീപനം

"ഒരു തെറ്റ് ഉണ്ടെങ്കിൽ, ഞങ്ങൾ കാണും"

ബേസ്‌ലൈൻ + ത്രെഷോൾഡ് + സജീവമായ അലാറം

സിസ്റ്റം നിലവിലുണ്ടോ എന്ന് പരിശോധിക്കുന്നു.

സിഗ്നലുകളുടെ നാല് കുടുംബങ്ങളെ നിരീക്ഷിക്കുന്നു (ഉപയോഗം, സുരക്ഷ, ഗുണനിലവാരം, പ്രകടനം)

ഔട്ട്‌പുട്ട് നിലവാരം ഒട്ടും സാമ്പിൾ ചെയ്യുന്നില്ല

സാധാരണ മനുഷ്യ സാമ്പിൾ + LLM-ആസ്-ജഡ്ജ്

മെട്രിക്കുകൾ ശേഖരിക്കുകയും നോക്കുകയും ചെയ്യുന്നില്ല

ഡാഷ്‌ബോർഡ് + ഫീഡ്‌ബാക്ക് ലൂപ്പ്

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - കോസ്റ്റ് അലാറം ചോർച്ച കീയെ പിടികൂടി. ഒരു കമ്പനിയുടെ പ്രതിദിന ടോക്കൺ നിരക്ക് ഒറ്റരാത്രികൊണ്ട് മൂന്നിരട്ടിയായി. ത്രെഷോൾഡ് അലാറം സുരക്ഷാ സംഘത്തിന് മുന്നറിയിപ്പ് നൽകി; ഒരു പരീക്ഷണ കീ ചോർത്തി ബോട്ട് ഉപയോഗിച്ചതായി അന്വേഷണത്തിൽ കണ്ടെത്തി. 25 മിനിറ്റിനുള്ളിൽ താക്കോൽ പിൻവലിച്ചു; അലാറം ഇല്ലായിരുന്നുവെങ്കിൽ, മാസാവസാനം ബില്ല് ശ്രദ്ധിക്കപ്പെടുമായിരുന്നു.

കേസ് 2 - സൈലൻ്റ് ക്വാളിറ്റി ഡ്രിഫ്റ്റ്. ഒരു സപ്പോർട്ട് അസിസ്റ്റൻ്റിൻ്റെ വെരിഫിക്കേഷൻ പാസ് നിരക്ക് മൂന്നാഴ്ചയ്ക്കുള്ളിൽ 95% ൽ നിന്ന് 80% ആയി കുറഞ്ഞു. പ്രതിവാര സാമ്പിൾ ഇത് പിടിച്ചെടുത്തു; കാരണം, ഉപഭോക്താക്കൾ ഒരു പുതിയ ഉൽപ്പന്ന ലൈനിനെക്കുറിച്ച് ചോദിക്കാൻ തുടങ്ങി, അതിനെക്കുറിച്ചുള്ള മോഡലിൻ്റെ അറിവ് അപൂർണ്ണമായിരുന്നു. വിജ്ഞാന അടിത്തറ പുതുക്കിയപ്പോൾ നിരക്ക് വീണ്ടെടുത്തു.

കേസ് 3 - ജയിൽബ്രേക്ക് തരംഗം നേരത്തെയായിരുന്നു. ഒരു അസിസ്റ്റൻ്റിൽ നടത്തിയ കുത്തിവയ്പ്പ് ശ്രമങ്ങൾ ഒരു ദിവസം മണിക്കൂറിൽ 2 മുതൽ 40 വരെ വർദ്ധിച്ചു. സുരക്ഷാ അലാറം പ്രവർത്തനക്ഷമമാക്കി; സിസ്റ്റം തകർക്കുന്നതിനുള്ള ഒരു "പാചകക്കുറിപ്പ്" ഒരു ഫോറത്തിൽ പങ്കിട്ടതായി കണ്ടു. ഡിഫൻസ് പ്രോംപ്റ്റും നിരക്ക്-പരിമിതമായ സംശയാസ്പദമായ അക്കൗണ്ടുകളും ടീം അപ്ഡേറ്റ് ചെയ്തു; യഥാർത്ഥ ചോർച്ചയായി മാറുന്നതിന് മുമ്പ് തിരമാല മരിച്ചു.

നുറുങ്ങ്: കേവലം മെഷീൻ മെട്രിക്കുകൾ മാത്രം മതിയാക്കരുത്. സാമ്പിൾ ഔട്ട്‌പുട്ടുകൾ ഒരു മനുഷ്യൻ വായിക്കുന്നതിലൂടെ ഗുണനിലവാരമുള്ള ഡ്രിഫ്റ്റ് പലപ്പോഴും പിടിക്കപ്പെടുന്നു. ആഴ്‌ചയിൽ 15-20 റാൻഡം പ്രിൻ്റൗട്ടുകൾ അവലോകനം ചെയ്യുന്ന ഒരു ചെറിയ പതിവ് ഏറ്റവും ചെലവേറിയ നിശബ്ദ പരാജയങ്ങൾ നേരത്തെ തന്നെ പിടികൂടും.

സാധാരണ തെറ്റുകൾ

• ഇത് ഉൽപ്പാദനത്തിൽ ഉൾപ്പെടുത്താതെ നിരീക്ഷണം സജ്ജമാക്കുക ("ഇത് പ്രവർത്തിക്കുന്നു, ശരി").
• അടിസ്ഥാനരേഖ അളക്കാതെ അപാകത തിരിച്ചറിയാൻ കഴിയുന്നില്ല.
• "ഇത് എഴുന്നേറ്റു നിൽക്കുന്നുണ്ടോ" എന്ന് മാത്രം നോക്കിയാൽ ഗുണനിലവാരമുള്ള ഡ്രിഫ്റ്റ് നഷ്ടപ്പെടുന്നു.
• മനുഷ്യൻ്റെ കണ്ണിലൂടെ ഔട്ട്പുട്ട് ഗുണനിലവാരം സാമ്പിൾ ചെയ്യുന്നില്ല.
• ഒരു അലാറം ഉയർത്താതെയും ഉപഭോക്താവിൽ നിന്നും/സൂപ്പർവൈസറിൽ നിന്നും പ്രശ്നം കണ്ടെത്തുന്നില്ല.
• നിരീക്ഷണ കണ്ടെത്തലുകൾ മെച്ചപ്പെടുത്തലുമായി ബന്ധിപ്പിക്കുന്നില്ല (ഫീഡ്‌ബാക്ക് ലൂപ്പ് ഇല്ല).

ചുരുക്കത്തിൽ

• AI സംവിധാനങ്ങൾ നിശബ്ദമായി വഷളാകും; ഏറ്റവും അപകടകരമായ തകരാർ തെറ്റുകൾ വരുത്താത്തതാണ്, പക്ഷേ ഗുണനിലവാരം കുറയ്ക്കുന്നു.
• സിഗ്നലുകളുടെ നാല് കുടുംബങ്ങളെ ട്രാക്ക് ചെയ്യുക: ഉപയോഗം/ചെലവ്, സുരക്ഷ, ഗുണനിലവാരം/ഡ്രിഫ്റ്റ്, പ്രകടനം.
• ഡ്രിഫ്റ്റ് (കാലാകാലങ്ങളിൽ ഇൻപുട്ട് അല്ലെങ്കിൽ ഔട്ട്പുട്ട് ഗുണമേന്മയുള്ള ഡ്രിഫ്റ്റ്) ഒരു ബേസ്ലൈനുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ മാത്രമേ ക്യാപ്‌ചർ ചെയ്യപ്പെടുകയുള്ളൂ.
• മെഷീൻ മെട്രിക്‌സിന് പുറമെയുള്ള പതിവ് മനുഷ്യ സാമ്പിൾ ഗുണനിലവാരമുള്ള ഡ്രിഫ്റ്റ് ക്യാപ്‌ചർ ചെയ്യുന്നു.
• അലാറത്തിലേക്കും ഫീഡ്‌ബാക്ക് ലൂപ്പിലേക്കും നിരീക്ഷണം ബന്ധിപ്പിക്കുക; അളക്കുന്നതും നോക്കാതിരിക്കുന്നതും നിരീക്ഷണമല്ല.

ആപ്ലിക്കേഷൻ ടാസ്ക്

നിങ്ങളുടെ സ്വന്തം AI സിസ്റ്റത്തിനായി നാല് സിഗ്നൽ ഫാമിലികളിൽ നിന്നും കുറഞ്ഞത് ഒരു മെട്രിക്കെങ്കിലും തിരഞ്ഞെടുത്ത് അവയുടെ നിലവിലുള്ള (അല്ലെങ്കിൽ കണക്കാക്കിയ) അടിസ്ഥാനരേഖകൾ എഴുതുക. ഓരോ മെട്രിക്കിനും ഒരു അലാറം ത്രെഷോൾഡ് നിർവ്വചിക്കുക. തുടർന്ന് നിങ്ങളുടെ അവസാന സെമസ്റ്ററിൻ്റെ 15 ഔട്ട്‌പുട്ടുകൾ എടുത്ത് മുകളിലുള്ള സാമ്പിൾ പ്രോംപ്റ്റ് ഉപയോഗിച്ച് സ്കോർ ചെയ്യുക; "മോശം" നിരക്ക് ശ്രദ്ധിക്കുക. ഭാവിയിൽ ഡ്രിഫ്റ്റ് താരതമ്യപ്പെടുത്തുന്നതിനുള്ള നിങ്ങളുടെ ആദ്യ അടിസ്ഥാനരേഖയായിരിക്കട്ടെ ഇത്.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഞാൻ നാല് സിഗ്നൽ കുടുംബങ്ങളിൽ നിന്നുള്ള മെട്രിക്സ് നിർവചിച്ചു (ഉപയോഗം, സുരക്ഷ, ഗുണമേന്മ, പ്രകടനം).
• [ ] ഓരോ മെട്രിക്കിനും ഞാൻ ഒരു ബേസ്‌ലൈനും അലാറം ത്രെഷോൾഡും സജ്ജീകരിച്ചു.
• [ ] ഞാൻ പതിവായി മനുഷ്യൻ്റെ കണ്ണിലൂടെ ഔട്ട്‌പുട്ട് ഗുണനിലവാരം സാമ്പിൾ ചെയ്യുന്നു.
• [ ] ഞാൻ ഒരു ഡിസ്പ്ലേ പാനൽ ഉപയോഗിച്ച് ഒരൊറ്റ സ്ക്രീനിൽ സിഗ്നലുകൾ നിരീക്ഷിക്കുന്നു.
• [ ] അപാകതകൾക്കും ജയിൽ ബ്രേക്ക് തരംഗങ്ങൾക്കും അലാറം സുരക്ഷാ ടീമിലേക്ക് പോകുന്നു.
• [ ] മോണിറ്ററിംഗ് കണ്ടെത്തലുകൾ പ്രോംപ്റ്റ്/നിയന്ത്രണ മെച്ചപ്പെടുത്തലിലേക്ക് ഞാൻ ആട്രിബ്യൂട്ട് ചെയ്യുന്നു.