ക്വാളിറ്റി കൺട്രോൾ (ക്യുഎ), ഇവാലുവേഷൻ മെട്രിക്‌സ്, എൽക്യുഎ

നേട്ടങ്ങൾ:

• ഓട്ടോമാറ്റിക് QA, ഭാഷാ LQA ലെയറുകളെ വേർതിരിച്ചറിയാനും ശരിയായ ക്രമത്തിൽ പ്രയോഗിക്കാനുമുള്ള കഴിവ്
• MQM പോലുള്ള ഒരു പിശക് ചട്ടക്കൂട് ഉപയോഗിച്ച് വിഭാഗവും ഭാരവും (നിർണ്ണായകമായ / പ്രധാന / മൈനർ) അനുസരിച്ച് വിവർത്തനം വസ്തുനിഷ്ഠമായി വിലയിരുത്താനുള്ള കഴിവ്
• AI ഒരു ഓഡിറ്ററായി ഉപയോഗിക്കുമ്പോൾ, അതിൻ്റെ സ്വന്തം വിവർത്തനത്തോടുള്ള അന്ധത, തെറ്റുകൾ വരുത്താനുള്ള സാധ്യത, ഓട്ടോമേറ്റഡ് മെട്രിക്‌സിൻ്റെ പരിധികൾ എന്നിവ അറിഞ്ഞുകൊണ്ട് അന്തിമ തീരുമാനം എടുക്കാൻ കഴിയും.

ഒരു വിവർത്തനം "പൂർത്തിയായി" എന്ന് നിങ്ങൾ പറയുന്ന നിമിഷം, അത് പകുതി ജോലിയാണ്; ആ വിവർത്തനം യഥാർത്ഥത്തിൽ വിശ്വസനീയമാണെന്ന് തെളിയിക്കുന്നതാണ് മറ്റേ പകുതി. ഈ യൂണിറ്റിൽ, വിവർത്തന നിലവാരം അളക്കുന്നതിനുള്ള ചിട്ടയായ മാർഗങ്ങൾ നിങ്ങൾ പഠിക്കും: ഓട്ടോമേറ്റഡ് QA പരിശോധനകൾ, മനുഷ്യനെ അടിസ്ഥാനമാക്കിയുള്ള LQA പിശക് ചട്ടക്കൂടുകൾ, ഗുണനിലവാര അളവുകൾ, കൂടാതെ AI-യെ ഒരു "ഇൻസ്പെക്ടർ" ആയി എങ്ങനെ ഉപയോഗിക്കാം - അതിൻ്റെ പരിധികൾ. "എനിക്ക് നല്ലത് തോന്നുന്നു" എന്ന ആത്മനിഷ്ഠതയിൽ നിന്ന് മാറി, ഗുണനിലവാരം നിർവചിക്കുകയും അളക്കുകയും തെളിയിക്കുകയും ചെയ്യുന്ന ഒരു വിദഗ്ദ്ധനാകുക എന്നതാണ് ലക്ഷ്യം.

രണ്ട് തരം ഗുണനിലവാര നിയന്ത്രണം: ഓട്ടോമാറ്റിക്, ഭാഷാപരമായ

QA (ക്വാളിറ്റി അഷ്വറൻസ്) വിവർത്തനത്തിൽ രണ്ട് ലെയറുകളിൽ പ്രവർത്തിക്കുന്നു:

ഓട്ടോമേറ്റഡ് QA: CAT ടൂളുകളും സ്‌ക്രിപ്റ്റുകളും പിടിക്കുന്ന സ്റ്റൈലിസ്റ്റിക് പിശകുകൾ - സംഖ്യ പൊരുത്തക്കേട്, നഷ്‌ടമായ/അധിക ഇടം, പൊരുത്തമില്ലാത്ത പദം, വിവർത്തനം ചെയ്യാത്ത സെഗ്‌മെൻ്റ്, മോശം പ്ലെയ്‌സ്‌ഹോൾഡർ/ടാഗ്, ഡബിൾ സ്‌പെയ്‌സ്, വിരാമചിഹ്നം. ഇവ മെഷീൻ ഉപയോഗിച്ച് വേഗത്തിലും പൂർണ്ണമായും സ്കാൻ ചെയ്യുന്നു; ഇത് മനുഷ്യൻ്റെ കണ്ണിൽ നിന്ന് രക്ഷപ്പെടുന്നു, പക്ഷേ വാഹനം അത് പിടിക്കുന്നു.

LQA (ലിംഗ്വിസ്റ്റിക് ക്വാളിറ്റി അഷ്വറൻസ്): ഒരു മനുഷ്യ മൂല്യനിർണ്ണയക്കാരൻ അർത്ഥം, പദാവലി, ശൈലി, വ്യാകരണം, പ്രാദേശിക അനുയോജ്യത എന്നിവ പരിശോധിക്കുന്ന പാളിയാണിത്. ഓട്ടോമേറ്റഡ് QA "നമ്പർ പൊരുത്തപ്പെടുന്നുണ്ടോ?" ചോദ്യം നോക്കുന്നു; LQA "അർത്ഥം ശരിയാണോ, ടോൺ ഉചിതമാണോ, സാംസ്കാരികമായി ഉചിതമാണോ?" അവൻ ചോദ്യത്തിലേക്ക് നോക്കുന്നു. രണ്ടും പരസ്പര പൂരകമാണ്; ഒന്ന് മറ്റൊന്നിന് പകരമാവില്ല.

നുറുങ്ങ്: എല്ലായ്‌പ്പോഴും ആദ്യം ഓട്ടോ ക്യുഎ പ്രവർത്തിപ്പിക്കുക; ഔപചാരികമായ പിശകുകൾ വൃത്തിയാക്കുന്നത് മാനുഷിക മൂല്യനിർണ്ണയക്കാരനെ യഥാർത്ഥ ഭാഷാപരമായ പ്രശ്നങ്ങളിലേക്ക് ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അനുവദിക്കുന്നു. നമ്പർ പിശക് കൊണ്ട് വിഷമിക്കുന്ന ഒരു നിരൂപകന് ടോൺ പിശക് നഷ്ടമാകും.

പിശക് ഫ്രെയിമുകൾ: MQM, DQF

"നല്ലത്/മോശം" എന്നതിലുപരി ഗുണനിലവാരം അളക്കാൻ കഴിയുന്ന തരത്തിൽ സാധാരണ പിശക് ടൈപ്പോളജികൾ ഉപയോഗിക്കുന്നു. ഏറ്റവും സാധാരണമായത് MQM (മൾട്ടിഡൈമൻഷണൽ ക്വാളിറ്റി മെട്രിക്‌സ്) ആണ്: ഇത് ഓരോ പിശകും ഒരു വിഭാഗത്തിലേക്കും (കൃത്യത, ഒഴുക്ക്, പദാവലി, ശൈലി, പ്രാദേശികത, ഫോർമാറ്റ്) ഒരു ഭാരത്തിനും (നിർണ്ണായകമായ, പ്രധാനം, മൈനർ) നൽകുന്നു. മറ്റൊരു ചട്ടക്കൂട് DQF (ഡൈനാമിക് ക്വാളിറ്റി ഫ്രെയിംവർക്ക്) ആണ്, ഇത് MQM-നോടൊപ്പം പരാമർശിക്കപ്പെടുന്നു.

എന്തുകൊണ്ട് അത് പ്രധാനമാണ്? കാരണം, ഈ ചട്ടക്കൂട് ഉപയോഗിച്ച്, നിങ്ങൾക്ക് ഒരു വിവർത്തനത്തിന് ഒരു പിശക് സ്കോർ നൽകാനും വ്യത്യസ്ത വിവർത്തകരെ/എഞ്ചിനുകളെ വസ്തുനിഷ്ഠമായി താരതമ്യം ചെയ്യാനും "ഈ വാചകം കൈമാറാനാകുമോ?" നിങ്ങൾ ചോദ്യത്തിന് ഒരു സംഖ്യാ പരിധി ഉപയോഗിച്ച് ഉത്തരം നൽകുന്നു. ഉദാഹരണത്തിന്: ഗുരുതരമായ പിശക് = 10 പോയിൻ്റുകൾ, പ്രധാനം = 5, മൈനർ = 1; ഒരു നിശ്ചിത പരിധിക്ക് താഴെയുള്ള വാചകം ഒരു നിശ്ചിത വാക്കിന് കടന്നുപോകുന്നു.

ഗുരുതരമായ പിശക്: അർത്ഥം വിപരീതമാക്കുന്ന പിശക്, സുരക്ഷ/നിയമപരമായ അപകടസാധ്യത സൃഷ്ടിക്കുന്നു, ബ്രാൻഡിനെ നശിപ്പിക്കുന്നു (തെറ്റായ ഡോസ്, "ഉത്തരവാദിത്തം" എന്നതിന് പകരം "ഉത്തരവാദിത്തമല്ല"). പ്രധാനം: വിഘാതകരവും എന്നാൽ നിരുപദ്രവകരവുമാണ്. മൈനർ: ശ്രദ്ധേയമാണെങ്കിലും അർത്ഥത്തിൽ നിന്ന് വ്യതിചലിക്കുന്നില്ല (ചെറിയ ശൈലി/വിരാമചിഹ്നം).

ഒരു കൺട്രോളറായി AI ഉപയോഗിക്കുന്നത് - അതിൻ്റെ പരിധികളും

പിശക് ചട്ടക്കൂടിന് എതിരായി ഒരു വിവർത്തനം പരിശോധിക്കുന്നതിന് AI വേഗതയേറിയതും സഹായകരവുമാണ്: "MQM വിഭാഗങ്ങൾക്കൊപ്പം ഈ വിവർത്തനത്തിലെ ശരിയും പദാവലിയും ഫ്ലൂൻസി പിശകുകളും അടയാളപ്പെടുത്തുക" എന്ന് നിങ്ങൾക്ക് പറയാം. ഇത് നിങ്ങളുടെ അന്ധമായ പാടുകൾ കുറയ്ക്കുകയും പെട്ടെന്ന് "രണ്ടാം കണ്ണ്" നൽകുകയും ചെയ്യുന്നു.

എന്നാൽ മൂന്ന് നിർണായക പരിധികളുണ്ട്: (1) അത് നിർമ്മിക്കുന്ന വിവർത്തനം പരിശോധിക്കുമ്പോൾ AI അന്ധനായിരിക്കും - ഒരേ തെറ്റ് വരുത്തുകയും സ്ഥിരീകരിക്കുകയും ചെയ്യുന്നു; മറ്റൊരു മോഡൽ ഉപയോഗിച്ച് ക്രോസ്-ചെക്ക് ചെയ്യുക അല്ലെങ്കിൽ ഉറവിടത്തിലേക്ക് മടങ്ങുക. (2) AI-യ്ക്ക് ഭ്രമാത്മക "പിശകുകൾ" ഉണ്ടാക്കാനും കഴിയും - നിലവിലില്ലാത്ത ഒരു പിശക് റിപ്പോർട്ട് ചെയ്യുക; ഓരോ മുന്നറിയിപ്പും സ്ഥിരീകരിക്കുക. (3) ഒരു ഗുരുതരമായ പിശകിൻ്റെ യഥാർത്ഥ ലോകത്തിൻ്റെ തീവ്രത AI പൂർണ്ണമായി മനസ്സിലാക്കിയേക്കില്ല (ഒരു ഡോസ് പിശക് മാരകമായേക്കാം); വിദഗ്ധൻ വെയ്റ്റിംഗ് ചെയ്യുന്നു. അതിനാൽ AI ക്യുഎയെ വേഗത്തിലാക്കുന്നു, എന്നാൽ അന്തിമ ഗുണനിലവാര തീരുമാനവും ഡെലിവറി അംഗീകാരവും മനുഷ്യനായിരിക്കും.

മുന്നറിയിപ്പ്: "AI QA പാസായി, അത് ശുദ്ധമാണ്" എന്ന് പറയുന്നത് തെറ്റായ ആത്മവിശ്വാസമാണ്. AI ഓഡിറ്റിംഗ് മാനുഷിക LQA യ്‌ക്കും ഉറവിടവുമായുള്ള താരതമ്യത്തിനും പകരമല്ല; അത് അവരെ വേഗത്തിലാക്കുന്ന ഒരു പ്രീ-സ്ക്രീനിംഗ് ലെയറാണ്.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ഓട്ടോമേറ്റഡ് QA 40 നമ്പർ പിശകുകൾ കണ്ടെത്തി. ഒരു സാമ്പത്തിക റിപ്പോർട്ട് വിവർത്തനത്തിൽ, ഉറവിടവും ലക്ഷ്യവും (ആയിരം സെപ്പറേറ്റർ, ഡെസിമൽ, കറൻസി) തമ്മിലുള്ള 40 നമ്പർ/ഫോർമാറ്റ് പൊരുത്തക്കേടുകൾ ഓട്ടോമേറ്റഡ് QA കണ്ടെത്തി. മനുഷ്യൻ്റെ കണ്ണിന് ഇവയിൽ മിക്കതും നഷ്ടപ്പെടും; വാഹനം സെക്കൻഡിൽ ലിസ്റ്റ് ചെയ്തു.

കേസ് 2 - MQM സ്കോർ എഞ്ചിൻ തിരഞ്ഞെടുക്കുന്നതിലേക്ക് നയിച്ചു. ഒരു ബ്യൂറോ MQM-2,000 വാക്കുകളിൽ രണ്ട് വ്യത്യസ്ത MT എഞ്ചിനുകളുടെ ഔട്ട്‌പുട്ട് റേറ്റുചെയ്‌തു: എഞ്ചിൻ A 12 പിശക് പോയിൻ്റുകൾ, എഞ്ചിൻ B 31. ഒബ്‌ജക്‌റ്റീവ് മെഷർമെൻ്റ് "ഏതാണ് മികച്ചത്" എന്ന സംവാദത്തെ സ്‌കോർ ഉപയോഗിച്ച് പരിഹരിച്ചു; ബ്യൂറോ എഞ്ചിൻ എ സ്റ്റാൻഡേർഡ് ആക്കുകയും അതിനനുസരിച്ച് അതിൻ്റെ റിവിഷൻ-നു ശേഷമുള്ള ബജറ്റ് ആസൂത്രണം ചെയ്യുകയും ചെയ്തു.

കേസ് 3 - AI ഓഡിറ്റിന് സ്വന്തം തെറ്റ് നഷ്ടമായി. ഒരു വിവർത്തകൻ LLM-ൻ്റെ വിവർത്തനം അതേ LLM-ൻ്റെ മേൽനോട്ടം വഹിച്ചിരുന്നു; "പ്രശ്നമില്ല" എന്ന് മോഡൽ പറഞ്ഞു, അവൾ സ്വയം വരുത്തിയ ഒരു ടെർമിനോളജി പിശക്. മറ്റൊരു മോഡലും ഉറവിടവും ഉപയോഗിച്ച് വിവർത്തകൻ ക്രോസ് ചെക്ക് ചെയ്തപ്പോഴാണ് പിശക് വെളിപ്പെട്ടത്; "ഒരേ മാതൃക സ്വയം നിയന്ത്രിക്കരുത്" എന്ന നിയമം സംഘം സ്വീകരിച്ചു.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

1) MQM അടിസ്ഥാനമാക്കിയുള്ള പിശക് പരിശോധന:

നിങ്ങളുടെ റോൾ: LQA വിലയിരുത്തുന്നയാൾ. താഴെയുള്ള ഉറവിടവും വിവർത്തനവും താരതമ്യം ചെയ്യുക. നിങ്ങൾ കണ്ടെത്തുന്ന ഓരോ പിശകും ഇനിപ്പറയുന്ന ഫോർമാറ്റിൽ നൽകുക: [വിഭാഗം: കൃത്യത/പദാവലി/ഫ്ലുവൻസി/സ്റ്റൈൽ/ഫോർമാറ്റ്][ഭാരം: നിർണ്ണായക/പ്രധാനം/മൈനർ] [ലൊക്കേഷൻ] [അഭിപ്രായം] [തിരുത്തൽ]. നിങ്ങൾക്ക് ഉറപ്പില്ലാത്ത മുന്നറിയിപ്പ് "സ്ഥിരീകരണം ആവശ്യമാണ്" എന്ന് അടയാളപ്പെടുത്തുക; errorfabrication.Source: [...] | വിവർത്തനം: [...]

2) ഗുരുതരമായ പിശക് സ്കാനിംഗ് (ഉയർന്ന അപകടസാധ്യത):

താഴെയുള്ള വിവർത്തനത്തിൽ മാത്രം ഗുരുതരമായ പിശകുകൾക്കായി നോക്കുക: വിപരീതം, നമ്പർ/ഡോസ്/തീയതി പിശക്, നിഷേധത്തിൻ്റെ നഷ്ടം, നിയമപരമായ ബാധ്യതയ്ക്ക് പകരം വയ്ക്കൽ, സുരക്ഷാ മുന്നറിയിപ്പ് പിശക്. ചെറിയ സ്റ്റൈലിംഗ് പ്രശ്നങ്ങൾ അവഗണിക്കുക. ഓരോ നിർണായക കണ്ടെത്തലിനും ഉറവിടം ഉദ്ധരിക്കുക.ഉറവിടം: [...] | വിവർത്തനം: [...]

3) ഓട്ടോമാറ്റിക് ക്യുഎ സപ്ലിമെൻ്ററി നിയന്ത്രണം:

ഇനിപ്പറയുന്ന ഉറവിട-ലക്ഷ്യ ജോഡികളിലെ ഔപചാരികമായ പൊരുത്തക്കേടുകൾ പട്ടികപ്പെടുത്തുക: സംഖ്യ പൊരുത്തക്കേട്, നഷ്ടപ്പെട്ട/അധിക പ്ലെയ്‌സ്‌ഹോൾഡർ അല്ലെങ്കിൽ ടാഗ്, പൊരുത്തമില്ലാത്ത പദം, വിവർത്തനം ചെയ്യാത്ത സെഗ്‌മെൻ്റ്, യൂണിറ്റ്/കറൻസി വ്യത്യാസം. അവരുടെ സ്ഥലവുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ മാത്രം നൽകുക. ജോഡികൾ: [...]

4) സ്വതന്ത്ര രണ്ടാം കണ്ണ് (ക്രോസ് ചെക്ക്):

മുൻവിധികളില്ലാതെ ഈ വിവർത്തനം വിലയിരുത്തുക; നിങ്ങൾ എഴുതിയതാണെന്ന് കരുതരുത്. വിശ്വാസ്യത, പദാവലി, സ്വാഭാവികത എന്നിവയ്ക്കായി ഉറവിടത്തിന് ഒരു ഗുണനിലവാര റേറ്റിംഗ് (1-5) നൽകുക, കൂടാതെ മികച്ച 3 പ്രശ്നങ്ങൾ ലിസ്റ്റുചെയ്യുക. തീരുമാനിക്കേണ്ടത് ഞാനാണ്. ഉറവിടം: [...] | വിവർത്തനം: [...]

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

ദുർബലൻ: "ഈ വിവർത്തനം നല്ലതാണോ?" (മാനദണ്ഡങ്ങളൊന്നുമില്ല; "പൊതുവെ നല്ലത്" പോലെയുള്ള ഉപയോഗശൂന്യമായ ഉത്തരം AI നൽകുന്നു.)

ശക്തമായത്: "സ്രോതസ്സിനെതിരെ ഈ വിവർത്തനം പരിശോധിക്കുക. ഓരോ പിശകും വിഭാഗവും (കൃത്യത/പദാവലി/പ്രാപ്‌തത) തീവ്രതയും (നിർണ്ണായകമായ/പ്രധാന/ചെറിയ/ചെറിയ) ഉപയോഗിച്ച് ലേബൽ ചെയ്യുക. പ്രത്യേകിച്ചും നമ്പർ, നിഷേധം, പദാവലി പിശകുകൾ എന്നിവയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുക. പിശകുകൾ കെട്ടിച്ചമയ്ക്കരുത്; നിങ്ങൾക്ക് ഉറപ്പില്ലെങ്കിൽ 'സ്ഥിരീകരണം ആവശ്യമാണ്' എന്ന് അടയാളപ്പെടുത്തുക."

വ്യത്യാസം: ശക്തമായ പ്രോംപ്റ്റ് ഒരു പിശക് ഫ്രെയിമും ഫോക്കസും നൽകുന്നു; ഔട്ട്പുട്ട് താരതമ്യപ്പെടുത്താവുന്നതും പ്രവർത്തനക്ഷമവുമായ ഗുണനിലവാര റിപ്പോർട്ടാണ്.

ഗുണമേന്മയുള്ള പാളികൾ പട്ടിക

പാളി

എന്താണ് പിടിക്കുന്നത്

ആരാണ്/എന്ത് ചെയ്യുന്നു

ഓട്ടോ ക്യുഎ

നമ്പർ, ലേബൽ, സ്ഥിരത

ഉപകരണം/സ്ക്രിപ്റ്റ്

AI നിയന്ത്രണം

സാധ്യമായ അർത്ഥം/പദാവലി പിശകുകൾ

LLM (സ്ഥിരീകരണത്തോടെ)

മനുഷ്യ LQA

അർത്ഥം, സ്വരം, സംസ്കാരം, ഭാരം

വിദഗ്ധ മൂല്യനിർണ്ണയക്കാരൻ

MQM/DQF സ്കോർ

ഒബ്ജക്റ്റീവ് പിശക് സ്കോർ

ഫ്രെയിം ഉള്ള മനുഷ്യൻ

ഡെലിവറി സ്ഥിരീകരണം

ആത്യന്തിക ഉത്തരവാദിത്തം

കഴിവുള്ള വിവർത്തകൻ

സാധാരണ തെറ്റുകൾ

• ഓട്ടോമേറ്റഡ് ക്യുഎ ഒഴിവാക്കി നേരിട്ട് വായനയിലേക്ക് പ്രവേശിക്കുക. ശൈലീപരമായ പിശകുകൾ ശ്രദ്ധ തിരിക്കുന്നു.
• മനുഷ്യ LQA ഉപയോഗിച്ച് AI പരിശോധന മാറ്റിസ്ഥാപിക്കുന്നു. AI പ്രീ-സ്ക്രീൻ ചെയ്യുന്നു, അംഗീകരിക്കുന്നില്ല.
• അതേ മാതൃകയുണ്ടെങ്കിൽ സ്വന്തം വിവർത്തനം പരിശോധിക്കുക. ബ്ലൈൻഡ് സ്പോട്ട്; ക്രോസ് ചെക്കിംഗ് ആവശ്യമാണ്.
• വെയ്റ്റിംഗ് പിശകുകളല്ല. വിമർശനാത്മകവും മൈനറും ഒരേപോലെ കാണുന്നത് മുൻഗണനയെ തടസ്സപ്പെടുത്തുന്നു.
• സ്ഥിരീകരിക്കാതെ AI നിർമ്മിച്ച "പിശകുകൾ" തിരുത്തുന്നു. നിങ്ങൾക്ക് ശരിയായ വാചകം വളച്ചൊടിക്കാൻ കഴിയും.

ഓട്ടോമാറ്റിക് മെട്രിക്‌സ്: BLEU, COMET, പരിധികൾ

ഗുണനിലവാരം അളക്കുന്നതിൽ ഓട്ടോമേറ്റഡ് മെട്രിക്‌സിൻ്റെ ഒരു ലോകവുമുണ്ട്. BLEU (ദ്വിഭാഷാ മൂല്യനിർണ്ണയം അണ്ടർസ്റ്റഡി) ഒരു യന്ത്ര വിവർത്തനത്തെ ഹ്യൂമൻ റഫറൻസ് വിവർത്തനവുമായി താരതമ്യപ്പെടുത്തുകയും പദ ഓവർലാപ്പിനെ അടിസ്ഥാനമാക്കി 0-100 സ്കോർ നൽകുകയും ചെയ്യുന്നു; വളരെക്കാലം എംടി സംവിധാനങ്ങളെ താരതമ്യം ചെയ്യുന്നതിനുള്ള മാനദണ്ഡമായിരുന്നു അത്. ഒരു പുതിയ മെട്രിക്, COMET, ന്യൂറൽ നെറ്റ്‌വർക്ക് അധിഷ്‌ഠിതമാണ്, കൂടാതെ BLEU-നേക്കാൾ മികച്ച സെമാൻ്റിക് സമാനത പിടിച്ചെടുക്കുന്നു. വലിയ ഡാറ്റയിൽ രണ്ട് എഞ്ചിനുകൾ വേഗത്തിലും സ്വയമേവയും താരതമ്യം ചെയ്യുന്നതിന് ഈ അളവുകൾ വിലപ്പെട്ടതാണ്.

എന്നാൽ അതിൻ്റെ പരിധികൾ വ്യക്തമാണ്: BLEU പോലുള്ള മെട്രിക്കുകൾ പദ ഓവർലാപ്പിനെ നോക്കുന്നു, അർത്ഥം ശരിക്കും മനസ്സിലാക്കുന്നില്ല. റഫറൻസിൽ നിന്ന് വ്യത്യസ്തമായതും എന്നാൽ കൃത്യവുമായ ഒരു വിവർത്തനത്തിന് കുറഞ്ഞ സ്കോർ ലഭിച്ചേക്കാം; റഫറൻസുമായി സാമ്യമുള്ളതും എന്നാൽ തെറ്റായതുമായ വിവർത്തനത്തിന് ഉയർന്ന സ്കോർ ലഭിച്ചേക്കാം. ഒരു ക്രിട്ടിക്കൽ നെഗറ്റിവിറ്റി പിശക് ഒരൊറ്റ വാക്കായതിനാൽ അത് മെട്രിക്കിൽ കാര്യമായ സ്വാധീനം ചെലുത്തുന്നില്ല, പക്ഷേ യഥാർത്ഥത്തിൽ അത് ദുരന്തമാണ്. അതുകൊണ്ടാണ് ഓട്ടോമേറ്റഡ് മെട്രിക്‌സ് സിസ്റ്റം ലെവലിൽ ട്രെൻഡുകൾ അളക്കുന്നത്, ഒരു വ്യക്തിഗത ടെക്‌സ്‌റ്റിൻ്റെ ഡെലിവറബിളിറ്റി തീരുമാനിക്കുന്നില്ല. MQM അടിസ്ഥാനമാക്കിയുള്ള മാനുഷിക മൂല്യനിർണ്ണയവും വിദഗ്‌ദ്ധ വിധിയും ഒരു വിവർത്തനം ക്ലയൻ്റിലേക്ക് പോകണോ എന്ന് തീരുമാനിക്കുന്നു, ഒരു ഓട്ടോമാറ്റിക് സ്‌കോറല്ല. ഒരു കോമ്പസായി മെട്രിക്സ് ഉപയോഗിക്കുക, ഒരു ജഡ്ജിയല്ല.

ചുരുക്കത്തിൽ

വിവർത്തന നിലവാരം ഒരു ആത്മനിഷ്ഠമായ വികാരമല്ല, അത് അളക്കാവുന്ന ഒന്നാണ്. ഓട്ടോമാറ്റിക് QA ഔപചാരിക പിശകുകൾക്കായി നന്നായി സ്കാൻ ചെയ്യുന്നു; മനുഷ്യ LQA അർത്ഥം, ടോൺ, സംസ്കാരം എന്നിവ വിലയിരുത്തുന്നു; MQM പോലുള്ള പിശക് ചട്ടക്കൂടുകൾ വിഭാഗവും ഭാരവും അനുസരിച്ച് ഗുണനിലവാരം കണക്കാക്കുന്നു, വസ്തുനിഷ്ഠമായ താരതമ്യം സാധ്യമാക്കുന്നു. ഈ നിയന്ത്രണത്തെ ത്വരിതപ്പെടുത്തുന്ന ശക്തമായ രണ്ടാമത്തെ കണ്ണാണ് AI, എന്നാൽ അതിന് സ്വന്തം വിവർത്തനത്തിൽ അന്ധതയുണ്ടാകാം, തെറ്റുകൾ വരുത്താം, യഥാർത്ഥ ലോകഭാരം പൂർണ്ണമായി മനസ്സിലാക്കുന്നതിൽ പരാജയപ്പെടാം; അതിനാൽ, അന്തിമ ഗുണനിലവാര തീരുമാനം, വെയ്റ്റിംഗ്, ഡെലിവറി അംഗീകാരം എന്നിവ യോഗ്യതയുള്ള വിവർത്തകൻ്റെതാണ്.

ആപ്ലിക്കേഷൻ ടാസ്ക്

ഒരു മെഷീൻ വിവർത്തന ഔട്ട്പുട്ട് നേടുക. ആദ്യം "ഓട്ടോമാറ്റിക് ക്യുഎ സപ്ലിമെൻ്ററി ചെക്കിംഗ്" ഉപയോഗിച്ച് ഔപചാരിക പിശകുകൾ ലിസ്റ്റുചെയ്യുക, തുടർന്ന് "എംക്യുഎം അടിസ്ഥാനമാക്കിയുള്ള പിശക് പരിശോധന" ഉപയോഗിച്ച് വിഭാഗവും ഭാരവും അനുസരിച്ച് ഭാഷാപരമായ പിശകുകൾ ലിസ്റ്റുചെയ്യുക. ഞാൻ ഓരോ പിശകും (നിർണ്ണായകമായ 10, പ്രധാന 5, മൈനർ 1) ഓരോ വാക്കിനും ഒരു പരിധി ഉപയോഗിച്ച് റേറ്റ് ചെയ്യുകയും "ഇത് ഡെലിവർ ചെയ്യാൻ കഴിയുമോ?" ചോദ്യത്തിന് ഉത്തരം നൽകുക. അവസാനമായി, AI ഫ്ലാഗ് ചെയ്ത പിശകുകളിൽ എത്രയെണ്ണം യഥാർത്ഥമാണെന്നും എത്രയെണ്ണം കെട്ടിച്ചമച്ചതാണെന്നും ഉറവിടം ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഞാൻ യാന്ത്രിക QA പ്രവർത്തിപ്പിക്കുകയും ഏതെങ്കിലും ഔപചാരിക പിശകുകൾ വൃത്തിയാക്കുകയും ചെയ്തു.
• [ ] ഞാൻ ഭാഷാപരമായ പിശകുകൾ ഒരു ബോക്സ് ഉപയോഗിച്ച് അടയാളപ്പെടുത്തി (വിഭാഗം + ഭാരം).
• [ ] ഞാൻ നിർണ്ണായകമായ പിശകുകൾ ഒരു പ്രത്യേക, മുൻഗണനയുള്ള റൗണ്ടിൽ സ്കാൻ ചെയ്തു.
• [ ] ഞാൻ AI കൺട്രോൾ സോഴ്‌സ് ചെയ്യുകയും ആവശ്യമെങ്കിൽ മറ്റൊരു മോഡൽ ഉപയോഗിച്ച് ക്രോസ് ചെക്ക് ചെയ്യുകയും ചെയ്തു.
• [] ഞാൻ ഡെലിവറി തീരുമാനമെടുത്തത് സംഖ്യാ പരിധിയും എൻ്റെ സ്വന്തം വിദഗ്ദ്ധ വിധിയും അടിസ്ഥാനമാക്കിയാണ്.