ලාභ:
- ස්වයංක්රීය QA සහ භාෂාමය LQA ස්ථර අතර වෙනස හඳුනා ගැනීමට සහ නිවැරදි අනුපිළිවෙලට යෙදීමේ හැකියාව
- MQM වැනි දෝෂ රාමුවක් සහිත කාණ්ඩය සහ බර (විවේචනාත්මක/ප්රධාන/සුළු) අනුව පරිවර්ථනය වෛෂයිකව ඇගයීමේ හැකියාව
- AI විගණකයෙකු ලෙස භාවිතා කිරීමේදී අවසාන තීරණය ගැනීමට හැකි වීම, එහිම පරිවර්තනයට එහි අන්ධභාවය, වැරදි සිදු වීමේ අවදානම සහ ස්වයංක්රීය ප්රමිතිකවල සීමාවන් දැන සිටීම
පරිවර්තනයක් "කෙරුණා" යැයි ඔබ පවසන මොහොතේ, එය කාර්යයෙන් අඩකි; අනෙක් භාගය එම පරිවර්තනය සැබවින්ම විශ්වාසදායක බව ඔප්පු කිරීමයි. මෙම ඒකකය තුළ, ඔබ පරිවර්තන ගුණාත්මකභාවය මැනීමට ක්රමානුකූල ක්රම ඉගෙන ගනු ඇත: ස්වයංක්රීය QA චෙක්පත්, මානව-පාදක LQA දෝෂ රාමු, තත්ත්ව ප්රමිතික, සහ AI "පරීක්ෂක" ලෙස භාවිතා කරන්නේ කෙසේද - සහ එහි සීමාවන්. “හොඳයි කියල හිතෙනවා” කියන ආත්මීයත්වයෙන් ඈත්වෙලා ගුණාත්මක බව නිර්වචනය කරන, මනින, ඔප්පු කරන විශේෂඥයෙක් වීම තමයි අරමුණ.
තත්ත්ව පාලන වර්ග දෙකක්: ස්වයංක්රීය සහ භාෂාමය
QA (තත්ත්ව සහතිකය) පරිවර්තනයේදී ස්ථර දෙකකින් ක්රියා කරයි:
ස්වයංක්රීය QA: CAT මෙවලම් සහ ස්ක්රිප්ට් වලට හසුවන ශෛලීය දෝෂ - අංක නොගැලපීම, අතුරුදහන්/අතිරික්ත ඉඩ, නොගැලපෙන පදය, පරිවර්තනය නොකළ කොටස, නරක ස්ථාන දරන්නා/ටැග්, ද්විත්ව ඉඩ, විරාම ලකුණු. මේවා ඉක්මනින් සහ සම්පූර්ණයෙන්ම යන්ත්රයෙන් පරිලෝකනය කෙරේ; එය මිනිස් ඇසෙන් ගැලවී ගියත් වාහනය එය අල්ලා ගනී.
LQA (භාෂාමය තත්ත්ව සහතිකය): මෙය මානව ඇගයුම්කරුවෙකු අර්ථය, පාරිභාෂිතය, ශෛලිය, ව්යාකරණ සහ දේශීය යෝග්යතාවය පරීක්ෂා කරන ස්ථරයයි. ස්වයංක්රීය QA "අංකය ගැලපේද?" ප්රශ්නය දෙස බලයි; LQA "අර්ථය නිවැරදිද, ස්වරය සුදුසුද, එය සංස්කෘතික වශයෙන් සුදුසුද?" ඔහු ප්රශ්නය දෙස බලයි. දෙක එකිනෙකට අනුපූරකය; එකක් අනෙකා ආදේශ නොකරයි.
ඉඟිය: සෑම විටම පළමුව Auto QA ධාවනය කරන්න; විධිමත් දෝෂ පිරිසිදු කිරීම සැබෑ භාෂාමය ගැටළු කෙරෙහි අවධානය යොමු කිරීමට මානව ඇගයුම්කරුට ඉඩ සලසයි. සංඛ්යා දෝෂය ගැන කරදර වන සමාලෝචකයෙකුට ස්වර දෝෂය මග හැරේ.
දෝෂ රාමු: MQM සහ DQF
"හොඳ/නරක" වෙනුවට ගුණාත්මක භාවය මැනිය හැකි කිරීමට සම්මත දෝෂ ටයිපොලොජි භාවිතා වේ. වඩාත් සුලභ වන්නේ MQM (බහුමාන තත්ත්ව ප්රමිතික): එය එක් එක් දෝෂය කාණ්ඩයකට (නිරවද්යතාව, චතුරතාව, පාරිභාෂිතය, ශෛලිය, දේශීයත්වය, ආකෘතිය) සහ බර (විවේචනාත්මක, ප්රධාන, සුළු) වෙත පවරයි. තවත් රාමුවක් වන්නේ DQF (Dynamic Quality Framework) වන අතර MQM සමඟින් සඳහන් වේ.
එය වැදගත් වන්නේ ඇයි? මක්නිසාද යත්, මෙම රාමුව සමඟ, ඔබට පරිවර්තනයකට දෝෂයක් ලබා දිය හැකිය, විවිධ පරිවර්තකයන් / එන්ජින් වෛෂයිකව සංසන්දනය කර "මෙම පෙළ බෙදා හැරිය හැකිද?" ඔබ ප්රශ්නයට සංඛ්යාත්මක සීමාවකින් පිළිතුරු දෙයි. උදාහරණයක් ලෙස: විවේචනාත්මක දෝෂය = ලකුණු 10, ප්රධාන = 5, සුළු = 1; යම් වචනයකට නිශ්චිත සීමාවකට පහළින් පෙළ ගමන් කරයි.
විවේචනාත්මක දෝෂය: අර්ථය ප්රතිලෝම කරන දෝෂයක්, ආරක්ෂාව/නීතිමය අවදානමක් ඇති කරයි, වෙළඳ නාමයට හානි කරයි (වැරදි මාත්රාව, "වගකිවයුතු" වෙනුවට "වගකීමක් නැත"). ප්රධාන: බාධාකාරී නමුත් හානිකර නොවේ. සුළු: සැලකිය හැකි නමුත් අර්ථයෙන් අඩු නොවේ (සුළු විලාසය/විරාම ලකුණු).
AI පාලකයක් ලෙස භාවිතා කිරීම - සහ එහි සීමාවන්
දෝෂ රාමුවට එරෙහිව පරිවර්තනයක් පරීක්ෂා කිරීමට AI වේගවත් සහ උපකාරී වේ: ඔබට “MQM කාණ්ඩ සමඟ මෙම පරිවර්තනයේ නිවැරදි බව, පාරිභාෂිතය, චතුර දෝෂ සලකුණු කරන්න” යැයි පැවසිය හැකිය. එය ඔබගේ අන්ධ ලප අඩු කරන අතර ඔබට ඉක්මන් "දෙවන ඇස" ලබා දෙයි.
නමුත් තීරනාත්මක සීමාවන් තුනක් ඇත: (1) එය නිපදවන පරිවර්තනය පරීක්ෂා කිරීමේදී AI අන්ධ විය හැක - එකම වැරැද්ද සිදු කිරීම සහ තහවුරු කිරීම යන දෙකම; වෙනත් ආකෘතියක් සමඟ හරස් පරීක්ෂා කරන්න හෝ මූලාශ්රය වෙත ආපසු යන්න. (2) AI හට මායාවන් "දෝෂ" සෑදිය හැක - නොපවතින දෝෂයක් වාර්තා කරන්න; එක් එක් අනතුරු ඇඟවීම තහවුරු කරන්න. (3) AI හට බරපතල දෝෂයක සැබෑ ලෝකයේ බරපතලකම සම්පූර්ණයෙන් ග්රහණය කර ගත නොහැක (මාත්රා දෝෂයක් මාරාන්තික විය හැක); විශේෂඥයා බර තැබීම සිදු කරයි. එබැවින් AI QA වේගවත් කරයි, නමුත් අවසාන තත්ත්ව තීරණය සහ බෙදා හැරීමේ අනුමැතිය මිනිසා සතුය.
අවවාදයයි: "AI QA සමත් වී ඇත, එය පිරිසිදුයි" යැයි පැවසීම වැරදි විශ්වාසයකි. AI විගණනය මානව LQA සඳහා ආදේශකයක් නොවේ සහ මූලාශ්රය සමඟ සැසඳීම; එය පෙර-තිරීක්ෂණ ස්ථරයක් වන අතර එමඟින් ඒවා වේගවත් වේ.
කුඩා නඩු තුනක්
1 වන අවස්ථාව - ස්වයංක්රීය QA සංඛ්යා දෝෂ 40ක් සොයා ගන්නා ලදී. මූල්ය වාර්තා පරිවර්තනයකදී, ස්වයංක්රීය QA මූලාශ්රය සහ ඉලක්කය අතර අංක/ආකෘතියේ නොගැලපීම් 40ක් අල්ලා ගන්නා ලදී (දහසක් බෙදුම්කරු, දශම, මුදල්). මිනිස් ඇසට මේවායින් බොහොමයක් මග හැරෙනු ඇත; වාහනය තත්පර වලින් ලැයිස්තුගත කර ඇත.
2 වන අවස්ථාව - MQM ලකුණු එන්ජිම තෝරා ගැනීමට හේතු විය. එක් කාර්යාංශයක් MQM-විවිධ MT එන්ජින් දෙකක ප්රතිදානය වචන 2,000කින් ශ්රේණිගත කර ඇත: එන්ජිම A 12 දෝෂ ලක්ෂ්ය, එන්ජිම B 31. වෛෂයික මිනුම් මගින් "වඩා හොඳ කුමක්ද" යන විවාදය ලකුණු සමඟ විසඳා ඇත; කාර්යාංශය එන්ජිම A ප්රමිතිය බවට පත් කළ අතර ඒ අනුව එහි පසු-සංශෝධන අයවැය සැලසුම් කළේය.
නඩුව 3 - AI විගණනයට එහිම වැරදීමක් මග හැරී ඇත. පරිවර්තකයෙකුට LLM හි පරිවර්තනය එම LLM විසින්ම අධීක්ෂණය කරන ලදී; නිරූපිකාව "කිසිම ප්රශ්නයක් නැහැ" කියා පැවසුවේ ඇය විසින්ම කරන ලද පාරිභාෂිත දෝෂයකි. පරිවර්තකයා වෙනත් ආකෘතියක් සහ මූලාශ්රයක් සමඟ හරස් පරීක්ෂා කළ විට දෝෂය අනාවරණය විය; කණ්ඩායම "එකම ආකෘතියම තමාව පාලනය නොකළ යුතුය" යන රීතිය අනුගමනය කළේය.
පිටපත් කළ හැකි සැකිලි හතරක්
1) MQM මත පදනම් වූ දෝෂ පරීක්ෂා කිරීම:
ඔබේ කාර්යභාරය: LQA තක්සේරුකරු. පහත මූලාශ්රය සහ පරිවර්තනය සසඳන්න. ඔබ සොයා ගන්නා සෑම දෝෂයක්ම පහත ආකෘතියෙන් සපයන්න: [ප්රවර්ගය: නිරවද්යතාවය/පාරිභාෂිතය/ප්රත්යාස්ථතාව/විලාසය/ආකෘතිය] [බර: විවේචනාත්මක/ප්රධාන/සුළු] [ස්ථානය] [අදහස්] [නිවැරදි කිරීම]. ඔබට විශ්වාස නැති අනතුරු ඇඟවීම "තහවුරු කිරීම අවශ්ය" ලෙස සලකුණු කරන්න; errorfabrication.මූලාශ්රය: [...] | පරිවර්තනය: [...]
2) බරපතල දෝෂ ස්කෑන් කිරීම (ඉහළ අවදානම්):
පහත පරිවර්තනයේ පමණක් විවේචනාත්මක දෝෂ සඳහා සොයන්න: ප්රතිලෝම, අංකය/මාත්රාව/දින දෝෂය, නිෂේධනය නැතිවීම, නීතිමය බැඳීම් ආදේශ කිරීම, ආරක්ෂක අනතුරු ඇඟවීමේ දෝෂය යන අර්ථය. සුළු මෝස්තර ගැටළු නොසලකා හරින්න. එක් එක් තීරණාත්මක සොයාගැනීම් සඳහා මූලාශ්රය උපුටා දක්වන්න. මූලාශ්රය: [...] | පරිවර්තනය: [...]
3) ස්වයංක්රීය QA පරිපූරක පාලනය:
පහත මූලාශ්ර-ඉලක්ක යුගලවල විධිමත් නොගැලපීම් ලැයිස්තුගත කරන්න: අංක නොගැලපීම, නැතිවූ/අමතර ස්ථාන දරන්නා හෝ ටැගය, නොගැලපෙන පදය, පරිවර්තනය නොකළ කොටස, ඒකක/මුදල් වෙනස. ඔවුන්ගේ ස්ථානය පිළිබඳ ගැටළු පමණක් දෙන්න. යුගල: [...]
4) ස්වාධීන දෙවන ඇස (හරස් පරීක්ෂාව):
අගතියකින් තොරව මෙම පරිවර්තනය ඇගයීම; ඔබ එය ලිව්වා යැයි නොසිතන්න. විශ්වාසවන්තභාවය, පාරිභාෂිතය සහ ස්වභාවික භාවය සඳහා මූලාශ්රයට ගුණාත්මක ශ්රේණිගත කිරීමක් (1-5) ලබා දී ඉහළම ගැටලු 3 ලැයිස්තුගත කරන්න. එය තීරණය කිරීම මට භාරයි. මූලාශ්රය: [...] | පරිවර්තනය: [...]
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල: "මෙම පරිවර්තනය හොඳද?" (කිසිදු නිර්ණායකයක් නැත; AI "සාමාන්යයෙන් හොඳයි" වැනි නිෂ්ඵල පිළිතුරක් ලබා දෙයි.)
ශක්තිමත්: "මූලාශ්රයට එරෙහිව මෙම පරිවර්තනය පරීක්ෂා කරන්න. එක් එක් දෝෂය ප්රවර්ගය (නිරවද්යතාව/පාරිභාෂිතය/ප්රත්යාස්ථතාව) සහ බරපතලකම (විවේචනාත්මක/ප්රධාන/සුළු) සමඟ ලේබල් කරන්න. විශේෂයෙන් සංඛ්යා, නිෂේධනය සහ පාරිභාෂිත දෝෂ කෙරෙහි අවධානය යොමු කරන්න. දෝෂ ගොතන්න එපා; ඔබට විශ්වාස නැත්නම් 'තහවුරු කිරීම අවශ්ය' ලෙස සලකුණු කරන්න."
වෙනස: ශක්තිමත් විමසුම දෝෂ රාමුවක් සහ අවධානයක් ලබා දෙයි; ප්රතිදානය සැසඳිය හැකි සහ ක්රියාකාරී තත්ත්ව වාර්තාවකි.
ගුණාත්මක ස්ථර වගුව
ස්ථරය
අල්ලන දේ
කවුද / කරන්නේ
ඔටෝ QA
අංකය, ලේබලය, අනුකූලතාව
මෙවලම/ස්ක්රිප්ට්
AI පාලනය
විය හැකි අර්ථය/පාරිභාෂිත දෝෂ
LLM (තහවුරු කිරීම සමඟ)
මානව LQA
අර්ථය, ස්වරය, සංස්කෘතිය, බර
විශේෂඥ ඇගයුම්කරු
MQM/DQF ලකුණු
වෛෂයික දෝෂ ලකුණු
රාමුවක් සහිත මිනිසා
භාරදීම තහවුරු කිරීම
අවසාන වගකීම
දක්ෂ පරිවර්තකයෙක්
පොදු වැරදි
- ස්වයංක්රීය QA මඟ හැර කෙලින්ම කියවීමට පිවිසෙන්න. ශෛලීය දෝෂ අවධානය වෙනතකට යොමු කරයි.
- මානව LQA සමඟ AI පරීක්ෂාව ප්රතිස්ථාපනය කිරීම. AI පූර්ව තිර, අනුමත නොකරයි.
- එකම ආකෘතිය තිබීම එහිම පරිවර්තනය පරීක්ෂා කරන්න. අන්ධ ස්ථානය; හරස් පරීක්ෂා කිරීම අවශ්ය වේ.
- බර තැබීමේ දෝෂ නොවේ. විවේචනාත්මක සහ සුළු දේ එකම ලෙස දැකීම ප්රමුඛතාවයට බාධා කරයි.
- AI විසින් සාදන ලද "දෝෂ" තහවුරු කිරීමකින් තොරව නිවැරදි කිරීම. ඔබට නිවැරදි වාක්යය විකෘති කළ හැකිය.
ස්වයංක්රීය ප්රමිතික: BLEU, COMET සහ සීමාවන්
තත්ත්ව මැනීමේදී ස්වයංක්රීය මෙට්රික් ලෝකයක් ද තිබේ. BLEU (ද්විභාෂා ඇගයීම් අවබෝධය) යන්ත්ර පරිවර්තනයක් මානව යොමු පරිවර්තනයකට සංසන්දනය කර වචන අතිච්ඡාදනය මත පදනම්ව 0-100 ලකුණු ලබා දෙයි; එය දිගු කාලයක් MT පද්ධති සංසන්දනය කිරීමේ සම්මතය විය. නව මෙට්රික් එකක්, COMET, ස්නායුක ජාලය පදනම් වන අතර BLEU ට වඩා හොඳින් අර්ථකථන සමානතාව ග්රහණය කරයි. විශාල දත්ත මත එන්ජින් දෙකක් ඉක්මනින් සහ ස්වයංක්රීයව සංසන්දනය කිරීම සඳහා මෙම ප්රමිතික වටිනා වේ.
නමුත් එහි සීමාවන් පැහැදිලිය: BLEU වැනි ප්රමිතික වචන අතිච්ඡාදනය දෙස බලයි, ඇත්ත වශයෙන්ම අර්ථය තේරුම් නොගනී. යොමුවෙන් වෙනස් නමුත් නිවැරදි පරිවර්තනයකට අඩු ලකුණු ලැබිය හැක; යොමුවට සමාන නමුත් වැරදි පරිවර්තනයකට ඉහළ ලකුණු ලැබිය හැක. විවේචනාත්මක සෘණාත්මක දෝෂයක් යනු තනි වචනයක් වන බැවින් එය මෙට්රික් මත සුළු බලපෑමක් ඇති කරයි, නමුත් ඇත්ත වශයෙන්ම ව්යසනකාරී වේ. ස්වයංක්රීය ප්රමිතික පද්ධති මට්ටමින් ප්රවණතා මනිනු ලබන්නේ එබැවිනි, තනි පෙළක බෙදා හැරීම තීරණය නොකරයි. MQM මත පදනම් වූ මානව ඇගයීම සහ විශේෂඥ විනිශ්චය තීරණය කරන්නේ පරිවර්තනයක් සේවාලාභියා වෙත යන්න මිස ස්වයංක්රීය ලකුණු නොවේ. විනිශ්චයකරුවෙකු ලෙස නොව මාලිමා යන්ත්රයක් ලෙස ප්රමිතික භාවිතා කරන්න.
සාරාංශයකින්
පරිවර්තන ගුණාත්මකභාවය ආත්මීය හැඟීමක් නොවේ, එය මැනිය හැකි දෙයකි. ස්වයංක්රීය QA විධිමත් දෝෂ සඳහා හොඳින් පරිලෝකනය කරයි; මානව LQA අර්ථය, ස්වරය සහ සංස්කෘතිය ඇගයීමට ලක් කරයි; MQM වැනි දෝෂ රාමු වර්ග සහ බර අනුව ගුණාත්මකභාවය ප්රමාණනය කරයි, වෛෂයික සංසන්දනය සක්රීය කරයි. AI යනු මෙම පාලනය වේගවත් කරන ප්රබල දෙවන ඇසකි, නමුත් එය ස්වකීය පරිවර්තනයට අන්ධ විය හැකිය, වැරදි සිදු කළ හැකිය, සහ සැබෑ ලෝක බර සම්පූර්ණයෙන්ම ග්රහණය කර ගැනීමට අසමත් විය හැක; එබැවින්, අවසාන තත්ත්ව තීරණය, බර තැබීම සහ බෙදා හැරීමේ අනුමැතිය දක්ෂ පරිවර්තකයාට අයත් වේ.
යෙදුම් කාර්යය
යන්ත්ර පරිවර්තන ප්රතිදානයක් ලබා ගන්න. විධිමත් දෝෂ පළමුව "ස්වයංක්රීය QA පරිපූරක පරීක්ෂාව" සමඟින් ලැයිස්තුගත කරන්න, පසුව "MQM-පාදක දෝෂ පරීක්ෂාව" සමඟින් වර්ගීකරණය සහ බර අනුව භාෂාමය දෝෂ ලැයිස්තුගත කරන්න. මම සෑම දෝෂයක්ම (විවේචනාත්මක 10, ප්රධාන 5, සුළු 1) එක් වචනයකට සීමාවක් සහිතව ශ්රේණිගත කර "එය භාර දිය හැකිද?" ප්රශ්නයට පිළිතුරු දෙන්න. අවසාන වශයෙන්, AI විසින් සලකුණු කරන ලද දෝෂවලින් කොපමණ ප්රමාණයක් සත්යද සහ කොපමණ ප්රමාණයක් ගොතන ලද ඒවාද යන්න මූලාශ්රය සමඟ තහවුරු කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම ස්වයංක්රීය QA ධාවනය කර ඕනෑම විධිමත් දෝෂයක් පිරිසිදු කළෙමි.
- [ ] මම භාෂාමය දෝෂ කොටුවකින් සලකුණු කළෙමි (ප්රවර්ගය + බර).
- [ ] මම වෙනම, ප්රමුඛතා වටයකින් විවේචනාත්මක දෝෂ පරිලෝකනය කළෙමි.
- [ ] මම AI පාලනය මූලාශ්ර කර අවශ්ය නම් වෙනත් ආකෘතියකින් එය හරස් පරීක්ෂා කළෙමි.
- [ ] මම සංඛ්යාත්මක එළිපත්ත සහ මගේම විශේෂඥ විනිශ්චය මත පදනම්ව බෙදා හැරීමේ තීරණය ගත්තෙමි.