Girdeji:
- Awtomatiki QA bilen lingwistik LQA gatlaklaryny tapawutlandyrmak we ikisini hem dogry tertipde ulanmak
- MQM ýaly säwlik çarçuwasy bilen terjime kategoriýa we agram (kritiki / esasy / kiçi) boýunça obýektiw baha bermek ukyby;
- AI-ni auditor hökmünde ulananyňyzda iň soňky karary berip bilmek, öz terjimesine körlügini, ýalňyşlyklar töwekgelçiligini we awtomatiki ölçegleriň çäklerini bilmek.
Terjime "ýerine ýetirildi" diýlen pursat, bu işiň ýarysy; Beýleki ýarysy, terjimäniň hakykatdanam ygtybarlydygyny subut etmekdir. Bu bölümde terjime hilini ölçemegiň yzygiderli usullaryny öwrenersiňiz: awtomatiki QA barlaglary, adam esasly LQA ýalňyşlyk çarçuwalary, hil ölçegleri we AI-ni “inspektor” hökmünde nädip ulanmalydygyny we çäklerini öwrenersiňiz. Maksat "Gowy öýdýärin" subýektiwliginden daşlaşyp, hilini kesgitleýän, ölçän we subut edýän hünärmen bolmak.
Hil gözegçiliginiň iki görnüşi: awtomatiki we lingwistik
QA (Hil kepilligi) terjimede iki gatlakda işleýär:
Awtomatlaşdyrylan QA: CAT gurallarynyň we skriptleriniň tutýan stilistik ýalňyşlyklary - san gabat gelmezlik, ýitirilen / artykmaç ýer, gabat gelmeýän termin, terjime edilmedik segment, erbet ýer eýesi / belligi, goşa ýer, dyngy belgisi. Bular çalt we doly maşyn arkaly skanirlenýär; Adamyň gözünden gaçýar, ýöne ulag ony tutýar.
LQA (Lingwistik hiliň barlagy): Bu, adam baha berijiniň manysyny, terminologiýasyny, stilini, grammatikasyny we ýerli laýyklygyny barlaýan gatlakdyr. Awtomatlaşdyrylan QA "san gabat gelýärmi?" soraga seredýär; LQA “manysy dogry, äheň laýykmy, medeni taýdan laýykmy?” Soraga seredýär. Ikisi biri-birini doldurýar; Biri beýlekisini çalyşmaýar.
Maslahat: Elmydama ilki bilen Auto QA işlediň; Resmi ýalňyşlyklary arassalamak, adam baha berijisine hakyky dil meselelerine ünsi jemlemäge mümkinçilik berýär. San ýalňyşlygy bilen gyzyklanýan synçy, ses ýalňyşlygyny sypdyrar.
Roralňyşlyk çarçuwalary: MQM we DQF
Adaty ýalňyşlyk tipologiýalary “gowy / erbet” däl-de, hilini ölçemek üçin ulanylýar. Iň ýaýranlary MQM (Köp ölçegli hil ölçegleri): her ýalňyşlygy bir kategoriýa (takyklyk, arkaýynlyk, terminologiýa, stil, sebit, format) we agram (möhüm, esasy, kiçi) kategoriýa berýär. Başga bir çarçuwa DQF (Dynamic Quality Framework) bolup, MQM bilen bilelikde agzalýar.
Näme üçin bu möhüm? Sebäbi bu çarçuwada terjime üçin ýalňyşlyk görkezip, dürli terjimeçileri / dwigatelleri obýektiw deňeşdirip, "bu tekst iberilip bilnermi?" Diýip sorap bilersiňiz. Soraga san bosagasy bilen jogap berýärsiňiz. Mysal üçin: kritiki ýalňyşlyk = 10 bal, esasy = 5, kiçi = 1; Belli bir çäkden aşakdaky tekst belli bir söze geçýär.
Möhüm ýalňyşlyk: manysyny üýtgedýän, howpsuzlyk / kanuny töwekgelçiligi döredýän, marka zeper ýetirýän ýalňyşlyk (nädogry doza, "jogapkär" ýerine "jogapkär däl"). Maýor: bozujy, ýöne zyýansyz. Kiçijik: göze görnüp duran, ýöne manysyny aýyrmaýan (kiçi stil / dyngy belgisi).
AI-ni gözegçilik ediji hökmünde ulanmak - we onuň çäkleri
AI ýalňyşlyk çarçuwasyna garşy terjimesini barlamakda çalt we peýdaly: “MQM kategoriýalary bilen bu terjimäniň dogrulygyny, terminologiýasyny, erkinlik ýalňyşlyklaryny belläň” diýip bilersiňiz. Kör tegmilleriňizi azaldar we çalt "ikinji göz" berýär.
Threeöne üç sany möhüm çäk bar: (1) AI öndürýän terjimesini barlanda kör bolup biler - şol bir ýalňyşlygy goýbermek we tassyklamak; başga bir model bilen kesişiň ýa-da çeşmä gaýdyp geliň. (2) AI galýusinator “ýalňyşlyklary” hem düzüp biler - ýok ýalňyşlygy habar berer; Her duýduryşy tassyklaň. (3) AI möhüm ýalňyşlygyň hakyky dünýädäki agyrlygyna doly düşünip bilmez (dozanyň ýalňyşlygy ölüme sebäp bolup biler); Hünärmen agram salýar. Şeýlelik bilen AI QA-ny çaltlaşdyrýar, ýöne iň soňky hil karary we gowşuryş tassyklamasy adamda.
Üns beriň: "AI QA-dan geçdi, arassa" diýmek ýalan ynam duýgusy. AI barlagy adam LQA-ny çalyşmak we çeşme bilen deňeşdirmek däl; olary tizlige ýetirýän deslapky barlag gatlagy.
üç sany kiçi halat
1-nji hadysa - Awtomatlaşdyrylan QA 40 sany ýalňyşlyk tapdy. Maliýe hasabatynyň terjimesinde awtomatlaşdyrylan QA çeşme bilen nyşanyň (müň aýyryjy, onluk, walýuta) arasynda 40 sany / format gabat gelmedi. Ynsan gözi bularyň köpüsini küýseýärdi; sekuntda görkezilen ulag.
2-nji hadysa - MQM baly motoryň saýlanmagyna sebäp boldy. Bir býuro MQM iki dürli MT hereketlendirijisiniň çykyşyny 2000 söz bilen bahalandyrdy: Dwigatel A 12 ýalňyş nokady, B motor 31. Obýektiw ölçeg "has gowusy" jedelini bal bilen çözdi; Býuro “Motor A” -ny standart etdi we şoňa laýyklykda wersiýadan soňky býudjetini meýilleşdirdi.
3-nji hadysa - AI barlagy öz ýalňyşyny sypdyrdy. Terjimeçiniň LLM terjimesini şol bir LLM gözegçilik edýärdi; Model "problema ýok" diýdi, özi eden terminologiýa ýalňyşlygy. Thealňyşlyk terjimeçi başga bir model we çeşme bilen kesişende ýüze çykdy; Topar "şol bir model özüni dolandyrmaly däldir" diýen düzgüni kabul etdi.
Göçürip boljak dört şablon
1) MQM esasly ýalňyşlygy barlamak:
Siziň roluňyz: LQA baha beriji. Aşakdaky çeşmäni we terjimesini deňeşdiriň. Her ýalňyşlygy aşakdaky formatda beriň: [kategoriýa: takyklyk / terminologiýa / arassa / stil / format] [agram: tankydy / esasy / kiçi] [ýerleşýän ýer] [düşündiriş] [düzediş]. Özüňize ynamsyz duýduryşy "tassyklama talap edilýär" diýip belläň; ýalňyşlyk ýasamak. Çeşme: [...] | Terjime: [...]
2) Möhüm ýalňyş skaner (ýokary töwekgelçilik):
Diňe aşakdaky terjimede möhüm ýalňyşlyklary gözläň: terslik, san / doza / sene ýalňyşlygy, ýatyrylmak, kanuny borçnamanyň ornuny tutmak, howpsuzlyk duýduryş ýalňyşlygy. Ownuk stil meselelerine ähmiýet bermäň. Her bir möhüm tapyndy üçin çeşmä salgylanyň. Çeşme: [...] | Terjime: [...]
3) Awtomatiki QA goşmaça gözegçilik:
Aşakdaky çeşme maksatly jübütlerde resmi gapma-garşylyklary sanaň: san gabat gelmezlik, ýitirilen / goşmaça ýer eýesi ýa-da bellik, gabat gelmeýän termin, terjime edilmedik segment, birlik / walýuta tapawudy. Diňe ýerleşýän ýeri bilen baglanyşykly problemalary beriň. Jübütler: [...]
4) Garaşsyz ikinji göz (kesiş):
Bu terjime baha bermezden baha beriň; Wroteazan diýip pikir etmäň. Çeşmä wepalylyk, terminologiýa we tebigylyk üçin hil derejesini beriň (1-5) we iň esasy 3 meseläni sanaň. Men karar bermeli. Çeşme: [...] | Terjime: [...]
Gowşak haýyş / Güýçli haýyş
Gowşak: "Bu terjime gowymy?" (Hiç hili kriteriýa ýok; AI "umuman gowy." Aaly peýdasyz jogap berýär)
Güýçli: "Bu terjimesini çeşmä garşy barlaň. Her ýalňyşlygy kategoriýa (takyklyk / terminologiýa / arkaýynlyk) we agyrlyk (möhüm / esasy / kiçi) bilen belläň. Esasanam san, negatiw we terminologiýa ýalňyşlyklaryna üns beriň. Rorsalňyşlyklary ýasamaň; ynamsyz bolsaňyz" tassyklama zerur "belligini belläň."
Tapawut: güýçli teklip säwlik çarçuwasyny we fokus berýär; Çykyş deňeşdirip boljak we hereket edip boljak hil hasabatydyr.
Hil gatlaklary tablisasy
gatlak
näme tutýar
Kim / näme edýär
Awto QA
San, bellik, yzygiderlilik
Gural / skript
AI gözegçilik
Mümkin many / terminologiýa ýalňyşlyklary
LLM (tassyklama bilen)
Adam LQA
Manysy, äheňi, medeniýeti, agramy
bilermen
MQM / DQF bal
Obýektiw ýalňyş bal
çarçuwaly adam
Eltip bermegi tassyklamak
esasy jogapkärçilik
başarnykly terjimeçi
Adaty ýalňyşlyklar
- Awtomatlaşdyrylan QA-dan geçmek we göni okamaga girişmek. Stilistik ýalňyşlyklar ünsi sowýar.
- AI barlagyny adam LQA bilen çalyşmak. AI deslapky ekranlar, tassyklamaýar.
- Şol bir modeliň bolmagy, öz terjimesini barlaň. Kör ýer; haç barlamak zerur.
- Agram salmak säwlikleri däl. Tankytly we kiçi zady görmek ileri tutulýar.
- AI tarapyndan tassyklanan "ýalňyşlyklary" düzetmek. Dogry sözlemi ýoýup bilersiňiz.
Awtomatiki ölçegler: BLEU, COMET we çäkler
Hil ölçeginde awtomatlaşdyrylan ölçeg dünýäsi hem bar. BLEU (Bilingual Evaluation Understudy) maşyn terjimesini adam salgylanma terjimesi bilen deňeşdirýär we sözleriň gabat gelmegi esasynda 0-100 bal berýär; Uzak wagtlap MT ulgamlaryny deňeşdirmek üçin standartdy. Has täze ölçeg, COMET, nerw ulgamyna esaslanýar we semantik meňzeşligi BLEU-dan has gowy alýar. Bu ölçegler uly maglumatlary iki motory çalt we awtomatiki deňeşdirmek üçin gymmatlydyr.
Itsöne onuň çäkleri düşnüklidir: BLEU ýaly ölçegler manysyna düşünmän, sözleriň bir-birine gabat gelmegine seredýär. Salgydan tapawutlanýan, ýöne takyk terjime pes bal alyp biler; Salgylanma meňzeş, ýöne nädogry terjime ýokary bal alyp biler. Kritiki negatiw ýalňyşlyk ýekeje söz, şonuň üçin bu ölçege az täsir edýär, ýöne aslynda katastrofiki. Şonuň üçin awtomatiki ölçegler aýratyn tekstiň elýeterliligini kesgitlemän, ulgam derejesindäki tendensiýalary ölçýär. MQM esasly adam bahalandyrmasy we bilermenleriň pikiri, terjimäniň awtomatiki bal däl-de, müşderä gidýändigini ýa-da ýokdugyny kesgitleýär. Ölçegleri kazy däl-de, kompas hökmünde ulanyň.
Gysgaça
Terjimäniň hili subýektiw duýgy däl, ölçäp bolýan zat. Awtomatiki QA resmi ýalňyşlyklary düýpli gözden geçirýär; adam LQA manysyna, äheňine we medeniýetine baha berýär; MQM ýaly säwlik çarçuwalary obýektiw deňeşdirmäni üpjün edip, hilini kategoriýa we agram boýunça kesgitleýär. AI bu gözegçiligi çaltlaşdyrýan güýçli ikinji göz, ýöne öz terjimesine göz ýumup, ýalňyşlyk goýberip we hakyky dünýä agramyna doly düşünip bilmez; Şonuň üçin hiliň soňky karary, agramy we gowşurylyşy tassyklamak başarnykly terjimeçä degişlidir.
Programma meselesi
Maşyn terjimesini alyň. Ilki bilen "awtomatiki QA goşmaça barlag" bilen resmi ýalňyşlyklary sanaň, soňra "MQM esasly ýalňyş barlagy" bilen kategoriýa we agram boýunça lingwistik ýalňyşlyklary sanaň. Her ýalňyşlygy (kritiki 10, esasy 5, kiçi 1) her sözüň bosagasy bilen bahalandyrýaryn we "gowşuryp bolarmy?" Soraga jogap beriň. Netijede, AI bilen bellenen ýalňyşlyklaryň näçesiniň hakykydygyny we näçesiniň ýasalandygyny çeşme bilen tassyklaň.
gözegçilik sanawy
- [] Awtomatiki QA işledim we resmi ýalňyşlyklary arassaladym.
- [] Lingwistik ýalňyşlyklary guty (kategoriýa + agram) bilen belledim.
- [] Möhüm ýalňyşlyklary aýratyn, ileri tutulýan tapgyrda gözden geçirdim.
- [] AI dolandyryşyny gözledim we zerur bolsa başga model bilen kesip aldym.
- [] San beriş çägine we öz bilermenimiň pikirine esaslanyp, gowşuryş kararyny berdim.