Pelnas:
- Gebėjimas atskirti automatinį kokybės užtikrinimą ir kalbinį LQA sluoksnius ir juos taikyti tinkama tvarka
- Gebėjimas objektyviai įvertinti vertimą pagal kategoriją ir svorį (kritinis/svarbus/nedidelis) naudojant klaidų sistemą, pvz., MQM
- Galimybė priimti galutinį sprendimą, kai AI naudojamas kaip auditorius, žinant jo aklumą savo vertimui, klaidų riziką ir automatizuotos metrikos ribas.
Tą akimirką, kai sakote, kad vertimas atliktas, tai pusė darbo; Kita pusė – įrodyti, kad tas vertimas iš tiesų patikimas. Šiame skyriuje išmoksite sistemingų vertimo kokybės matavimo būdų: automatinių kokybės užtikrinimo patikrų, žmogaus pagrįstų LQA klaidų sistemų, kokybės metrikos ir kaip naudoti dirbtinį intelektą kaip „inspektorių“ ir jo ribas. Siekiama nutolti nuo subjektyvumo „manau, kad tai gerai“ ir tapti ekspertu, kuris apibrėžia, matuoja ir įrodo kokybę.
Dviejų tipų kokybės kontrolė: automatinė ir kalbinė
QA (kokybės užtikrinimas) vertime veikia dviem lygmenimis:
Automatizuotas kokybės užtikrinimas: stilistinės klaidos, kurias užfiksuoja CAT įrankiai ir scenarijai – skaičių neatitikimas, trūkstamas / perteklinis tarpas, nenuoseklus terminas, neišverstas segmentas, netinkama vietos rezervavimo priemonė / žyma, dvigubas tarpas, skyrybos ženklai. Juos greitai ir visiškai nuskaito mašina; Jis nepatenka į žmogaus akis, tačiau transporto priemonė jį užklumpa.
LQA (lingvistinės kokybės užtikrinimas): tai sluoksnis, kuriame vertintojas tiria prasmę, terminologiją, stilių, gramatiką ir vietos tinkamumą. Automatinis QA "ar skaičius atitinka?" žiūri į klausimą; LQA „ar teisinga reikšmė, ar tinkamas tonas, ar jis tinkamas kultūriškai? Jis žiūri į klausimą. Abu papildo vienas kitą; Vienas nepakeičia kito.
Patarimas: visada pirmiausia paleiskite Auto QA; Formalių klaidų išvalymas leidžia vertintojui skirti dėmesio tikroms kalbinėms problemoms. Recenzentas, kuris vargina numerio klaidą, nepastebės tono klaidos.
Klaidų rėmeliai: MQM ir DQF
Standartinės klaidų tipologijos naudojamos, kad kokybė būtų išmatuojama, o ne „gera / bloga“. Labiausiai paplitusi yra MQM (Multidimensional Quality Metrics): kiekviena klaida priskiriama kategorijai (tikslumas, sklandumas, terminologija, stilius, vieta, formatas) ir svoriui (kritinė, pagrindinė, nedidelė). Kita sistema yra DQF (Dynamic Quality Framework) ir minima kartu su MQM.
Kodėl tai svarbu? Nes naudodami šią sistemą galite įvertinti vertimo klaidą, objektyviai palyginti skirtingus vertėjus / variklius ir paklausti „ar šis tekstas gali būti pristatytas? Jūs atsakote į klausimą naudodami skaitinį slenkstį. Pavyzdžiui: kritinė klaida = 10 balų, pagrindinė = 5, nedidelė = 1; tekstas, esantis žemiau tam tikros ribos, praeina už tam tikrą žodį.
Kritinė klaida: klaida, kuri apverčia prasmę, sukuria saugumą/teisinę riziką, pažeidžia prekės ženklą (netinkama dozė, „neatsakingas“ vietoj „atsakingas“). Pagrindinis: trikdantis, bet nekenksmingas. Nedidelis: pastebimas, bet neprarandantis reikšmės (nereikšmingas stilius/skyrybos ženklai).
AI kaip valdiklio naudojimas ir jo ribos
AI yra greitas ir naudingas tikrinant vertimą pagal klaidų sistemą: galite pasakyti „pažymėkite šio vertimo teisingumą, terminologiją, sklandumo klaidas naudodami MQM kategorijas“. Tai sumažina jūsų akląsias zonas ir suteikia jums greitą „antrą akį“.
Tačiau yra trys kritinės ribos: (1) AI gali būti aklas, kai tikrina savo sukurtą vertimą – ir daro, ir patvirtina tą pačią klaidą; patikrinkite su kitu modeliu arba grįžkite į šaltinį. (2) AI taip pat gali sukelti haliucinacines „klaidas“ – pranešti apie neegzistuojančią klaidą; Patvirtinkite kiekvieną įspėjimą. (3) AI gali nevisiškai suvokti realaus kritinės klaidos sunkumą (dozės klaida gali būti mirtina); Ekspertas atlieka svorį. Taigi AI pagreitina kokybės užtikrinimą, tačiau galutinį sprendimą dėl kokybės ir pristatymo patvirtinimą turi priimti žmogus.
Atsargiai: pasakymas „AI praėjo QA, jis yra švarus“ yra klaidingas pasitikėjimo jausmas. DI auditas nepakeičia žmogaus LQA ir palyginimo su šaltiniu; tai išankstinio patikrinimo sluoksnis, kuris juos pagreitina.
trys mini dėklai
1 atvejis – automatizuotas QA aptiko 40 skaičių klaidų. Vertinant finansines ataskaitas, automatizuotas kokybės užtikrinimas užfiksavo 40 šaltinio ir tikslo skaičių / formatų neatitikimų (tūkstančio skyriklis, dešimtainė dalis, valiuta). Žmogaus akis praleistų daugumą jų; transporto priemonė nurodyta sekundėmis.
2 atvejis – MQM balas paskatino variklio pasirinkimą. Vienas biuras MQM įvertino dviejų skirtingų MT variklių našumą 2000 žodžių: A variklis – 12 klaidų taškų, variklis B – 31. Objektyvus matavimas išsprendė diskusiją „kuris yra geresnis“ balu; Biuras padarė A variklį standartu ir atitinkamai suplanavo biudžetą po peržiūros.
3 atvejis – AI auditas praleido savo klaidą. Vertėjas LLM vertimą prižiūrėjo ta pačia LLM; Modelis pasakė „jokių problemų“, terminologijos klaidą padarė pati. Klaida buvo atskleista, kai vertėjas patikrino kitą modelį ir šaltinį; Komanda priėmė taisyklę, kad „tas pats modelis neturėtų savęs valdyti“.
Keturi kopijuojami šablonai
1) MQM pagrįstas klaidų tikrinimas:
Jūsų vaidmuo: LQA vertintojas. Palyginkite toliau pateiktą šaltinį ir vertimą. Pateikite kiekvieną aptiktą klaidą tokiu formatu: [kategorija: tikslumas/terminologija/sklandumas/stilius/formatas][svoris: kritinis/svarbi/nereikšmingas] [vieta] [komentaras] [pataisymas]. Pažymėkite įspėjimą, dėl kurio nesate tikri, kaip „reikia patvirtinimo“; klaidos gamyba.Šaltinis: [...] | Vertimas: [...]
2) Kritinių klaidų nuskaitymas (didelė rizika):
Kritinių klaidų ieškokite TIK toliau pateiktame vertime: reikšmė inversija, skaičiaus/dozės/datos klaida, neigimo praradimas, teisinio įsipareigojimo pakeitimas, saugos įspėjimo klaida. Nepaisykite nedidelių stiliaus problemų. Nurodykite kiekvieno kritinio radinio šaltinį.Šaltinis: [...] | Vertimas: [...]
3) Automatinis QA papildomas valdymas:
Išvardykite formalius šių šaltinio ir tikslinių porų neatitikimus: skaičių neatitikimas, trūkstamas / papildomas vietos rezervavimo ženklas arba žyma, nenuoseklus terminas, neišverstas segmentas, vieneto / valiutos skirtumas. Tiesiog nurodykite problemas, susijusias su jų vieta. Poros: [...]
4) Nepriklausoma antroji akis (kryžminis patikrinimas):
Įvertinkite šį vertimą BE IŠANKŠTAI; Nemanykite, kad tai parašėte. Suteikite šaltiniui kokybės įvertinimą (1–5) už ištikimybę, terminologiją ir natūralumą ir išvardykite 3 pagrindines problemas. Aš turiu nuspręsti. Šaltinis: [...] | Vertimas: [...]
Silpnas raginimas / Stiprus raginimas
Silpnas: "Ar šis vertimas geras?" (Jokių kriterijų; AI pateikia nenaudingą atsakymą, pavyzdžiui, „paprastai geras“.)
Stiprus: "Patikrinkite šį vertimą pagal šaltinį. Kiekvieną klaidą pažymėkite kategorija (tikslumas / terminologija / sklandumas) ir sunkumo laipsniu (kritinė / pagrindinė / nedidelė). Ypatingą dėmesį skirkite skaičiaus, neigimo ir terminų klaidoms. Nekurkite klaidų; pažymėkite „reikia patvirtinimo“, jei nesate tikri.
Skirtumas: stiprus raginimas pateikia klaidos rėmelį ir fokusavimą; Rezultatas yra palyginama ir veiksminga kokybės ataskaita.
Kokybiškų sluoksnių lentelė
sluoksnis
kas pagauna
Kas/ką daro
Auto QA
Skaičius, etiketė, konsistencija
Įrankis / scenarijus
AI valdymas
Galimos reikšmės/terminologijos klaidos
LLM (su patvirtinimu)
Žmogaus LQA
Reikšmė, tonas, kultūra, svoris
ekspertas vertintojas
MQM/DQF balas
Objektyvus klaidos balas
žmogus su rėmeliu
Pristatymo patvirtinimas
galutinė atsakomybė
kompetentingas vertėjas
Dažnos klaidos
- Praleidžiate automatizuotą kokybės užtikrinimą ir iškart pradedate skaityti. Stilistinės klaidos atitraukia dėmesį.
- AI tikrinimo pakeitimas žmogaus LQA. AI iš anksto tikrina, nepatvirtina.
- Turėdami tą patį modelį, patikrinkite jo vertimą. Akloji vieta; reikalingas kryžminis patikrinimas.
- Ne svorio klaidų. Kritiško ir smulkaus suvokimas kaip tas pats, suardo prioritetą.
- AI padarytų „klaidų“ taisymas jų nepatvirtinus. Galite iškraipyti teisingą sakinį.
Automatinė metrika: BLEU, COMET ir ribos
Taip pat yra automatizuotų kokybės matavimo metrikų pasaulis. BLEU (Bilingual Evaluation Understudy) lygina mašininį vertimą su žmogaus nuorodos vertimu ir suteikia 0–100 balų pagal žodžių sutapimą; Tai buvo MT sistemų palyginimo standartas ilgą laiką. Naujesnė metrika COMET yra pagrįsta neuroniniais tinklais ir užfiksuoja semantinį panašumą geriau nei BLEU. Ši metrika yra vertinga norint greitai ir automatiškai palyginti du variklius naudojant didelius duomenis.
Tačiau jo ribos yra aiškios: tokios metrikos kaip BLEU žiūri į žodžių sutapimą, iš tikrųjų nesupranta prasmės. Vertimas, kuris skiriasi nuo nuorodos, bet yra tikslus, gali būti įvertintas žemai; Vertimas, panašus į nuorodą, bet neteisingas, gali būti įvertintas aukštu balu. Kritinė neigiamumo klaida yra vienas žodis, todėl ji turi mažai įtakos metrikai, bet iš tikrųjų yra katastrofiška. Štai kodėl automatinė metrika matuoja tendencijas sistemos lygmeniu, o ne apsprendžia atskiro teksto pristatymą. MQM pagrįstas žmogaus vertinimas ir ekspertų sprendimas nusprendžia, ar vertimas atitenka klientui, o ne automatinis balas. Naudokite metriką kaip kompasą, o ne teisėją.
Apibendrinant
Vertimo kokybė nėra subjektyvus jausmas, tai kažkas išmatuojama. Automatinis kokybės užtikrinimas kruopščiai nuskaito formalias klaidas; žmogaus LQA įvertina prasmę, toną ir kultūrą; Klaidų sistemos, tokios kaip MQM, kiekybiškai įvertina kokybę pagal kategoriją ir svorį, kad būtų galima objektyviai palyginti. AI yra galinga antroji akis, kuri pagreitina šį valdymą, tačiau ji gali būti akla savo vertimui, padaryti klaidų ir nesugebėti visiškai suvokti realaus pasaulio svorio; Todėl galutinis sprendimas dėl kokybės, svorio ir pristatymo patvirtinimas priklauso kompetentingam vertėjui.
Taikymo užduotis
Gaukite mašininio vertimo išvestį. Pirmiausia išvardykite formalias klaidas naudodami „automatinį kokybės užtikrinimo papildomą tikrinimą“, tada kalbines klaidas pagal kategorijas ir svorį su „MQM pagrįsta klaidų patikra“. Vertinu kiekvieną klaidą (kritinė 10, pagrindinė 5, nedidelė 1) su slenksčiu vienam žodžiui ir klausiu "ar tai galima padaryti?" Atsakykite į klausimą. Galiausiai su šaltiniu patvirtinkite, kiek klaidų, kurias pažymėjo AI, yra tikros, o kiek išgalvotų.
kontrolinis sąrašas
- [ ] Paleidau automatinį kokybės užtikrinimą ir išvaliau visas formalias klaidas.
- [ ] Kalbos klaidas pažymėjau langeliu (kategorija + svoris).
- [ ] Esu nuskaitęs kritines klaidas atskirame, prioritetiniame etape.
- [ ] Gavau dirbtinio intelekto valdiklį ir, jei reikia, patikrinau jį su kitu modeliu.
- [ ] Priėmimo sprendimą priėmiau remdamasis skaitine riba ir savo eksperto nuomone.