Aonad 8 / 11

Rialú Cáilíochta (QA), Méadracht Mheastóireachta agus LQA

Gnóthachain:

  • Cumas idirdhealú a dhéanamh idir sraitheanna uathoibríocha QA agus LQA teanga agus an dá cheann a chur i bhfeidhm san ord ceart
  • Cumas an t-aistriúchán a mheas go hoibiachtúil de réir catagóire agus meáchain (criticiúil/mór/mionaoiseach) le creat earráide mar MQM
  • A bheith in ann an cinneadh deiridh a dhéanamh agus AI á úsáid mar iniúchóir, fios a bheith aige ar a dhaille ar a aistriúchán féin, ar an mbaol botúin a dhéanamh, agus ar theorainneacha na méadrachta uathoibrithe

An nóiméad a deir tú aistriúchán "déanta", sin leath na hoibre; Is é an leath eile a chruthú go bhfuil an t-aistriúchán sin iontaofa i ndáiríre. San aonad seo, foghlaimeoidh tú bealaí córasacha chun cáilíocht aistriúcháin a thomhas: seiceálacha QA uathoibrithe, creataí earráide LQA daonna-bhunaithe, méadracht cháilíochta, agus conas AI a úsáid mar “chigire” — agus a theorainneacha. Is é an aidhm ná bogadh ar shiúl ó shuibiachtúlacht "Sílim go bhfuil sé go maith" agus a bheith i do shaineolaí a shainmhíníonn, a thomhaiseann agus a chruthaíonn cáilíocht.

Dhá chineál rialaithe cáilíochta: uathoibríoch agus teanga

Oibríonn QA (Dearbhú Cáilíochta) in dhá shraith san aistriúchán:

QA Uathoibrithe: Earráidí stíle a ghlactar le huirlisí agus scripteanna CAT – aimhréiteach uimhreacha, spás in easnamh/farasbarr, téarma neamh-chomhsheasmhach, teascán neamhaistrithe, droch-áitshealbhóir/clib, spás dúbailte, poncaíocht. Déantar iad seo a scanadh go tapa agus go hiomlán ag meaisín; Éalaíonn sé an tsúil dhaonna, ach glacann an fheithicil é.

LQA (Dearbhú Cáilíochta Teangeolaíoch): Seo an ciseal ina scrúdaíonn meastóir daonna brí, téarmaíocht, stíl, gramadach agus oiriúnacht áitiúil. QA uathoibrithe "an ionann an uimhir?" breathnaíonn ar an gceist; LQA “an bhfuil an bhrí ceart, an bhfuil an ton oiriúnach, an bhfuil sé oiriúnach go cultúrtha?” Breathnaíonn sé ar an gceist. Comhlánaíonn an dá cheann a chéile; Ní chuireann ceann amháin in ionad an duine eile.

Leid: Rith Auto QA ar dtús i gcónaí; Nuair a dhéantar earráidí foirmiúla a ghlanadh is féidir leis an meastóir daonna aird a dhíriú ar fhíorfhadhbanna teanga. Caillfidh athbhreithneoir a bhfuil bac leis an earráid uimhreach an earráid toin.

Frámaí earráide: MQM agus DQF

Úsáidtear gnáthchineálacha earráide chun cáilíocht a dhéanamh intomhaiste seachas “maith/olc”. Is é an ceann is coitianta ná MQM (Méadracht Cháilíochta Iltoiseach): sannann sé gach earráid do chatagóir (cruinneas, líofacht, téarmaíocht, stíl, ceantar, formáid) agus meáchan (criticiúil, mór, mion). Creat eile is ea DQF (Creat Cáilíochta Dinimiciúla) agus luaitear é in éineacht le MQM.

Cén fáth a bhfuil sé tábhachtach? Toisc leis an gcreat seo, is féidir leat scór earráide a thabhairt d'aistriúchán, comparáid a dhéanamh go hoibiachtúil idir aistritheoirí/innill éagsúla agus fiafraí "an féidir an téacs seo a sheachadadh?" Freagraíonn tú an cheist le tairseach uimhriúil. Mar shampla: earráid chriticiúil = 10 bpointe, mór = 5, mion = 1; Gabhann téacs faoi thairseach áirithe in aghaidh an fhocail áirithe.

Earráid chriticiúil: earráid a aisiompaíonn brí, a chruthaíonn riosca slándála/dlí, a dhéanann damáiste don bhranda (dáileog mhícheart, “neamhfhreagrach” in ionad “freagrach”). Mór: suaiteach ach neamhdhíobhálach. Mion: suntasach ach gan a bheith ag baint leis an gciall (mionstíl/poncaireacht).

Ag baint úsáide as AI mar rialtóir - agus a theorainneacha

Bíonn AI tapa agus cabhrach chun aistriúchán a sheiceáil i gcoinne an chreata earráidí: is féidir leat “cirt, téarmaíocht, earráidí líofachta a mharcáil san aistriúchán seo le catagóirí MQM”. Laghdaíonn sé do spotaí dalla agus tugann sé "dara súl" tapa duit.

Ach tá trí theorainn ríthábhachtacha ann: (1) Is féidir le AI a bheith dall agus an t-aistriúchán a tháirgeann sé á sheiceáil — an botún céanna a dhéanamh agus a dhearbhú; cros-seiceáil le múnla eile nó filleadh ar an bhfoinse. (2) Is féidir le AI “earráidí” bréagchánach a dhéanamh freisin — earráid nach bhfuil ann a thuairisciú; Deimhnigh gach rabhadh. (3) ní fhéadfaidh an AI tuiscint iomlán a fháil ar dhéine fíor-domhan earráid chriticiúil (is féidir le hearráid dáileog a bheith marfach); Déanann an saineolaí an t-ualú. Mar sin luasann AI QA, ach is leis an duine atá an cinneadh cáilíochta deiridh agus an cead seachadta.

Rabhadh: Ag rá "AI tar éis QA a rith, tá sé glan" Is mothú bréagach muiníne. Níl iniúchadh AI in ionad LQA daonna agus comparáid a dhéanamh leis an bhfoinse; is ciseal réamhscagtha é a chuireann suas le luas iad.

trí chás mion

Cás 1 — Fuarthas QA uathoibrithe 40 earráid uimhreach. In aistriúchán ar thuarascáil airgeadais, fuair QA uathoibrithe 40 neamhréir uimhreach/formáide idir foinse agus sprioc (míle deighilteoir, deachúlach, airgeadra). Chaillfeadh an tsúil dhaonna an chuid is mó díobh seo; feithicil a liostaítear i soicindí.

Cás 2 — roghnaíodh an t-inneall mar thoradh ar scór MQM. Rinne biúró amháin MQM rátáil aschuir dhá inneall MT éagsúla ag 2,000 focal: Inneall A 12 pointe earráide, Inneall B 31. Shocraigh tomhas oibiachtúil an díospóireacht "atá níos fearr" le scór; Rinne an biúró Inneall A an caighdeán agus phleanáil sé a bhuiséad iar-athbhreithnithe dá réir.

Cás 3 — Chaill iniúchadh AI a botún féin. Bhí aistriúchán LLM faoi stiúir an LLM céanna ag aistritheoir; Dúirt an tsamhail "gan fadhb", earráid téarmaíochta a rinne sí í féin. Nochtadh an earráid nuair a chros-seiceáil an t-aistritheoir samhail agus foinse eile; Ghlac an fhoireann leis an riail “nár cheart don tsamhail chéanna é féin a rialú”.

Ceithre theimpléad inchóipeála

1) Seiceáil earráide bunaithe ar MQM:

Do ról: measúnóir LQA. Déan comparáid idir an fhoinse agus an t-aistriúchán thíos. Tabhair gach earráid a aimsíonn tú san fhormáid seo a leanas: [catagóir: cruinneas/téarmaíocht/líofacht/stíl/formáid][meáchan: criticiúil/mór/mion] [suíomh] [trácht] [ceartúchán]. Marcáil an rabhadh nach bhfuil tú cinnte faoi mar "dearbhú ag teastáil"; errorfabrication.Source: [...] | Aistriúchán: [...]

2) Scanadh earráid chriticiúil (ardriosca):

Cuardaigh earráidí criticiúla AMHÁIN san aistriúchán thíos: rud a chiallaíonn inbhéartú, earráid uimhreach/dáileog/dáta, cailliúint diúltaithe, ionadú oibleagáide dlí, earráid rabhaidh sábháilteachta. Déan neamhaird de mhioncheisteanna stílithe. Luaigh an fhoinse do gach toradh criticiúil.Foinse: [...] | Aistriúchán: [...]

3) Rialú forlíontach QA uathoibríoch:

Liostaigh na neamhréireachtaí foirmiúla sna péirí foinse-sprioc seo a leanas: neamhréir uimhreacha, ionadsealbhóir nó clib in easnamh/breise, téarma neamh-chomhsheasmhach, teascán neamhaistrithe, difríocht aonaid/airgeadra. Just a thabhairt ar na fadhbanna lena suíomh. Péirí: [...]

4) An dara súl neamhspleách (tras-seiceáil):

Déan an t-aistriúchán seo a mheas GAN PREJUDICE; Ná glac leis gur scríobh tú é. Tabhair rátáil cáilíochta don fhoinse (1-5) maidir le dílseacht, téarmaíocht agus nádúrthacht, agus liostaigh na 3 fhadhb is mó. Is fúmsa atá sé cinneadh a dhéanamh. Foinse: [...] | Aistriúchán: [...]

Leid lag / Pras láidir

Lag: "An bhfuil an t-aistriúchán seo go maith?" (Gan critéir; tugann an AI freagra gan úsáid mar "go maith i gcoitinne.")

Strong: "Seiceáil an t-aistriúchán seo i gcoinne na foinse. Cuir lipéad ar gach earráid le catagóir (cruinneas/téarmaíocht/líofacht) agus déine (criticiúil/mór/mionaoiseach). Dírigh go háirithe ar earráidí uimhreach, diúltacha agus téarmaíochta. Ná déan earráidí; marcáil 'dearbhú ag teastáil' mura bhfuil tú cinnte."

Difríocht: tugann leid láidir fráma earráide agus fócas; Is tuarascáil cháilíochta inchomparáide agus inghníomhaithe é an t-aschur.

Tábla sraitheanna cáilíochta

ciseal

cad a ghabháil

Cé/cad a dhéanann

Auto QA

Uimhir, lipéad, comhsheasmhacht

Uirlis/script

Rialú AI

Earráidí féideartha brí/téarmaíochta

LLM (le deimhniú)

LQA daonna

Brí, ton, cultúr, meáchan

meastóir saineolaí

Scór MQM/DQF

Scór earráide oibiachtúil

daonna le fráma

Deimhniú seachadta

freagracht deiridh

aistritheoir inniúil

Botúin choitianta

  • Gan bacadh leis an QA uathoibrithe agus dul díreach isteach sa léitheoireacht. Déanann earráidí stíle aird a tharraingt.
  • In ionad iniúchadh AI le LQA daonna. Réamhscáileáin AI, ní fhormheas.
  • Ag an múnla céanna seiceáil a aistriúchán féin. láthair dall; cros-seiceáil ag teastáil.
  • Gan earráidí ualaithe. Má fheiceann tú criticiúil agus mion mar an gcéanna, cuireann sé isteach ar an tosaíocht.
  • Ceartú "earráidí" déanta suas ag an AI gan iad a dhearbhú. Is féidir leat an abairt cheart a shaobhadh.

Méadracht uathoibríoch: BLEU, COMET agus teorainneacha

Tá domhan méadrachta uathoibrithe i dtomhas cáilíochta ann freisin. Déanann BLEU (Bilingual Evaluation Understudy) aistriúchán meaisín a chur i gcomparáid le haistriúchán tagartha daonna agus tugann sé scór 0-100 bunaithe ar fhorluí focal; Ba é an caighdeán chun córais MT a chur i gcomparáid le fada an lá. Tá méadrach níos nuaí, COMET, bunaithe ar ghréasán néarúil agus glacann sé cosúlacht shéimeantach níos fearr ná BLEU. Tá na méadrachtaí seo luachmhar chun dhá inneall a chur i gcomparáid go tapa agus go huathoibríoch ar shonraí móra.

Ach tá a theorainneacha soiléir: Breathnaíonn méadracht cosúil le BLEU ar fhorluí focal, ní thuigtear brí i ndáiríre. D’fhéadfadh go bhfaigheadh ​​aistriúchán atá difriúil ón tagairt ach atá cruinn scór íseal; Seans go bhfaighidh aistriúchán atá cosúil leis an tagairt ach mícheart scór ard. Focal amháin is ea earráid dhiúltach chriticiúil agus mar sin is beag an tionchar a bhíonn aige ar an méadrach, ach is tubaisteach é i ndáiríre. Sin an fáth a thomhaiseann méadracht uathoibrithe treochtaí ag leibhéal an chórais, ní chinneann siad inseachadacht téacs aonair. Cinneann meastóireacht dhaonna bunaithe ar MQM agus breithiúnas saineolach an dtéann aistriúchán chuig an gcliant, ní scór uathoibríoch. Bain úsáid as méadracht mar chompás, ní mar bhreitheamh.

Go hachomair

Ní mothú suibiachtúil é cáilíocht an aistriúcháin, is rud intomhaiste é. Déanann QA uathoibríoch scanadh críochnúil le haghaidh earráidí foirmiúla; déanann LQA daonna brí, ton agus cultúr a mheas; Déanann creataí earráide ar nós MQM cáilíocht a chainníochtú de réir catagóire agus meáchain, rud a chumasaíonn comparáid oibiachtúil. Is dara súl cumhachtach é AI a luathaíonn an rialú seo, ach is féidir leis a bheith dall ar a aistriúchán féin, botúin a dhéanamh, agus teip a thuiscint go hiomlán ar mheáchan an fhíorshaol; Dá bhrí sin, is leis an aistritheoir inniúil an cinneadh deiridh cáilíochta, ualú agus seachadadh.

Tasc feidhmchláir

Faigh aschur aistriúcháin meaisín. Liostaigh earráidí foirmiúla ar dtús le "seiceáil fhorlíontach QA uathoibríoch", ansin liostaigh earráidí teanga de réir catagóire agus meáchain le "seiceáil earráide bunaithe ar MQM". Rátaím gach earráid (criticiúil 10, mór-5, mionaoiseach 1) le tairseach in aghaidh an fhocail agus fiafraí de "an féidir é a sheachadadh?" Freagair an cheist. Ar deireadh, deimhnigh leis an bhfoinse cé mhéad de na hearráidí a luaigh an AI atá fíor agus cé mhéad atá déanta.

seicliosta

  • [ ] Rith mé QA uathoibríoch agus ghlan mé suas aon earráidí foirmiúla.
  • [ ] Mharcáil mé earráidí teanga le bosca (catagóir + meáchan).
  • [ ] Scanadh mé earráidí criticiúla i mbabhta tosaíochta ar leith.
  • [ ] Fuair ​​mé an rialú AI agus chros-seiceáil mé é le múnla eile más gá.
  • [ ] Rinne mé an cinneadh seachadta bunaithe ar an tairseach uimhriúil agus ar mo bhreithiúnas saineolaí féin.