Riba:
- Ƙarfin rarrabe tsakanin QA atomatik da yadudduka na LQA na harshe kuma a yi amfani da su duka cikin tsari daidai
- Ikon tantance fassarar da haƙiƙa bisa ga nau'i da nauyi (mahimmanci / babba / ƙarami) tare da tsarin kuskure kamar MQM
- Samun damar yanke shawara ta ƙarshe lokacin amfani da AI a matsayin mai duba, sanin makanta ga fassararsa, haɗarin yin kuskure, da iyakokin ma'auni mai sarrafa kansa.
Lokacin da ka ce fassarar "an gama", rabin aikin ke nan; Sauran rabin shine tabbatar da cewa fassarar gaskiya ce abin dogaro. A cikin wannan rukunin, zaku koyi tsarin tsari don auna ingancin fassarar: bincikar QA mai sarrafa kansa, tsarin kuskuren LQA na tushen ɗan adam, ma'auni masu inganci, da yadda ake amfani da AI azaman “sufeto” - da iyakokinta. Manufar ita ce motsawa daga batun batun "Ina tsammanin yana da kyau" kuma ya zama ƙwararren ƙwararren wanda ya bayyana, aunawa da tabbatar da inganci.
Nau'ukan sarrafa inganci guda biyu: atomatik da harshe
QA (Tabbacin ingancin) yana aiki a cikin yadudduka biyu a cikin fassarar:
QA mai sarrafa kansa: Kurakurai masu salo waɗanda kayan aikin CAT da rubutun ke kamawa - rashin daidaiton lamba, ɓacewa/wurin sararin samaniya, kalmar da ba ta dace ba, ɓangaren da ba a fassara ba, mummunan wuri/tag, sarari biyu, alamar rubutu. Ana bincika waɗannan da sauri kuma gaba ɗaya ta na'ura; Ya kubuta daga idon mutum, amma abin hawa yana kama shi.
LQA (Tabbacin Ingancin Harshe): Wannan shine Layer inda mai aunawa ɗan adam ke bincika ma'ana, ƙamus, salo, nahawu da dacewa na gida. QA mai sarrafa kansa "lambar ya dace?" ya dubi tambaya; LQA "ma'anar daidai ce, shin sautin ya dace, shin ya dace da al'ada?" Ya dubi tambayar. Su biyun suna daidaita juna; Daya baya maye gurbin daya.
Tukwici: Koyaushe kunna Auto QA farko; Tsaftace kurakurai na yau da kullun yana ba mai kimanta ɗan adam damar ba da hankali ga matsalolin harshe na gaske. Mai bita wanda ya damu da kuskuren lamba zai rasa kuskuren sautin.
Kuskuren Frames: MQM da DQF
Ana amfani da daidaitattun nau'ikan kuskure don yin ƙima mai inganci maimakon "mai kyau/mara kyau." Mafi na kowa shine MQM (Multidimensional Quality Metrics): yana sanya kowane kuskure zuwa nau'i (daidaitacce, ƙwarewa, kalmomi, salo, yanki, tsari) da nauyi (mahimmanci, babba, ƙarami). Wani tsarin shine DQF (Tsarin Ingantaccen Tsari) kuma an ambace shi tare da MQM.
Me yasa yake da mahimmanci? Domin tare da wannan tsarin, zaku iya ba da maki kuskure ga fassarar, da gaske kwatanta mafassara/injiyoyi daban-daban kuma kuyi tambaya "Shin za a iya isar da wannan rubutu?" Kuna amsa tambayar da madaidaicin lamba. Misali: kuskure mai mahimmanci = maki 10, babba = 5, ƙarami = 1; Rubutun ƙasa da ƙayyadaddun ƙofa yana wucewa ta kowace kalma.
Kuskure mai mahimmanci: kuskuren da ke juyar da ma'ana, haifar da tsaro/haɗarin doka, lalata alama (lalata kuskure, "ba da alhakin" maimakon "mai alhakin"). Babban: mai rugujewa amma mara lahani. Ƙananan: sananne amma ba ya rage ma'anar (ƙananan salo / alamar rubutu).
Amfani da AI azaman mai sarrafawa - da iyakokinta
AI yana da sauri kuma yana taimakawa wajen duba fassarar akan tsarin kuskure: zaku iya cewa "alama daidai, ƙamus, kurakurai a cikin wannan fassarar tare da nau'ikan MQM". Yana rage makafi kuma yana ba ku saurin "ido na biyu".
Amma akwai iyakoki masu mahimmanci guda uku: (1) AI na iya zama makaho lokacin duba fassarar da yake samarwa - duka yin da tabbatar da kuskure iri ɗaya; giciye-duba tare da wani samfuri daban ko komawa zuwa tushen. (2) AI kuma na iya ƙirƙirar "kurakurai" na hallucinatory - ba da rahoton kuskuren da ba ya wanzu; Tabbatar da kowane gargaɗi. (3) AI na iya ba da cikakken fahimtar ainihin ainihin tsananin kuskuren kuskure (kuskuren kashi na iya zama mai mutuwa); Gwani yana yin nauyi. Don haka AI yana haɓaka QA, amma ƙudurin ingancin ƙarshe da yardawar bayarwa ya ta'allaka ne ga ɗan adam.
Tsanaki: Faɗin "AI ya wuce QA, yana da tsabta" ma'anar amincewar ƙarya ce. Binciken AI ba maye gurbin LQA na ɗan adam ba ne kuma kwatanta da tushen; Layer pre-screening ne wanda ke sa su sauri.
uku mini lokuta
Case 1 - QA mai sarrafa kansa ya sami kurakurai lamba 40. A cikin fassarar rahoton kuɗi, QA mai sarrafa kansa ya kama lamba 40/tsarar rashin daidaituwa tsakanin tushe da manufa (masu rarraba dubu, ƙima, kuɗi). Idon mutum zai rasa mafi yawan waɗannan; motar da aka jera a cikin daƙiƙa.
Case 2 - Makin MQM ya haifar da zaɓin injin. Wani ofishin MQM ya ƙididdige fitar da injunan MT guda biyu daban-daban a kalmomi 2,000: Injin A 12 kuskuren maki, Injin B 31. Ma'aunin manufa ya daidaita muhawarar "wanne ne mafi kyau" tare da maki; Ofishin ya sanya Injin A daidai gwargwado kuma ya tsara kasafin kudin bayan sake fasalin yadda ya kamata.
Case 3 - Binciken AI ya rasa kuskuren kansa. Wani mai fassara ya sa LLM ta kula da fassarar LLM; Samfurin ya ce "babu matsala", kuskuren kalmomin da ta yi da kanta. An bayyana kuskuren lokacin da mai fassara ya bincika tare da wani samfuri da tushe daban; Kungiyar ta amince da dokar cewa "samfurin daya kada ya sarrafa kansa".
Samfura huɗu masu kwafi
1) Binciken kuskure na tushen MQM:
Matsayinku: Mai kimanta LQA. Kwatanta tushen da fassarar da ke ƙasa. Bayar da kowane kuskuren da kuka samu a cikin tsari mai zuwa: [category: daidaito/terminology/fassara/style/format][nauyi: mahimmanci/major/ƙaramin] [wuri] [ sharhi] [gyara]. Yi alama gargadin da ba ku da tabbas a matsayin "tabbatar da ake buƙata"; kuskure.Madogararsa: [...] | Fassara: [...]
2) Binciken kuskure mai mahimmanci (haɗari mai girma):
Nemo kurakurai masu mahimmanci KAWAI a cikin fassarar da ke ƙasa: ma'anar juyewa, kuskuren lamba/kashi/kwanaki, asarar saɓani, musanya wajibcin doka, kuskuren gargaɗin aminci. Yi watsi da ƙananan batutuwan salo. A kawo tushen ga kowane bincike mai mahimmanci. Source: [...] | Fassara: [...]
3) Ƙarfin QA ta atomatik:
Lissafa rashin daidaituwa na yau da kullun a cikin nau'ikan maƙasudin tushe masu zuwa: rashin daidaiton lamba, ɓacewa/ ƙarin mai riƙewa ko alama, kalmar da ba ta dace ba, ɓangaren da ba a fassara ba, bambancin raka'a/tsabar kuɗi. Kawai ba da matsalolin tare da wurin su. Biyu: [...]
4) Ido na biyu mai zaman kansa (cack-check):
Auna wannan fassarar ba tare da son zuciya ba; Kar ka dauka ka rubuta shi. Ba tushen ƙimar inganci (1-5) don aminci, ƙamus da dabi'a, kuma jera manyan matsalolin 3. Ya rage nawa yanke shawara. Source: [...] | Fassara: [...]
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rauni: "Shin wannan fassarar tana da kyau?" (Babu ma'auni; AI ta dawo da amsa mara amfani kamar "gaba ɗaya mai kyau.")
Ƙarfafa: "Duba wannan fassarar a kan tushen. Yi lakabin kowane kuskure tare da nau'i (daidaitacce / kalmomi / iyawa) da tsanani (mahimmanci / babba / ƙananan). Mayar da hankali musamman akan lamba, ƙeta, da kurakuran kalmomi. Kada ku ƙirƙiri kurakurai; yi alama 'tabbatar da ake bukata' idan ba ku da tabbas."
Bambanci: mai ƙarfi mai ƙarfi yana ba da firam ɗin kuskure da mayar da hankali; Fitowar rahoto ne mai kwatankwacinsa kuma mai iya aiki.
Teburin yadudduka masu inganci
Layer
me kamawa
Wanene/me yake aikatawa
Auto QA
Lamba, lakabi, daidaito
Kayan aiki/rubutu
AI iko
Kuskuren ma'ana/kalmomi mai yiwuwa
LLM (tare da tabbatarwa)
Mutane da sunan LQA
Ma'ana, sautin, al'ada, nauyi
ƙwararren mai kimantawa
Makin MQM/DQF
Makin kuskuren manufa
mutum da frame
Tabbatar da isarwa
alhakin ƙarshe
ƙwararren mai fassara
Kuskuren gama gari
- Tsallake QA mai sarrafa kansa da samun kai tsaye cikin karatu. Kurakurai masu salo suna ɗauke da hankali.
- Maye gurbin binciken AI tare da LQA na ɗan adam. AI pre-screens, bai yarda ba.
- Samun samfurin iri ɗaya bincika fassarar kansa. Makafi; Ana buƙatar bincika giciye.
- Ba kurakurai masu nauyi ba. Ganin mahimmanci da ƙanana iri ɗaya yana rushe fifiko.
- Gyara "kurakurai" da AI ta yi ba tare da tabbatar da su ba. Kuna iya karkatar da madaidaicin jumla.
Ma'auni na atomatik: BLEU, COMET da iyaka
Hakanan akwai duniyar ma'auni mai sarrafa kansa a ma'aunin inganci. BLEU (Ƙararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwararren Ƙwaƙwal ) ya yi ya ba da maki 0-100 bisa lafazin kalma; Ya kasance ma'auni don kwatanta tsarin MT na dogon lokaci. Wani sabon awo, COMET, tushen hanyar sadarwa ne na jijiyoyi kuma yana ɗaukar kamancen ma'anar fiye da BLEU. Waɗannan ma'auni suna da mahimmanci don sauri da kwatanta injuna biyu ta atomatik akan manyan bayanai.
Amma iyakokinta a bayyane suke: Ma'auni kamar BLEU suna kallon ma'anar kalma, ba fahimtar ma'anar gaske ba. Fassarar da ta bambanta da abin da ake magana a kai amma daidai ne na iya samun ƙaramin maki; Fassarar da tayi kama da abin da ake magana amma ba daidai ba na iya samun babban maki. Kuskuren rashin ƙarfi mai mahimmanci kalma ɗaya ce don haka ba ta da tasiri kan awo, amma haƙiƙa tana da bala'i. Shi ya sa ma'auni mai sarrafa kansa ke auna yanayin a matakin tsarin, ba yanke shawarar isar da rubutu ɗaya ba. Ƙimar ɗan adam ta tushen MQM da ƙwararrun ƙwararrun yanke shawara ko fassarar ta tafi ga abokin ciniki, ba maki ta atomatik ba. Yi amfani da ma'auni azaman kamfas, ba alkali ba.
a takaice
Ingancin fassarar ba ji na zahiri ba ne, abu ne mai iya aunawa. QA ta atomatik yana bincikar kurakurai na yau da kullun; LQA na ɗan adam yana kimanta ma'ana, sautin, da al'ada; Tsarin kuskure kamar MQM suna ƙididdige inganci ta nau'i da nauyi, yana ba da damar kwatancen haƙiƙa. AI shine ido na biyu mai ƙarfi wanda ke haɓaka wannan iko, amma yana iya zama makaho ga fassararsa, yin kuskure, kuma ya kasa fahimtar nauyin gaske na gaske; Don haka, yanke shawara mai inganci na ƙarshe, ma'auni da amincewar isarwa ya kasance na ƙwararren mai fassara.
Aikin aikace-aikace
Sami fitowar fassarar inji. Lissafa kurakurai na yau da kullun tare da "binciken ƙarin QA na atomatik", sannan jera kurakuran harshe ta nau'i da nauyi tare da "binciken kuskuren tushen MQM". Ina ƙididdige kowane kuskure (mafi mahimmanci 10, babba 5, ƙarami 1) tare da madaidaicin kowane kalma kuma in tambaya "za a iya isar da shi?" Amsa tambaya. A ƙarshe, tabbatar da tushen nawa ne yawancin kurakuran da AI suka yi alama da gaske kuma nawa aka ƙirƙira.
jerin abubuwan dubawa
- [ ] Na gudanar da QA ta atomatik kuma na goge kowane kurakurai na yau da kullun.
- [ ] Na yi alamar kurakuran harshe tare da akwati (nauyi + nauyi).
- [ ] Na duba kurakurai masu mahimmanci a wani zagaye daban, wanda aka ba da fifiko.
- [ ] Na samo ikon AI kuma na duba shi tare da wani samfurin daban idan ya cancanta.
- [ ] Na yanke shawarar isarwa bisa maƙasudin ƙididdiga da hukunce-hukuncen gwanina.