Awọn anfani:
- Agbara lati ṣe iyatọ laarin QA laifọwọyi ati awọn ipele LQA ede ati lo mejeeji ni ilana to pe
- Agbara lati ṣe iṣiro itumọ gangan ni ibamu si ẹka ati iwuwo (pataki / pataki / kekere) pẹlu ilana aṣiṣe bii MQM
- Ni anfani lati ṣe ipinnu ikẹhin nigba lilo AI bi oluyẹwo, mimọ afọju rẹ si itumọ tirẹ, eewu ti ṣiṣe awọn aṣiṣe, ati awọn opin ti awọn metiriki adaṣe.
Ni akoko ti o sọ pe itumọ kan ti “ti ṣe”, iyẹn ni idaji iṣẹ; Idaji miiran ni lati fi idi rẹ mulẹ pe itumọ naa jẹ igbẹkẹle gidi. Ninu ẹyọ yii, iwọ yoo kọ ẹkọ awọn ọna eto lati wiwọn didara itumọ: awọn sọwedowo QA adaṣe, awọn ilana aṣiṣe LQA ti o da lori eniyan, awọn metiriki didara, ati bii o ṣe le lo AI bi “oluyẹwo” - ati awọn opin rẹ. Ero ni lati lọ kuro ni koko-ọrọ ti “Mo ro pe o dara” ati di alamọja ti o ṣalaye, awọn iwọn ati ṣafihan didara.
Awọn oriṣi meji ti iṣakoso didara: aifọwọyi ati ede
QA (Idaniloju Didara) ṣiṣẹ ni awọn ipele meji ni itumọ:
QA adaṣe: Awọn aṣiṣe aṣa ti awọn irinṣẹ CAT ati awọn iwe afọwọkọ mu - ibaamu nọmba, sonu/aaye to kọja, ọrọ aisedede, apakan ti a ko tumọ, ibi-ibi buburu/aami, aaye meji, aami ifamisi. Awọn wọnyi ni a ṣayẹwo ni kiakia ati patapata nipasẹ ẹrọ; O sa fun oju eniyan, ṣugbọn ọkọ naa mu.
LQA (Idaniloju Didara Linguistic): Eyi ni ipele nibiti oluyẹwo eniyan ṣe idanwo itumọ, awọn ọrọ-ọrọ, ara, girama ati ibamu agbegbe. QA aladaaṣe "ṣe nọmba naa baramu?" wo ibeere naa; LQA “itumọ rẹ pe, ṣe ohun orin yẹ, ṣe o yẹ ni aṣa bi?” O wo ibeere naa. Awọn mejeeji ṣe iranlowo ara wọn; Ọkan ko ropo miiran.
Imọran: Nigbagbogbo ṣiṣe Auto QA akọkọ; Mimu awọn aṣiṣe deede gba laaye oluyẹwo eniyan lati fi akiyesi si awọn iṣoro ede gidi. Oluyẹwo ti o ni wahala pẹlu aṣiṣe nọmba yoo padanu aṣiṣe ohun orin.
Awọn fireemu aṣiṣe: MQM ati DQF
Awọn oriṣi aṣiṣe boṣewa ni a lo lati jẹ ki iwọnwọn didara ju “dara/buburu.” Ohun ti o wọpọ julọ ni MQM (Awọn iwọn Didara Didara Multidimensional): o fi aṣiṣe kọọkan si ẹka kan (ipeye, oye, ọrọ-ọrọ, ara, agbegbe, ọna kika) ati iwuwo (pataki, pataki, kekere). Ilana miiran jẹ DQF (Ilana Didara Didara) ati pe a mẹnuba papọ pẹlu MQM.
Kini idi ti o ṣe pataki? Nitoripe pẹlu ilana yii, o le funni ni Dimegilio aṣiṣe si itumọ kan, ni ifojusọna ṣe afiwe awọn onitumọ oriṣiriṣi / awọn ẹrọ ki o beere “Ṣe a le fi ọrọ yii jiṣẹ?” O dahun ibeere naa pẹlu ala-nọmba kan. Fun apẹẹrẹ: aṣiṣe pataki = 10 ojuami, pataki = 5, kekere = 1; ọrọ ni isalẹ ẹnu-ọna kan kọja fun ọrọ kan.
Aṣiṣe pataki: aṣiṣe ti o yi itumọ pada, ṣẹda aabo / eewu ofin, ami iyasọtọ bibajẹ (iwọn lilo ti ko tọ, “kii ṣe iduro” dipo “lodidi”). Pataki: disruptive sugbon laiseniyan. Kekere: ṣe akiyesi ṣugbọn kii ṣe idinku lati itumọ (ara kekere / aami ifamisi).
Lilo AI bi oludari - ati awọn opin rẹ
AI yara ati iranlọwọ ni ṣiṣayẹwo itumọ kan lodi si ilana aṣiṣe: o le sọ “ṣamisi titọ, awọn ọrọ-ọrọ, awọn aṣiṣe oye ninu itumọ yii pẹlu awọn ẹka MQM”. O dinku awọn aaye afọju rẹ ati fun ọ ni iyara “oju keji”.
Ṣugbọn awọn opin pataki mẹta wa: (1) AI le jẹ afọju nigbati o ba ṣayẹwo itumọ ti o gbejade - mejeeji ṣiṣe ati ifẹsẹmulẹ aṣiṣe kanna; ṣayẹwo-ṣayẹwo pẹlu awoṣe ti o yatọ tabi pada si orisun. (2) AI tun le ṣe awọn “aṣiṣe” hallucinatory — jabo aṣiṣe ti ko si; Jẹrisi ikilọ kọọkan. (3) AI le ma ni oye ni kikun bi o ṣe buruju gidi-aye ti aṣiṣe pataki kan (aṣiṣe iwọn lilo le jẹ apaniyan); Onimọran ṣe iwuwo. Nitorinaa AI ṣe iyara QA, ṣugbọn ipinnu didara ikẹhin ati ifọwọsi ifijiṣẹ wa pẹlu eniyan.
Išọra: Wipe “AI ti kọja QA, o mọ” jẹ ori igbẹkẹle eke. Ṣiṣayẹwo AI kii ṣe rirọpo fun LQA eniyan ati lafiwe pẹlu orisun; o jẹ ipele iboju-ṣaaju ti o mu wọn pọ si iyara.
mẹta mini igba
Ọran 1 - QA adaṣe ri awọn aṣiṣe nọmba 40. Ninu itumọ ijabọ owo kan, QA adaṣe mu nọmba 40/awọn ibaamu ọna kika laarin orisun ati ibi-afẹde (olupin ẹgbẹrun, eleemewa, owo). Oju eniyan yoo padanu pupọ julọ ninu iwọnyi; ọkọ akojọ si ni aaya.
Ọran 2 - Dimegilio MQM yori si yiyan ẹrọ. Ọkan Ajọ MQM-ti won won awọn o wu ti meji ti o yatọ MT enjini ni 2.000 ọrọ: Engine A 12 aṣiṣe ojuami, Engine B 31. Idiwọn wiwọn nibẹ ni "eyi ti o jẹ dara" Jomitoro pẹlu kan Dimegilio; Ajọ naa ṣe Enjini A ni boṣewa ati gbero isunawo-lẹhin-atunyẹwo rẹ ni ibamu.
Ọran 3 - Ayẹwo AI padanu aṣiṣe tirẹ. Atúmọ̀ èdè ní LLM kan náà ló ń bójú tó ìtumọ̀ LLM; Awoṣe naa sọ pe "ko si iṣoro", aṣiṣe ọrọ-ọrọ ti o ṣe funrararẹ. Aṣiṣe naa ti han nigbati olutumọ agbelebu-ṣayẹwo pẹlu awoṣe ti o yatọ ati orisun; Ẹgbẹ naa gba ofin naa pe “apẹẹrẹ kanna ko yẹ ki o ṣakoso ararẹ”.
Mẹrin daakọ awọn awoṣe
1) Ṣiṣayẹwo aṣiṣe orisun MQM:
Ipa rẹ: Oluyẹwo LQA. Ṣe afiwe orisun ati itumọ ni isalẹ. Pese aṣiṣe kọọkan ti o rii ni ọna kika atẹle: [ẹka: išedede/awọn ọrọ-ọrọ/fifẹ/style/kika [iwuwo: lominu ni/major/kekere] [ipo] [asọye] [atunse]. Samisi ikilọ ti o ko ni idaniloju bi “ijẹrisi ti o nilo”; errorfabrication.Orisun: [...] | Itumọ: [...]
2) Ṣiṣayẹwo aṣiṣe pataki (ewu giga):
Wa awọn aṣiṣe to ṣe pataki NIKAN ni itumọ ni isalẹ: afipamo iyipada, nọmba/iwọn lilo/aṣiṣe ọjọ, isonu ti aitọ, fidipo ọranyan ofin, aṣiṣe ikilọ ailewu. Foju awọn ọran iselona kekere. Tọkasi orisun fun wiwa pataki kọọkan.Orisun: [...] | Itumọ: [...]
3) Iṣakoso afikun QA aifọwọyi:
Ṣe atokọ awọn aiṣedeede deede ni awọn orisii ibi-afẹde atẹle: ibaamu nọmba, sonu/fidipo ibi tabi tag, oro aisedede, apakan ti a ko tumọ, ẹyọkan/iyatọ owo. Kan fun awọn iṣoro pẹlu ipo wọn. Awọn orisii: [...]
4) Oju keji olominira (ṣayẹwo-agbelebu):
Ṣe ayẹwo itumọ yii LAISI ETANU; Maṣe ro pe o kọ ọ. Fun orisun ni iwọn didara kan (1-5) fun iṣotitọ, ọrọ-ọrọ ati adayeba, ati ṣe atokọ awọn iṣoro 3 ti o ga julọ. O wa si ọdọ mi lati pinnu. Orisun: [...] | Itumọ: [...]
Ailagbara kiakia / Alagbara kiakia
Alailagbara: "Ṣe itumọ yii dara?" (Ko si awọn ibeere; AI pada idahun ti ko wulo bi “gbogbo dara.”)
Alagbara: "Ṣayẹwo itumọ yii ni ilodi si orisun. Fi aami si aṣiṣe kọọkan pẹlu ẹka (itọkasi / awọn ọrọ-ọrọ / fifẹ) ati idibajẹ (pataki / pataki / kekere). Fojusi paapaa lori nọmba, aibikita, ati awọn aṣiṣe ọrọ-ọrọ. Maṣe ṣe awọn aṣiṣe; samisi 'ìmúdájú nilo' ti o ko ba ni idaniloju."
Iyatọ: agbara to lagbara yoo fun fireemu aṣiṣe ati idojukọ; Ijade jẹ afiwera ati ijabọ didara iṣe.
Didara fẹlẹfẹlẹ tabili
Layer
ohun ti mu
Tani/kini o nse
QA laifọwọyi
Nọmba, aami, aitasera
Irinṣẹ / akosile
AI iṣakoso
Awọn aṣiṣe itumo/ọrọ ti o ṣeeṣe
LLM (pẹlu ìmúdájú)
Eniyan LQA
Itumo, ohun orin, asa, iwuwo
iwé evaluator
Dimegilio MQM/DQF
Idiwon aṣiṣe Dimegilio
eniyan pẹlu fireemu
Ifijiṣẹ ìmúdájú
Gbẹhin ojuse
onitumọ to peye
Awọn aṣiṣe ti o wọpọ
- Foju QA adaṣe ati gbigba taara sinu kika. Awọn aṣiṣe aṣa ṣe idamu akiyesi.
- Rirọpo ayewo AI pẹlu LQA eniyan. Awọn iboju-tẹlẹ AI, ko fọwọsi.
- Nini awoṣe kanna ṣayẹwo itumọ tirẹ. Oju afọju; agbelebu yiyewo beere.
- Ko si awọn aṣiṣe iwuwo. Ri lominu ati kekere bi kanna disrupts ayo .
- Atunṣe “awọn aṣiṣe” ti AI ṣe laisi ifẹsẹmulẹ wọn. O le da gbolohun ọrọ to tọ.
Awọn metiriki aifọwọyi: BLEU, COMET ati awọn opin
Aye tun wa ti awọn metiriki adaṣe ni wiwọn didara. BLEU (Oye Igbelewọn Meji) ṣe afiwe itumọ ẹrọ kan si itumọ itọkasi eniyan ati funni ni Dimegilio 0-100 ti o da lori agbekọja ọrọ; O jẹ boṣewa fun ifiwera awọn ọna ṣiṣe MT fun igba pipẹ. Metiriki tuntun kan, COMET, jẹ ipilẹ nẹtiwọọki nkankikan ati mu ibajọra itumọ dara ju BLEU. Awọn metiriki wọnyi ṣe pataki fun iyara ati afiwe awọn ẹrọ meji laifọwọyi lori data nla.
Ṣugbọn awọn opin rẹ jẹ kedere: Awọn iwọn bi BLEU wo ni lqkan ọrọ, ko ni oye itumọ gaan. Itumọ ti o yatọ si itọkasi ṣugbọn ti o peye le gba Dimegilio kekere; Itumọ ti o jọra si itọkasi ṣugbọn ti ko tọ le gba Dimegilio giga kan. Aṣiṣe aibikita to ṣe pataki jẹ ọrọ kan nitoribẹẹ o ni ipa diẹ lori metric, ṣugbọn jẹ ajalu gaan. Ti o ni idi ti awọn metiriki adaṣe ṣe iwọn awọn aṣa ni ipele eto, kii ṣe ipinnu ifijiṣẹ ti ọrọ kọọkan. Ayẹwo eniyan ti o da lori MQM ati idajọ amoye pinnu boya itumọ kan lọ si alabara, kii ṣe Dimegilio adaṣe. Lo awọn metiriki bi kọmpasi, kii ṣe adajọ.
Ni soki
Didara itumọ kii ṣe rilara ti ara ẹni, o jẹ nkan ti o ṣe iwọnwọn. Laifọwọyi QA daradara ṣayẹwo fun awọn aṣiṣe deede; LQA eniyan ṣe iṣiro itumo, ohun orin, ati aṣa; Awọn ilana ašiše gẹgẹbi MQM ṣe iwọn didara nipasẹ ẹka ati iwuwo, ṣiṣe afiwe ohun to muna. AI jẹ oju keji ti o lagbara ti o mu iṣakoso yii pọ si, ṣugbọn o le jẹ afọju si itumọ tirẹ, ṣe awọn aṣiṣe, ati kuna lati ni oye iwuwo gidi-aye ni kikun; Nitorinaa, ipinnu didara ikẹhin, iwuwo ati ifọwọsi ifijiṣẹ jẹ ti onitumọ to peye.
Ohun elo iṣẹ-ṣiṣe
Gba iṣẹjade itumọ ẹrọ kan. Ṣe atokọ awọn aṣiṣe deede ni akọkọ pẹlu “ayẹwo afikun QA adaṣe”, lẹhinna ṣe atokọ awọn aṣiṣe ede nipasẹ ẹka ati iwuwo pẹlu “iṣayẹwo aṣiṣe orisun-MQM”. Mo oṣuwọn kọọkan aṣiṣe (lominu ni 10, pataki 5, kekere 1) pẹlu kan ala fun ọrọ ati ki o beere "le ti wa ni jišẹ?" Dahun ibeere naa. Lakotan, jẹrisi pẹlu orisun bawo ni ọpọlọpọ awọn aṣiṣe ti a ṣe afihan nipasẹ AI jẹ gidi ati melo ni a ṣe.
akojọ ayẹwo
- [] Mo sare QA laifọwọyi ati nu soke eyikeyi lodo aṣiṣe.
- [] Mo samisi awọn aṣiṣe ede pẹlu apoti kan (ẹka + iwuwo).
- [] Mo ti ṣayẹwo lominu ni aṣiṣe ni lọtọ, ayo yika.
- [] Mo ti orisun iṣakoso AI ati ṣayẹwo-ṣayẹwo rẹ pẹlu awoṣe ti o yatọ ti o ba jẹ dandan.
- [] Mo ṣe ipinnu ifijiṣẹ ti o da lori iloro nọmba ati idajọ amoye ti ara mi.