Uru:
- Ikike ịmata ọdịiche dị n'etiti QA akpaka na ọkwa asụsụ LQA wee tinye ha abụọ n'usoro ziri ezi
- Ikike iji kpomkwem nyochaa ntụgharị asụsụ dabere na udi na ibu (dị oke mkpa/isi/obere) site na iji mperi mperi dị ka MQM
- Inwe ike ịme mkpebi ikpeazụ mgbe ị na-eji AI dị ka onye nyocha, ịmara kpuru ìsì ya na ntụgharị nke ya, ihe ize ndụ nke ihie ụzọ, yana oke nke metrik akpaaka.
Oge ị na-ekwu na ntụgharị "emechaala", nke ahụ bụ ọkara ọrụ; Ọkara nke ọzọ bụ igosi na ntụgharị asụsụ ahụ bụ nke a pụrụ ịdabere na ya. Na nkeji a, ị ga-amụta ụzọ a haziri ahazi iji tụọ ogo ntụgharị asụsụ: nlele QA na-akpaghị aka, usoro njehie LQA dabere na mmadụ, metrik dị mma, yana otu esi eji AI dị ka “onye nyocha” - yana oke ya. Ebumnuche bụ ịhapụ isiokwu nke "Echere m na ọ dị mma" wee bụrụ ọkachamara nke na-akọwapụta, tụọ ma gosipụta ịdị mma.
Ụdị njikwa mma abụọ: akpaka na asụsụ
QA (Nkwenye Ogo) na-arụ ọrụ n'ọkwa abụọ na ntụgharị asụsụ:
QA akpaaka: Njehie ụzọ nke ngwaọrụ CAT na scripts na-ejide - ọnụ ọgụgụ na-adaghị adaba, oghere efu/oke ohere, okwu na-ekwekọghị ekwekọ, akụkụ anaghị atụgharị, ebe nchekwa/ mkpado ọjọọ, oghere okpukpu abụọ, akara edemede. A na-enyocha ihe ndị a ngwa ngwa na kpamkpam site na igwe; Ọ na-agbanarị anya mmadụ, mana ụgbọ ala ahụ na-ejide ya.
LQA (nkwado ịdị mma asụsụ): Nke a bụ oyi akwa ebe onye nleba anya na-enyocha ihe pụtara, okwu okwu, ụdị, ụtọ asụsụ na dabara nke obodo. QA akpaaka "nọmba ahụ ọ dabara?" na-ele anya ajụjụ; LQA "ihe ọ pụtara ziri ezi, ụda ahụ dabara adaba, ọ dabara na omenala?" Ọ na-ele ajụjụ ahụ anya. Ha abụọ na-akwado ibe ha; Otu anaghị edochi nke ọzọ.
Ndụmọdụ: Na-agba ọsọ Auto QA mgbe niile; Ikpochapụ ihie ụzọ na-eme ka onye na-enyocha mmadụ tinye uche na ezigbo nsogbu asụsụ. Onye nyocha nke na-enye nsogbu na njehie ọnụọgụ ga-atụfu njehie ụda.
Mpempe mperi mperi: MQM na DQF
A na-eji ụdị njehie ọkọlọtọ eme ka ọ dị mma ka ọ bụrụ “ọ dị mma/ọjọọ.” Nke a na-ahụkarị bụ MQM (Multidimensional Quality Metrics): ọ na-ekenye njehie ọ bụla n'otu ụdị (nkenke, ịdị mma, okwu okwu, ụdị, mpaghara, usoro) na ibu (dị oke egwu, isi, obere). Usoro ọzọ bụ DQF (Dynamic Quality Framework) ma akpọtụrụ ya na MQM.
Gịnị mere o ji dị mkpa? N'ihi na site na usoro a, ị nwere ike ịnye akara mperi na ntụgharị asụsụ, jiri nlezianya tụnye ndị ntụgharị / injin dị iche iche wee jụọ "enwere ike ịnye ederede a?" Ị na-aza ajụjụ a na ọnụ ọgụgụ ọnụọgụ. Dịka ọmụmaatụ: njehie dị egwu = 10 isi, isi = 5, obere = 1; ederede n'okpuru otu ụzọ ngafe n'otu mkpụrụokwu.
Njehie dị egwu: njehie na-atụgharị ihe ọ pụtara, na-emepụta nchekwa/ihe egwu iwu, na-emebi akara (ụgwọ na-ezighi ezi, “ọ bụghị ọrụ” kama ịbụ “ọrụ”). Isi: na-akpaghasị ma ọ dịghị njọ. Obere: a na-ahụ anya mana ọ naghị ewepụ ihe ọ pụtara (obere ụdị / akara edemede).
Iji AI dị ka onye njikwa - na oke ya
AI na-adị ngwa ma na-enye aka n'ịlele ntụgharị asụsụ megide usoro njehie ahụ: ị nwere ike ịsị "kaa izi ezi, okwu okwu, mperi nke ọma na ntụgharị asụsụ a na ụdị MQM". Ọ na-ebelata ntụpọ gị ma nye gị "anya nke abụọ" ngwa ngwa.
Ma e nwere oke atọ dị oke egwu: (1) AI nwere ike kpu ìsì mgbe ị na-elele nsụgharị ọ na-emepụta - ma ime ma na-akwado otu mmejọ ahụ; jiri ụdị dị iche gafee-elele ma ọ bụ laghachi na isi mmalite. (2) AI nwekwara ike mejupụta hallucinaatory "njehie" - kọọ njehie na-adịghị; Kwenye ịdọ aka ná ntị ọ bụla. (3) AI nwere ike ọ gaghị aghọta nke ọma n'ezie ịdị njọ nke njehie dị oke egwu (njehie dose nwere ike ịnwụ); Ọkachamara na-eme nha. Ya mere AI na-eme ngwa ngwa QA, mana mkpebi ikpeazụ na nkwenye nnyefe dabere na mmadụ.
Ịkpachara anya: Ịsị "AI agafeela QA, ọ dị ọcha" bụ echiche ụgha nke ntụkwasị obi. AI auditing abụghị onye nnọchi maka LQA mmadụ na ntụnyere na isi iyi; ọ bụ oyi akwa nyocha nke na-eme ka ha na-agba ọsọ ọsọ.
Obere ikpe atọ
Ikpe 1 - QA akpaaka hụrụ mperi ọnụọgụ iri anọ. Na ntụgharị akwụkwọ akụkọ gbasara ego, QA na-akpaghị aka jidere nọmba 40/usoro na-adaghị adaba n'etiti isi mmalite na ebumnuche (ihe nkesa puku, decimal, ego). Anya mmadụ ga-atụfu ọtụtụ n'ime ihe ndị a; ụgbọ ala depụtara na sekọnd.
Ikpe 2 — akara MQM butere nhọrọ injin. Otu ụlọ ọrụ MQM-họpụtara mmepụta nke abụọ dị iche iche MT engines na 2,000 okwu: Engine A 12 njehie isi, Engine B 31. Ntụle ebu biri biri na "nke ka mma" arụmụka na a akara; Ụlọ ọrụ ahụ mere Engine A ka ọ bụrụ ọkọlọtọ ma hazie atụmatụ mmefu ego ya mgbe emegharịrị ya.
Ikpe 3 - Nyocha AI tụfuru mmejọ nke ya. Otu onye ntụgharị nwere otu LLM na-elekọta ntụgharị asụsụ LLM; Ihe nlereanya ahụ kwuru "enweghị nsogbu", njehie okwu o mere onwe ya. Ekpughere njehie ahụ mgbe onye ntụgharị na-enyocha ya na ụdị dị iche iche na isi mmalite; Ndị otu ahụ nakweere iwu na "otu ihe nlereanya ekwesịghị ịchịkwa onwe ya".
Ndebiri anọ enwere ike iṅomi
1) MQM dabeere na ịlele njehie:
Ọrụ gị: onye nyocha LQA. Tulee isi mmalite na ntụgharị asụsụ dị n'okpuru. Nye njehie ọ bụla ị hụrụ n'ụdị a: [ụdị: izi ezi / okwu okwu / ịsụ ụda / ụdị / usoro [oke: egwu / nnukwu / obere] [ebe] [okwu] [mmezi]. Kaa akara ịdọ aka ná ntị ị na-ejighị n'aka dị ka "nkwenye chọrọ"; njehie.Isi mmalite: [...] | Ntụgharị: [...]
2) Nnyocha njehie dị egwu (oke ihe egwu):
Chọọ maka njehie dị oke egwu naanị na ntụgharị asụsụ dị n'okpuru: nke pụtara ntụgharị, njehie ọnụọgụ/ọnụọgụ/ụbọchị, mwepu nke ngafe, nnọchi nke ọrụ iwu, njehie ịdọ aka ná ntị nchekwa. Ileghara obere okwu styling anya. Kwupụta isi iyi maka nchọpụta ọ bụla dị oke egwu. Isi iyi: [...] | Ntụgharị: [...]
3) njikwa mgbakwunye QA akpaaka:
Depụta aha ekwekọghị ekwekọ n'ụdị ụzọ isi mmalite ndị a: ndakọrịta nọmba, ihe na-efu / mgbakwunye ma ọ bụ mkpado, okwu na-ekwekọghị ekwekọ, akụkụ enweghị ntụgharị, ọdịiche nkeji/ego. Naanị nye nsogbu na ọnọdụ ha. Ụzọ abụọ: [...]
4) Anya nke abụọ nọọrọ onwe ya (nleba anya gafee):
Nyochaa ntụgharị asụsụ a na-enweghị ajọ mbunobi; Echela na i dere ya. Nye isi mmalite ọkwa dị mma (1-5) maka ikwesị ntụkwasị obi, okwu okwu na ịdị adị, wee depụta nsogbu 3 kacha elu. Ọ dị m n'aka ikpebi. Isi mmalite: [...] | Ntụgharị: [...]
Ngwa ngwa adịghị ike / Ike siri ike
Adịghị ike: " Ntụgharị asụsụ a ọ dị mma?" (Enweghị njirisi; AI na-eweghachi azịza na-abaghị uru dịka "n'ozuzu ya dị mma.")
siri ike: "Lelee ntụgharị asụsụ a megide isi mmalite. Debe njehie ọ bụla na udi (nkenke/okwu okwu/asụsụ) na ịdị njọ (dị oke mkpa/isi/obere). Lekwasị anya karịsịa na ọnụọgụgụ, nkwụsị, na njehie okwu. Emepụtala njehie; kaa 'nkwenye dị mkpa' ma ọ bụrụ na ị maghị."
Ọdịiche: ngwa ngwa siri ike na-enye etiti njehie na itinye uche; Nsonaazụ bụ akụkọ ịdịmma atụnyere na arụ ọrụ.
Tebụl akwa akwa dị mma
oyi akwa
ihe na-ejide
Onye/ihe na-eme
Akpaaka QA
Nọmba, labelụ, nkwekọ
Ngwá ọrụ/edemede
njikwa AI
Njehie ihe pụtara/okwu enwere ike
LLM (ya na nkwenye)
LQA mmadụ
Pụtara, ụda, omenala, ibu
ọkachamara evaluator
akara MQM/DQF
Akara mperi ebumnobi
mmadụ na frame
Nkwenye nnyefe
ọrụ kacha
tozuru oke ntụgharị asụsụ
Mmejọ ndị nkịtị
- Mwụpụ QA akpaghị aka wee banye ozugbo n'ime ọgụgụ. Njehie ụzọ na-adọpụ uche.
- Dochie nyocha AI na LQA mmadụ. AI tupu ihuenyo, anaghị anabata.
- Inwe otu ihe nlereanya lelee ntụgharị asụsụ nke ya. Ebe kpuru ìsì; a chọrọ nyocha obe.
- Ọ bụghị mmejọ ịdị arọ. Ịhụ ihe dị egwu na obere ka otu ihe ahụ na-akpaghasị mkpa.
- Na-edozi "mmejọ" nke AI mebere na-akwadoghị ha. Ị nwere ike ịgbagọ ahịrịokwu ziri ezi.
Metiriiki akpaaka: BLEU, COET na oke
Enwekwara ụwa nke metrik akpaghị aka na nleta ịdịmma. BLEU (Ntụle Ntụle Asụsụ Abụọ) na-atụnyere ntụgharị igwe na ntụgharị asụsụ mmadụ wee nye akara 0-100 dabere na nchikota okwu; Ọ bụ ọkọlọtọ maka iji usoro MT atụnyere ogologo oge. Igwe metrik ọhụrụ, COMET, dabere na netwọkụ akwara wee weghara myirịta ihe ọmụmụ karịa BLEU. Metiriks ndị a bara uru maka ngwa ngwa na atụnyere engines abụọ na nnukwu data.
Mana oke ya doro anya: Metrics dị ka BLEU na-ele anya n'okwu, ọ bụghị n'ezie ịghọta ihe ọ pụtara. Ntụgharị asụsụ dị iche na ntụnye aka mana nke ziri ezi nwere ike ịnweta akara dị ala; Ntụgharị asụsụ yiri ntụaka mana na-ezighi ezi nwere ike nweta akara dị elu. Njehie negativity dị oke egwu bụ otu okwu ya mere ọ nwere mmetụta dị nta na metrik, mana ọ bụ nnukwu ọdachi. Ọ bụ ya mere metrik akpaaka na-eji atụ usoro n'ọkwa sistemụ, ọ bụghị ikpebi nnyefe nke ederede n'otu n'otu. Ntụle mmadụ dabere na MQM na mkpebi ndị ọkachamara na-ekpebi ma ntụgharị ọ ga-agara onye ahịa, ọ bụghị akara akpaka. Jiri metrik dị ka kompas, ọ bụghị onye ọka ikpe.
Na nchịkọta
Àgwà ntụgharị asụsụ abụghị mmetụta nke onwe, ọ bụ ihe a pụrụ iji tụọ ya. Akpaaka QA na-enyocha nke ọma maka njehie nkịtị; mmadụ LQA na-enyocha ihe pụtara, ụda, na omenala; Mpempe mperi mperi dị ka MQM na-akọwapụta ogo site na otu na ịdị arọ, na-enyere ntụnyere ebumnobi aka. AI bụ anya nke abụọ dị ike nke na-eme ka njikwa a dịkwuo elu, ma ọ nwere ike kpuo ìsì na nsụgharị nke ya, na-emehie ihe, ma ghara ịghọta n'ụzọ zuru ezu n'ezie ibu arọ ụwa; Ya mere, mkpebi ịdị mma ikpeazụ, ịdị arọ na nnabata nnyefe bụ nke onye ntụgharị asụsụ tozuru etozu.
Ọrụ ngwa
Nweta mmepụta ntụgharị asụsụ igwe. Were "nyocha mgbakwunye QA akpaaka", wee depụta njehie asụsụ site na otu na ịdị arọ jiri "nyocha mperi dabere na MQM". Ana m elele njehie ọ bụla (nke dị mkpa 10, isi 5, obere 1) jiri ọnụ ụzọ kwa okwu wee jụọ "nwere ike ịnapụta ya?" Zaa ajụjụ a. N'ikpeazụ, jiri isi iyi gosi na ole n'ime njehie ndị AI gosipụtara dị adị na ole e chepụtara.
ndetu
- [ ] M gbara ọsọ QA akpaaka wee hichaa mperi ọ bụla.
- [] Eji m igbe (ụdị + arọ) akara mperi asụsụ.
- [] Ahụrụ m mperi dị egwu n'okirikiri dị iche, ebutere ụzọ.
- Enwetara m njikwa AI wee jiri ụdị dị iche lelee ya ma ọ bụrụ na ọ dị mkpa.
- [] Emere m mkpebi nnyefe ahụ dabere na ọnụ ọgụgụ ọnụọgụ yana ikpe ọkachamara nke m.