Jedinica 2 / 11

Osnove strojnog prevođenja: NMT, LLM, odabir motora i predevaluacija

Dobici:

  • Sposobnost razlikovanja prednosti i slabosti NMT-a i LLM-a temeljenog na prevođenju i odabira pravog motora prema vrsti posla
  • Sposobnost prethodnog klasificiranja prikladnosti teksta za stroj i njegove prethodne procjene za realno vrijeme i cijenu
  • Sposobnost brzog mjerenja kvalitete sirovog strojnog izlaza u pet dimenzija i označavanja rizika bez brkanja glatkoće s točnošću

Najsnažniji akcelerator koji imate kao prevoditelj je strojno prevođenje (MT) — ali svjesno korištenje alata znači njegovu primjenu na pravi posao, u pravom jezičnom paru i s pravim očekivanjima. U ovoj ćete jedinici upoznati dvije glavne obitelji MT-a (prevođenje temeljeno na NMT-u i LLM-u), naučiti koji je bolji za koji posao, kako brzo izmjeriti kvalitetu sirovog izlaza prijevoda prije isporuke i kako odabrati mehanizam prema poslu. Cilj je odmaknuti se od ideje "sve isto, zalijepi-prevedi" i postati stručnjak koji može predvidjeti koji je tekst prikladan za stroj, a koji zahtijeva intenzivan ljudski rad.

Dvije obitelji: prijevod temeljen na NMT-u i LLM-u

NMT (Neural Machine Translation) su sustavi koji su učili iz milijuna dvojezičnih rečenica i prevode rečenicu u cjelini; Google Translate, DeepL, Microsoft Translator primjeri su toga. Prednosti: vrlo brz, dosljedan, tečno govori kratke rečenice. Slabost: često ne vidi kontekst izvan granice rečenice (znači iz cijelog teksta); Možda će biti teško odlučiti znači li riječ "banka" obala ili riječna obala ako pogledate odlomak i ne odgovara navedenom popisu pojmova.

Prevođenje temeljeno na LLM-u (Large Language Model) je korištenje modela vođenih uputama kao što su ChatGPT, Claude, Gemini za prevođenje. Snaga: prima upute — razumije upute poput "koristite formalni ton", "slijedite ovaj popis pojmova", "ciljana publika su djeca"; vidi širi kontekst; bolje hvata idiom i ton. Slabost: ponekad može biti "previše kreativan" i dodati izvoru (rizik od halucinacija), gubi koherentnost u dugim tekstovima, a troškovi/brzina variraju ovisno o poslu.

Osnovno pravilo: u jasnim, ponavljajućim, tehničkim tekstovima NMT je obično brz i adekvatan; LLM je fleksibilniji s tekstovima koji zahtijevaju disciplinu u tonu, kontekstu, vokabularu i uputama. Većina profesionalaca danas koristi oboje zajedno: brzi nacrt iz NMT-a, korekciju tona/termina iz LLM-a.

Savjet: Strojna kvaliteta jezičnog para (npr. turski→engleski) može se razlikovati od suprotnog smjera (engleski→turski). Jezici s aglutinativnom, fleksibilnom sintaksom, kao što je turski, općenito su veći izazov za MT. Procijenite sami koji je motor bolji u vašem paru uz nekoliko oglednih tekstova.

Strojna kompatibilnost teksta: prvo pitajte ovo

Nije svaki tekst jednako prikladan za stroj. Prije početka prijevoda prođite tekst kroz filter "prikladnosti":

  • Dobro prilagođen stroju: tehnički priručnik, opis proizvoda, tekst sučelja koji se ponavlja, standardna korespondencija, tablica/popis. Jezik je jednostavan, terminologija ustaljena, kreativnost oskudna.
  • Srednje prikladno: vijesti, korporativni sadržaj, obrazovni materijal. Stroj proizvodi dobre obrise, ali zahtijeva ozbiljno naknadno uređivanje za ton i tijek.
  • Nije prikladno za stroj (visoki rizik): pravni ugovor, medicinski tekst, reklama/slogan, književni tekst, humor, poezija. Ovdje stroj samo daje ideje; Posao uglavnom pada na ljude.

Ako napravite ovu razliku od početka, kupcu ćete dati pravo vrijeme/cijenu i zaštititi sebe od slijepog povjerenja u sirove rezultate.

Brzo izmjerite sirovu kvalitetu izlaza

Kada vidite MT izlaz pitate se "je li dobar ili loš?" Odgovorite na pitanje brzim kontrolnim popisom, a ne intuicijom. Pogledajte ovih pet dimenzija: točnost (je li značenje vjerno izvoru?), potpunost (je li rečenica izostavljena ili dodana?), terminologija (je li točna i dosljedna?), tečnost (je li prirodno u ciljnom jeziku?), format (jesu li oznake, brojevi, oblikovanje sačuvani?). Produbit ćemo te dimenzije u sljedećoj cjelini kvalitete; Za sada neka vam to bude refleks prije porođaja.

Oprez: Najopasnije pogreške MT izlaza su one "tečne, ali netočne". Rečenica je možda na savršenom turskom, ali je "15% popusta" u izvoru možda promijenjeno u "50% popusta". Neka vas tečnost ne obeshrabri; Broj, negativnu i vlastitu imenicu uvijek promatrajte odvojeno.

tri mini kućišta

Slučaj 1 — Desni motor je prepolovio vrijeme. Jedan je prevoditelj odlučio prevesti softversko sučelje od 12 000 riječi s NMT-om i marketinšku knjižicu istog volumena s LLM-om. NMT-ova dosljednost na sučelju učinila je rad bržim; LLM-ova tonska fleksibilnost u knjižici smanjila je opterećenje prepisivanja za 40%. Davanje oba posla istom motoru gubilo bi vrijeme.

Slučaj 2 — Predprocjena je uštedjela cijenu. Jedan ured se spremao ponuditi zakonski tekst jer "može se raditi strojevima, bit će jeftino". U predevaluaciji je preveden uzorak od 500 riječi; Stroj je vratio dva pravna pojma s pogrešnim ekvivalentom sustava. Ured je rad ocijenio kao "teško naknadno uređivanje" i dao realan rok; Izbjegao je gubitak novca zbog krive ponude.

Slučaj 3 — Razlika u jezičnom paru. Tim je smatrao da je motor koji odlično radi na engleskom→njemačkom jednako kvalitetan i na turskom→arapskom. Test od 300 riječi pokazao je da arapski ispis zahtijeva mnogo više ispravaka. Tim je dodijelio različite motore i različite proračune za naknadno uređivanje ovisno o jezičnom paru.

Četiri predloška za kopiranje

1) Ocjena prikladnosti teksta:

Vaša uloga: viši stručnjak za MTPE. Ocijenite sljedeći tekst za prikladnost za strojno prevođenje: doslovno/tehnički ili kreativno/kontekstualno? Klasificirajte ga kao (1) vrlo prilagođen stroju, (2) srednji, (3) visok rizik i napišite svoje obrazloženje. Procijenite očekivano opterećenje nakon uređivanja kao lagano/srednje/teško. Primjer teksta: [zalijepite 200-300 riječi]

2) Instruirani LLM prijevod (s terminologijom i kontrolom tona):

Prevedi ovaj tekst [izvor]→[cilj].Publika: [tko]. Ton: [npr. službeni]. Polje: [npr. financije].Popis pojmova (obavezno koristiti): [A→a, B→b].Pravila: ne dodavati ono čega nema u izvoru, zadržati brojeve/datume/imena, svaku rečenicu zamijeniti rečenicom. Gdje niste sigurni označite s [?]. Tekst: [...]

3) Usporedba dva motora:

Ispod su dva različita prijevoda iste izvorne rečenice (A i B). Usporedi svaki po ispravnosti, terminologiji i prirodnosti, pa mi reci koji će zahtijevati manje ispravka, uz obrazloženje. Izvor: [...] | Prijevod A: [...] | Prijevod B: [...]

4) Brza inspekcija sirovog izlaza:

Ispod je izvor i strojni prijevod. Samo označite sljedeće: (1) izostavljeni/dodani podaci, (2) netočan broj/datum/ime, (3) pogreška negacije, (4) nedosljedan izraz. Nemojte pisati ispravke, samo navedite rizična područja. Izvor: [...] | Prijevod: [...]

Slab upit / Jak upit

Slab: "Prevedi ovaj tekst i bit će dobar." (Za motor, "dobro" je nedefinirano; nema tona, nema termina, nema mase.)

Güçlü: "Prevedite ovaj opis proizvoda s engleskog na turski. Područje: e-trgovina. Publika: mladi potrošači. Ton: prijateljski, ali ohrabrujući. 'naplata' → 'korak naplate', 'popis želja' → 'popis želja'. Promijenite brojeve i naziv robne marke. Tečan turski bez ikakvog mirisa prijevoda."

Razlika: snažan prompt daje motoru mjerljiv cilj; izlaz je izravno približan naknadno uređenom nacrtu.

Tablica usporedbe NMT i LLM

Veličina

NMT (Google, DeepL)

LLM (ChatGPT, Claude)

brzina

vrlo brzo

srednji

Primite upute/ton

slabi

snažna

Pridržavajte se popisa termina

ograničeno

Dobro (s brzim odgovorom)

Širok kontekst

slabi

dobar

Rizik od halucinacija

nizak

Srednje (potrebna kontrola)

najprikladniji posao

Ravno/tehničko/ponavljajuće

Ton/kontekst/kreativno

Uobičajene greške

  • Korištenje istog motora za svaki posao. Neodabir motora prema vrsti posla uzrokuje gubitak vremena i kvalitete.
  • Davanje cijene/vremena bez prethodne procjene. Test od 200-300 riječi otkriva iznenađenja s početka.
  • Zamjena tečnosti za točnost. Lijepa rečenica ne znači i ispravnu rečenicu.
  • Zanemarujući jezični par i razliku u smjeru. Dobar motor u jednom paru može biti slab u drugom.
  • Ne primjećujući LLM-ove dodatke. LLM ponekad dodaje rečenice koje nisu u izvoru "za pomoć"; provjeri ovo.

Prozor konteksta i dosljednost

Kada prevodite dugačak tekst s LLM-om, potrebno je znati jedno tehničko ograničenje: kontekstni prozor — količinu teksta koju model može "vidjeti" i zadržati na umu u jednom trenutku. Ako je tekst veći od ovog prozora, morat ćete ga podijeliti u dijelove, a model bi mogao "zaboraviti" u sljedećem dijelu terminsku odluku ili ton koji ste donijeli u prethodnim dijelovima. Dakle, umjesto prevođenja dugačke knjige ili dokumenta u jednom dijelu, podsjećanje svakog dijela na bazu pojmova i stilski sažetak održava dosljednost. Taj se problem ne javlja u kratkim tekstovima; Međutim, kod dugih djela poput romana i priručnika potrebno je dodatno provjeriti dosljednost u odlomcima. Praktično rješenje: pripremiti "projektnu memoriju" (pojmovi + znakovi + tonske odluke) i dodati je na početak svakog djela i skenirati dosljednost između dijelova na kraju prijevoda. U NMT-u se ovaj problem doživljava na drugačiji način: budući da NMT prevodi rečenicu po rečenicu, dosljednost duljine odlomka je već slaba, tako da terminska baza preuzima termin disciplina.

Ukratko

Postoje dvije obitelji strojnog prevođenja: NMT, koji je brz i dosljedan, i LLM, koji prima upute i bolje vidi kontekst i ton. Glavni prevoditelj unaprijed ocjenjuje prikladnost teksta za stroj, odabire mehanizam prema poslu, brzo mjeri kvalitetu sirovog izlaza prije isporuke i nikada ne brka tečnost s točnošću. Ovaj refleks pred-evaluacije omogućuje vam da date realno vrijeme/cijenu i zaštitite se od slijepog povjerenja.

Zadatak aplikacije

Prevedite isti tekst od 200 riječi s NMT alatom i LLM. Usporedite dva izlaza na pet dimenzija (točnost, potpunost, terminologija, tečnost, format) i napišite razloge zbog kojih je potrebno manje naknadnog uređivanja ovog teksta. Zatim označite probleme/nepredviđene situacije/term rizike na oba s predloškom "brza provjera sirovog izlaza".

popis za provjeru

  • [ ] Klasificirao sam prikladnost teksta za stroj (niski/srednji/visoki rizik).
  • [ ] Ovisno o vrsti posla, odlučio sam hoću li koristiti NMT ili LLM.
  • [ ] Napravio sam preliminarnu procjenu s malim uzorkom i sukladno tome odredio trajanje/cijenu.
  • [ ] Brzo sam pregledao sirovi izlaz u pet dimenzija.
  • [ ] Zasebno sam provjerio broj, datum, ime i negative, a da me tečnost nije zavarala.