Riba:
- Ability don dacewa yayin kiyaye ma'anar ta amfani da ƙa'idodin fasaha na subtitle (layi, hali, CPS)
- Ikon tabbatar da daidaitaccen suna da kurakuran lamba ta hanyar murya yayin da ake saurin rubutu da rikodin lokaci ta atomatik tare da ASR
- Ikon sarrafa iyakoki na hankali na wucin gadi ta hanyar la'akari da mahallin gani, bambancin tonal da daidaitawar lebe a cikin dubbing.
Fassara fim, jerin talabijin, bidiyo na kamfani ko kwas ɗin kan layi ya bambanta sosai da fassarar rubutu a sarari: lokaci, saurin karantawa, hoton allo, murya da motsin leɓe na haruffa suma suna da takura. A cikin wannan rukunin, zaku koyi fassarar mai jiwuwa (saukar rubutu, buga rubutu, ƙarar murya), ƙa'idodin fasaha na juzu'i, rubutun da ke tallafawa AI da coding lokaci, da ingantattun magudanan wannan filin. Manufar ita ce a yi aiki kamar ƙwararren fassarar audiovisual wanda "ya dace da idanu da kunnuwa masu sauraro" maimakon "fassarar rubutu".
Ka'idoji na asali
Fassarar Audiovisual (AVT) ita ce fassarar abubuwan da ke ɗauke da sauti da bidiyo; Babban nau'ikan su ne juzu'i, fassarar rubutu da bayanin sauti. Rubutun magana shine nunin magana a rubuce akan allo. Dubbing shine sake buga ainihin muryar a cikin harshen manufa. Sautin murya shine lokacin da aka kashe asalin sautin kuma ana karanta fassarar a kai (na kowa a cikin takardun shaida).
Mahimman sharuddan fasaha guda biyu na rubutun rubutu: CPS (Characters Per Second) yana iyakance saurin rubutun don mai kallo ya iya karanta shi cikin nutsuwa; Babban abin da aka yarda da shi gabaɗaya yana kusa da haruffa 17 a sakan daya (ƙananan don abun ciki na yara). Timecode shine farkon-ƙarshen lokacin da ke nuna lokacin da subtitle zai bayyana kuma ya ɓace akan allon (kamar 00:01:23,400).
Me yasa yake da wahala? Domin yana nufin dacewa da fassarar cikin fassarar fassarar. Layuka biyu, ~ 42 haruffa a kowane layi, mafi ƙarancin ~ 1 daƙiƙa da matsakaicin ~ 6 seconds na lokacin allo, da iyakar CPS - kuna buƙatar bin duk waɗannan yayin kiyaye ma'ana da sautin. Shi ya sa fassarar subtitle galibi lamari ne na matsawa da sake zayyanawa, ba fassarar kalma da kalma ba.
Tukwici: Ka nisanci ra'ayin "fassara kowace kalma" a cikin rubutun kalmomi. Mai kallo yana kallo kuma yana karanta hoton; Dogayen rubutun kalmomi ba za a iya karantawa ba. Nemo mafi guntuwar magana ta dabi'a wacce ke adana ma'ana ita ce ƙwaƙƙwaran ma'ana na gaskiya.
Matsayin AI a cikin fassarar audiovisual
AI yana haɓaka matakai da yawa a cikin wannan yanki:
- Rubutu: Tare da ASR (Ganewar Magana ta atomatik), ana rubuta muryar ta atomatik. Wannan yana fitar da tushen asalin rubutun a cikin mintuna.
- Ƙaddamar da lokaci ta atomatik: Kayan aiki suna raba tattaunawar zuwa sassa kuma suna samar da daftarin lambobin lokaci.
- Daftarin fassarar: An fassara rubutun rubutun.
- Ikon CPS/tsawon tsayi: AI na iya yiwa alama wanne subtitle ya wuce saurin karatu kuma yana ba da shawarar ragewa.
Amma a kula: ASR sun yi kuskure akan surutu, lafazi, magana mai cike da rudani, sunaye masu kyau, da sharuddan fasaha; ba zai iya samar da "bayanin sauti" ba; Wanda ke magana na iya rudewa. Fassarar AI ba ta ganin hoton - ba ta iya sanin lokacin da ake kira wani abu da aka nuna akan allon "wannan." Don haka, ɗan adam yana tabbatar da mahallin gani da kuma tantance daidaito.
Tsanaki: Kuskuren da ya fi kowa shine tunanin cewa fitar ASR "an yanke hukunci". ASR yana yin kuskure akai-akai, musamman a cikin sunaye masu dacewa, lambobi, sunayen alama da sharuddan fasaha; rubutun da ba daidai ba yana ɗauka zuwa fassarar da subtitle. Tabbatar tabbatar da mahimman wurare ta hanyar sauraron sauti.
Dokokin tsarin juzu'i
Dokokin gama gari (sun bambanta ta dandamali):
- ~ 37-42 haruffa a kowane layi, mafi girman layi 2.
- Duration: ~ 1-6 seconds; Guji gajeriyar fassarar "flash" sosai.
- CPS kada ta wuce ~17 (abun ciki na manya).
- Karya jumlar a inda take da ma'ana (kada ku bar "da" ko "amma" a karshen layin).
- Idan zai yiwu, kar a tsallake yanke wurin (canjin harbi).
- Bi ƙa'idodin dandamali don abubuwa kamar zagi, waƙoƙi, rubutun allo.
uku mini lokuta
Case 1 - ASR + bayan gyara ya yi sauri da kashi 60%. Ƙungiya ta farko da ta fara rubutawa da kuma ƙididdige lokaci-ƙididdigar daftarin aiki na mintuna 45 tare da ASR, sannan ta fassara kuma ta sake gyara shi. An rage lokacin da kashi 60% idan aka kwatanta da rubutawa + lambar lokaci daga karce. Amma duk sunaye da lambobi masu dacewa an gyara su ta hanyar kwatanta sauti.
Case na 2 - CPS duba iya karantawa. Fassara ta farko na bidiyo na koyarwa tare da fassarar magana daidai ne, amma CPS ta kai 24 - masu sauraro sun kasa ci gaba. A zagaye na AI-powered gajarta subtitles da 30%, rage CPS zuwa 16; an kiyaye ma'ana, karatu ya zo.
Case 3 - Kuskuren mahallin gani. A cikin fassarar tushen ASR, wani hali ya nuna alama akan allon kuma ya ce "karanta cewa"; AI ta fassara shi a matsayin "karanta shi", amma rubutun da ke kan alamar ba a fassara shi ba, don haka mai kallo ya kasa ganin abin da zai karanta. Mai taken ya kara da wani keɓaɓɓen taken don taken allo; Mutumin da ya ga hoton ya bambanta.
Samfura huɗu masu kwafi
1) Jerin tabbatarwa na Rubutu (ASR):
A ƙasa akwai kwafin bidiyo ta atomatik. Yi alama kurakurai masu yuwuwa a cikin kwafin: sunaye masu dacewa, sunaye iri, lambobi, sharuɗɗan fasaha, jimloli marasa ma'ana/marasa. Jera waɗannan a matsayin "tabbatar da murya." Kar a fassara. Rubuta: [...]
2) Fassarar juzu'i (CPS/tsawon iyaka):
Fassara fassarori masu zuwa zuwa fassarar harshe [harshen manufa]. KYAUTATA: kowane juzu'i dole ne ya zama matsakaicin layi 2, layi ~ haruffa 42, CPS kada ya wuce ~17. GASKIYA da zama halitta yayin kiyaye ma'anar; kar a fassara kalma da kalma. Ajiye lambobin lokaci. Rubutun + lambobin lokaci: [...]
3) CPS / duba iya karantawa:
Yi ƙididdige ƙididdiga na CPS bisa la'akari da tsawon lokaci da ƙididdige halaye na kowane juzu'i masu zuwa. Yi alama ga duk wanda ya wuce 17 kuma bayar da shawarar gajeriyar madadin da ke adana ma'anar. Subtitles (rubutu | tsawon dakika): [...]
4) Duba rubutun allo / duba mahallin gani:
A cikin tattaunawa mai zuwa, yi alama wuraren da za su iya komawa ga hoton (rubutun allo, abu mai nuni, alamar). Faɗi ko ana buƙatar ƙarin fassarori / bayani don waɗannan, ɗauka cewa mai kallo ba zai iya ganin hoton ba. Tattaunawa: [...]
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rarrauna: "Fassara waɗannan fassarori." (Babu tsayi, CPS, dokokin layi; fitarwa ba zai dace da allon ba, ba za a iya karantawa ba.)
Güçlü: "Fassara wannan rubutun tattaunawa zuwa fassarar Turanci. Kowane juzu'i dole ne ya zama matsakaicin layi 2, haruffa 42 a kowane layi; rage shi yayin kiyaye ma'anar lokacin da ya dace don saurin karantawa. Ba da harshen da ake magana da harshen Turanci na dabi'a, tausasa harshe. Kada ku taɓa lambobin lokaci."
Bambance-bambance: hanzari mai ƙarfi yana ba da ƙayyadaddun fasaha na fassarar magana (layi, hali, CPS, sautin); da fitarwa a zahiri kusanci m subtitles.
Taswirar kwatanta tsarin AVT
tsari
Me yake aikatawa
AI gudunmawa
mutum mai mahimmanci batu
subtitle
Yana fassara magana
ASR, fassarar, CPS
Fit, mahallin gani
dubbing
Voiceover a cikin harshen manufa
Daftarin fassarar
daidaita lebe, yin aiki
murya-over
Karanta fassarar sama
Fassara, lokaci
kwararar dabi'a, sautin
Bayanin sauti
Yana kwatanta hoton da sauti
daftarin rubutu
Fassarar gani (dan adam)
Kuskuren gama gari
- Fassara kwafin ASR ba tare da tabbatar da shi ba. Ana ɗaukar kurakuran suna/lamba da ya dace zuwa taken magana.
- Fassara kalma da kalma da kewaya CPS. Masu sauraro ba za su iya karantawa ba; dacewa dole ne a yi.
- Yin watsi da mahallin gani. Rubutun allo da abubuwa masu nuni sun kasance ba a fassara su ba.
- Yin tsagawar layi mara ma'ana. Yana ɓata karatu.
- Daidaita sautin / rajista. Yaren haruffan da ɓatanci sun ɓace.
Dubbing da daidaita lebe
Yayin da ƙuntatawa na rubutun rubutu shine saurin karantawa, ƙayyadaddun rubutun shine lokaci da lebe. Akwai nau'ikan daidaitawa daban-daban guda uku a cikin fassarar murya-sama: lip-sync — inda fassarar ta yi daidai da motsin bakin mutum, musamman buɗe wasula a kusa; isochrony - layin fassarar yana da tsayi ɗaya da na asali, ba gajere ko tsayi ba; gesture synchrony - daidai da abin da aka faɗa tare da motsin hannu da hannu. Shi ya sa mai fassara ya kan rubuta layi mai “kama” mai kiyaye ma’anar amma da mabanbantan kalmomi; Amincin kalmar ko da ƙasa da taken magana a nan.
AI na iya ba da daftarin fassarar ɗanyen fassara da gargaɗin lokaci don yin rubutu ("wannan layin ya fi tsayi 40% fiye da na asali, rage shi"). Sabbin fasahohin na iya har ma da rufe sauti da kuma samar da zazzagewa ta atomatik; amma yin wasan kwaikwayo, motsin rai, daidaita yanayin numfashin hali da daidaitawar lebe har yanzu aikin mai fassarar ɗan adam ne kuma ɗan wasan murya. Rubutun atomatik yana ba da fayyace; Hukuncin fasaha da aiki tare na ɗan adam ne. Ƙari ga haka, yardar mutumin da muryarsa ke daɗaɗaɗaɗaɗɗa muhimmin batu ne na ɗabi'a da shari'a.
A takaice
Fassara na gani na sauti shine fasahar dacewa da rubutu a cikin iyakokin ido da kunnen mai kallo: layi/hali/Iyakokin CPS a cikin juzu'i, daidaitawar lebe a dubbing, mahallin gani shine mahimmin abu a cikin su duka. AI yana haɓaka rubutawa, ƙididdige lokaci, tsara fassarar, da bincika CPS tare da ASR; Amma ASR yana kuskure a cikin sunaye masu dacewa da amo, ba zai iya ganin hoton ba kuma yanke shawara mai dacewa da mutum ya yi. Babban juzu'i ba ya fassara kalma zuwa kalma; ya sami mafi guntu, mafi kyawun magana na halitta wanda ke kiyaye ma'anar.
Aikin aikace-aikace
Zaɓi guntun shirin bidiyo (minti 2-3). Kwafi tare da kayan aikin ASR kuma kwatanta da gyara wurare masu haɗari tare da mai jiwuwa tare da samfurin “tabbacin kwafin rubutu”. Sannan fassara tare da ƙuntatawar CPS ~ 17 tare da samfurin "fassarar fassarar magana" kuma a gajarta fassarar da ta wuce iyaka tare da "ikon CPS". Idan akwai rubutun allo ko sa hannu, yi amfani da "duba mahallin gani".
jerin abubuwan dubawa
- [ ] Na tabbatar da ɓarnar ASR ta murya don takamaiman suna/lamba.
- [ ] Na sanya fassarar ta dace daidai da ka'idodin layi/hali/CPS.
- [ ] Na gajarta na sanya dabi'ar ta, ba kalma da kalma ba, na kiyaye ma'anar.
- [ ] Na ɗauki mahallin gani (rubutun kan allo, sa hannu) cikin lissafi.
- [ ] Na fassara shi don adana bambance-bambancen sauti da hali.