Ẹyọ 6 / 11

Dubbing, Voice cloning ati Multilingual Dubbing

Awọn anfani:

  • Agbara lati loye ọrọ-si-ọrọ (TTS), cloning ohun ati awọn ohun elo atunkọ (ifiweranṣẹ / lip-sync) awọn irinṣẹ ati gbejade awọn iyaworan ohun-lori
  • Ṣe aṣeyọri iwifun adayeba pẹlu ohun orin, tẹmpo, aapọn ati awọn itọnisọna pronunciation ati ni anfani lati gbero ẹya multilingual
  • Didasilẹ ohun eniyan nilo ifọkansi, aṣẹ lori ara ati awọn ẹtọ ara ẹni; Lílóye pé àfarawé ohùn tí a kò tẹ́wọ́ gbà jẹ́ ìwà àti ìrúfin lábẹ́ òfin

Audio jẹ idaji fidio. Oluwo le dariji aworan buburu; ko dariji ohun buburu. Ni iṣelọpọ ibile, atunkọ jẹ gbowolori ati lọra: wiwa oṣere atunkọ, ṣeto ile-iṣere kan, gbigbasilẹ, ati pipe pada ti aṣiṣe ba waye. Imọran atọwọda ti yi aworan yii pada: awọn irinṣẹ ọrọ-si-ọrọ le yi ọrọ pada sinu ohun adayeba ni iṣẹju; cloning ohùn le "kọ ẹkọ" ohùn eniyan ati ki o jẹ ki wọn sọ awọn gbolohun ọrọ titun; Awọn irinṣẹ atunkọ atọwọda le gbe fidio si ede miiran ni ibamu pẹlu awọn agbeka ète. Ọkọọkan ninu awọn agbara agbara wọnyi tun ni ojuṣe iṣe iṣe ati ofin to ṣe pataki. Ninu ẹyọ yii, a yoo bo ilana mejeeji ati aala.

Awọn ofin. Text-to-Speech (TTS) jẹ imọ-ẹrọ kan ti o yi ọrọ kikọ pada si ohun sintetiki. Pipọpọ ohun jẹ ṣiṣẹda awoṣe ti o ṣe afarawe ohun ti eniyan gidi lati inu apẹẹrẹ ohun kan. atunkọ Artificial jẹ titumọ ọrọ ti fidio si ede miiran ati ṣiṣe atunkọ ni ede yẹn, nigbagbogbo jẹ ki o ni ibamu pẹlu gbigbe ete (lip-sync). Prosody jẹ apẹrẹ ti intonation, aapọn, ati ariwo ti ọrọ-“imọlara” ti gbolohun kan wa ni pataki lati prosody. Foonu kan jẹ ẹyọ ohun ti o kere julọ ni ede; Awọn iṣoro pipe ni igbagbogbo ni ipinnu ni ipele foonu.

Ohùn lori ọrọ si ọrọ

Awọn irinṣẹ TTS jẹ iyalẹnu adayeba loni; ṣugbọn gbigba ohun ti o “dara” nilo idari ọkọ ni deede. Lilọ ọrọ aise ati sisọ “ka” funni ni abajade alapin ati roboti kan. Fun iṣesi ohun ti o dara, itọsọna: iwa ohun (ọjọ ori, akọ-abo, igbona), ohun orin (otitọ, pataki, igbadun), tẹmpo (o lọra narration tabi ipolongo agbara), wahala (eyi ti ọrọ yẹ ki o duro jade), danuduro (mimi, aami ifamisi) ati pronunciation (awọn orukọ to dara, awọn abbreviations, awọn ọrọ ajeji). Ọpọlọpọ awọn irinṣẹ fun ọ ni iṣakoso yii nipa fifi aami ifamisi ati awọn ilana kukuru kun si ọrọ, tabi nipa lilo isamisi pataki.

Rẹ ipa: Iranlọwọ ohùn director.Text: [60-keji narration ọrọ ni isalẹ]Ohùn šẹ:-Ohùn kikọ: ohùn obinrin ninu rẹ 30s, gbona ati ikiya.- Ohun orin: tunu, lododo; KO ikigbe iṣowo.- Tẹmpo: alabọde-o lọra; ẹmi kukuru ni opin gbolohun kọọkan.- Wahala: diẹ ṣe afihan awọn ọrọ "ọfẹ" ati "30 ọjọ" - Pronunciation: "AiEdu" -> "ey-edu"; "%" -> "ogorun".Iṣẹ-ṣiṣe: Mura ọrọ ti samisi ni ibamu si itọnisọna yii (sọ pato ibi ti itọkasi/idaduro yoo han).

Rii daju lati tẹtisi ati ṣayẹwo abajade TTS: awọn orukọ ti o tọ ti ko tọ, awọn wahala ajeji, ati awọn idaduro aibikita jẹ wọpọ. Ni Tọki, awọn ọrọ ti orisun ajeji, paapaa awọn ọrọ, awọn abbreviations ati awọn nọmba nfa awọn iṣoro ("2024" -> "ẹgbẹrun mejila ati mẹrinlelogun" tabi "2424"?).

Ohun ti oniye: agbara ati ojuse

Ti cloning ohun ṣe agbejade awoṣe kan ti o farawe ohun eniyan lati iṣẹju diẹ ti gbigbasilẹ. O ni awọn lilo ti o tọ: lati pari ohun kan pẹlu ohun olufihan, pẹlu ifọkansi rẹ, ni ọjọ aisan; lilo deede ti aami ti a fọwọsi “idanimọ ohun”; láti mú kí ohùn ẹni sọ̀rọ̀ ní àwọn èdè mìíràn. Ṣugbọn ni deede agbara yii ni o fa laini ihuwasi ti o tobi julọ: didi ati lilo ohun eniyan laisi ifọkansi ti o han gbangba rẹ jẹ ilodi si awọn ẹtọ ti ara ẹni ati pe o dide si layabiliti ofin ni ọpọlọpọ awọn aaye. Ohùn jẹ apakan ti idanimọ eniyan; Afarawe le ja si jegudujera, ẹgan ati ibajẹ orukọ rere.

Awọn ilana ipilẹ lati tẹle ni pipọ ohun:

opo

Ohun elo

Ifohunsi ti o han gbangba

Igbanilaaye kikọ lati ọdọ oniwun ohun pẹlu aaye kan pato

Dopin wípé

Nibo, fun igba melo ati fun idi wo ni a yoo lo?

akoyawo

Nigbati o ba jẹ dandan, alaye naa "ohun yii jẹ iṣelọpọ atọwọda"

lopin lilo

Ko lọ kọja igbanilaaye (iṣẹ akanṣe tuntun, ọja oriṣiriṣi)

ifaseyin

Ẹtọ ẹni kọọkan lati yọkuro igbanilaaye

Išọra: Dida ohùn gbajugbaja, oloselu, tabi ẹnikan ti o mọ laisi igbanilaaye wọn ati ṣiṣẹda akoonu — paapaa pẹlu idi ti jijẹ “awada” tabi “idanwo” - jẹ irufin nla kan. Itankale akoonu ti a ṣejade kọja iṣakoso rẹ ko le ṣe atunṣe.

atunkọ ede pupọ

Sintetiki atunkọ jẹ ọna ti o yara ju lati ṣii fidio si awọn ede oriṣiriṣi: ohun elo naa tumọ ọrọ naa, ṣe atunkọ ni ede ibi-afẹde, ati nigba miiran mimuuṣiṣẹpọ awọn agbeka ète. O jẹ rogbodiyan fun awọn olupilẹṣẹ akoonu ti o fẹ lati de ọdọ olugbo agbaye. Ṣugbọn o jẹ ọkan ninu awọn aaye ti o ni ipalara julọ nitori awọn ipele mẹta lọtọ ti aṣiṣe ni lqkan: aṣiṣe itumọ (idiom, oro, ọrọ-ọrọ), aṣiṣe voicing (ohun orin ti ko tọ, pronunciation) ati aṣiṣe amuṣiṣẹpọ (aiṣedeede ete, aiṣedeede akoko). Nitori naa, ni atunkọ ede pupọ, o jẹ dandan fun eniyan ti o mọ ede ibi-afẹde ni ipele abinibi lati rii daju mejeeji itumọ ati atunkọ. Iduroṣinṣin ti ami iyasọtọ, itumọ ati imolara le ni aabo nipasẹ iṣakoso eniyan nikan.

mẹta mini igba

Ọran 1 - Yara ati ohun ihuwasi. Ẹgbẹ e-eko ni lati ṣe imudojuiwọn itan-akọọlẹ ti ikẹkọ fidio 40; Recalling olorin pẹlu kọọkan imudojuiwọn je gbowolori. Wọn ṣe iwe adehun kikọ pẹlu olorin ti o ṣalaye iwọn ipari ti ohun rẹ ti o jẹ cloned fun iṣẹ-ẹkọ yii. Nítorí náà, wọ́n ṣe àtúnṣe ọ̀rọ̀ náà láàárín ìṣẹ́jú díẹ̀, pẹ̀lú ohùn rẹ̀ àti ìtẹ́wọ́gbà rẹ̀. Awọn olorin mejeji gba owo rẹ ati iṣakoso iṣakoso; Ẹgbẹ naa ni ipa.

Ọran 2 - aijẹmọ oniye sikandali. Olupilẹṣẹ akoonu ṣe akopọ ohun ti oṣere ohun olokiki kan lati awọn fidio YouTube rẹ o si lo ninu ipolowo kan. Oṣere naa mọ ohun rẹ, bẹrẹ ilana ofin kan ati pe iṣẹlẹ naa ti royin ninu tẹ. Okiki ami iyasọtọ ti bajẹ, akoonu ti yọkuro, ati pe a mu isanpada wa si ero. Ẹkọ: Lilo ohun afetigbọ ti kii ṣe ifọkanbalẹ jẹ mejeeji iwa ati ajalu ofin.

Ọran 3 - Ti ko ni idaniloju. Ikanni kan ni atọwọdọwọ gbasilẹ awọn fidio rẹ si ede Sipeeni ṣugbọn ko jẹ ki wọn ṣayẹwo. Ọrọ imọ-ẹrọ kan jẹ itumọ ti ko tọ ati pe ohun ti n pariwo ṣe itọkasi ti o yi itumọ gbolohun naa pada. Awọn oluwo Spani tọka si aṣiṣe ninu awọn asọye, igbẹkẹle bajẹ. Ọna ti o tọ ni lati jẹ ki ẹnikan ti o mọ ede ibi-afẹde rii daju rẹ.

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Sọ ọrọ yii.

Ko si ohun kikọ ohun, ohun orin, tẹmpo, tabi pronunciation. Ijade naa di alapin ati roboti.

Ibere ​​ti o lagbara:

Rẹ ipa: ohùn-lori director. Idi: Awọn aaya 45 ti alaye igbega ọja. Voice: 35 ọdun atijọ, ohùn akọ gbona, idaniloju. Ohun orin: alaye ṣugbọn otitọ; ko si exaggeration. Tempo: alabọde; fa fifalẹ die-die ni imọ awọn gbolohun ọrọ. Itọkasi: ṣe afihan idiyele awọn ọrọ ati atilẹyin ọja. Pronunciation: "3D" -> "onisẹpo mẹta"; brand orukọ [BRAND] bi jẹ.Ojade: voiceover ọrọ pẹlu tcnu ati danuduro marked.Constraint: lo ifohunsi/sintetiki ohùn nikan; afarawe eniyan gidi.

Awọn aṣiṣe ti o wọpọ

  • Nini kika ọrọ aise laisi itọnisọna. Ti a ko ba fun ohun orin, akoko ati tcnu, ohun yoo dun roboti.
  • Lilo iṣelọpọ TTS laisi gbigbọ rẹ. Pironunciation ti o tọ (orukọ to dara, nọmba, abbreviation) jẹ wọpọ.
  • Pipade ohùn laisi igbanilaaye. Iwa ati ilodi si ofin; Awiwi "idanwo/awada" ko wulo.
  • Ti o kọja opin aṣẹ. O jẹ irufin lati lo igbanilaaye fun iṣẹ akanṣe ni iṣẹ miiran.
  • Ko ṣe idaniloju atunkọ naa. Itumọ + atunkọ + aṣiṣe amuṣiṣẹpọ ni lqkan.
Imọran: Ni TTS, kọ awọn nọmba, awọn kukuru, ati awọn orukọ to dara ni kedere ninu ọrọ ("ọgbọn ọgbọn", "onisẹpo mẹta", "ey-edu"). O pinnu awọn pronunciation kuku ju nlọ o si awọn awoṣe lati gboju le won.

Ni soki

Sintetiki atunkọ, didi ohun ati atunkọ ni iyara iṣẹ ohun afetigbọ ni iṣelọpọ fidio ati mu ki arọwọto agbaye ṣiṣẹ. Fun awọn abajade to dara, ṣe itọsọna TTS pẹlu ohun orin, tẹmpo, wahala ati awọn itọnisọna pronunciation ati rii daju lati tẹtisi iṣẹjade. Pipapọ ohun jẹ alagbara, ṣugbọn o fa ila iwa ti o mọ julọ: ohun eniyan le ṣee lo pẹlu ko o, ti o ni iwọn, aṣẹ kikọ; Afarawe laisi igbanilaaye jẹ irufin. Niwọn igba ti itumọ, atunkọ ati awọn aṣiṣe amuṣiṣẹpọ yoo ṣe agbekọja ni atunkọ ede pupọ, ijẹrisi nipasẹ eniyan ti o mọ ede ibi-afẹde jẹ pataki. Ṣe ina ohun ọkọ; Gbigbanilaaye, deede ati itumọ jẹ ojuṣe rẹ.

Ohun elo iṣẹ-ṣiṣe

Kọ ọrọ asọye 60-aaya kan. Yi ohun jade pẹlu ohun elo TTS kan, pẹlu ohun orin/akoko/wahala/awọn itọnisọna pronunciation bi loke. Tẹtisi iṣẹjade ki o wa ati ṣatunṣe o kere ju awọn aaye mẹta ti a ko sọ (nọmba, orukọ to dara, abbreviation). Lẹhinna ṣe agbekalẹ “fọọmu igbanilaaye” ti o rọrun fun isunmọ ohun: ẹniti ohun, iru iṣẹ akanṣe, fun iye akoko wo, fun lilo wo, ẹtọ lati yọkuro. Ṣe akopọ iṣẹ rẹ.

akojọ ayẹwo

  • [] Njẹ Mo ti ṣe itọsọna ohun orin pẹlu ohun orin, akoko, wahala ati awọn itọnisọna pronunciation?
  • [] Njẹ Mo ti tẹtisi abajade TTS ati ṣe atunṣe eyikeyi awọn aṣiṣe pronunciation/nọmba / abbreviation?
  • [] Njẹ iwe-aṣẹ kikọ ti o han gedegbe ati pato fun ohun ti mo ti oniye/lo?
  • [] Njẹ Mo ti rii daju pe Emi ko ti kọja opin aṣẹ (ibi, iye akoko, idi)?
  • [] Njẹ Mo ti jẹrisi iṣẹjade atunkọ fun itumọ/ohun orin/amuṣiṣẹpọ pẹlu ẹnikan ti o mọ ede ibi-afẹde?