ලාභ:
- උපසිරැසියේ තාක්ෂණික නීති (රේඛාව, චරිතය, CPS) යෙදීමෙන් අර්ථය ආරක්ෂා කර ගැනීමේ හැකියාව
- ASR සමඟ පිටපත් කිරීම සහ ස්වයංක්රීය කාලකේතනය වේගවත් කරන අතරේ හඬ මගින් නිසි නම සහ අංක දෝෂ සත්යාපනය කිරීමේ හැකියාව
- හඬකැවීම් වලදී දෘශ්ය සන්දර්භය, ස්වර වෙනස සහ තොල් සමමුහුර්තකරණය සැලකිල්ලට ගනිමින් කෘතිම බුද්ධියේ සීමාවන් කළමනාකරණය කිරීමේ හැකියාව
චිත්රපටයක්, රූපවාහිනී කතාමාලාවක්, ආයතනික වීඩියෝවක් හෝ මාර්ගගත පාඨමාලාවක් පරිවර්තනය කිරීම සාමාන්ය පෙළ පරිවර්තනයට වඩා රැඩිකල් ලෙස වෙනස් වේ: කාලය, කියවීමේ වේගය, තිරයේ රූපය, කටහඬ සහ චරිතවල තොල් චලනය ද බාධා වේ. මෙම ඒකකය තුළ, ඔබ ශ්රව්ය දෘශ්ය පරිවර්තනය (උපසිරැසිකරණය, හඬකැවීම්, කටහඬ), උපසිරැසිකරණයේ තාක්ෂණික නීති, AI-සහාය දක්වන පිටපත් කිරීම සහ කාල කේතීකරණය සහ මෙම ක්ෂේත්රයේ ගුණාත්මක අන්තරායන් ඉගෙන ගනු ඇත. "පෙළ පරිවර්තනය" කරනවාට වඩා "ප්රේක්ෂකයන්ගේ ඇසට සහ කන්වලට ගැලපෙන" ශ්රව්ය දෘශ්ය පරිවර්තන විශේෂඥයෙකු මෙන් වැඩ කිරීම අරමුණයි.
මූලික සංකල්ප
ශ්රව්ය දෘශ්ය පරිවර්තනය (AVT) යනු ශ්රව්ය සහ දෘශ්ය අඩංගු අන්තර්ගත පරිවර්තනයයි; ප්රධාන ආකාර වන්නේ උපසිරැසිකරණය, හඬකැවීම් සහ ශ්රව්ය විස්තරයයි. උපසිරැසි කිරීම යනු තිරයේ ලිඛිත ස්වරූපයෙන් කථාව පිළිබිඹු කිරීමයි. Dubbing යනු ඉලක්ක භාෂාවෙන් මුල් හඬ නැවත ශබ්ද කිරීමය. Voice-over යනු මුල් ශබ්දය නිශ්ශබ්ද කර එය හරහා පරිවර්තනයක් කියවන විට (වාර්තා චිත්රපටවල පොදු).
උපසිරැසිකරණයේ තීරනාත්මක තාක්ෂණික කොන්දේසි දෙකක්: CPS (තත්පරයට අක්ෂර) නරඹන්නාට එය සුවපහසු ලෙස කියවිය හැකි පරිදි උපසිරැසි කිරීමේ වේගය සීමා කරයි; සාමාන්යයෙන් පිළිගත් ඉහළ සීමාව තත්පරයකට අක්ෂර 17 ක් පමණ වේ (ළමා අන්තර්ගතය සඳහා අඩු). Timecode යනු තිරය මත උපසිරැසි දිස්වන සහ අතුරුදහන් වන විට (00:01:23,400 වැනි) ආරම්භක-අවසාන වේලාවයි.
එය දුෂ්කර වන්නේ ඇයි? මක්නිසාද යත් එහි තේරුම උපසිරැසි වලට පරිවර්තනය කිරීම සුදුසු බවයි. පේළි දෙකක්, පේළියකට අක්ෂර ~42, අවම වශයෙන් තත්පර ~1 සහ උපරිම තත්පර ~6 තිර කාලය, සහ CPS සීමාව - අර්ථය සහ ස්වරය පවත්වා ගනිමින් ඔබ මේ සියල්ලට අනුකූල විය යුතුය. උපසිරැසි පරිවර්තනය බොහෝ විට වචනයෙන් වචනය පරිවර්තනය කිරීම නොව සම්පීඩනය සහ නැවත නැවත සකස් කිරීම පිළිබඳ කාරණයක් වන්නේ එබැවිනි.
ඉඟිය: උපසිරැසිවල "සෑම වචනයක්ම පරිවර්තනය කිරීම" යන ප්රත්යාවර්තයෙන් වළකින්න. නරඹන්නා රූපය නරඹයි සහ කියවයි; ඉතා දිගු උපසිරැසි කියවිය නොහැක. අර්ථය ආරක්ෂා කරන කෙටිම ස්වභාවික ප්රකාශනය සොයා ගැනීම සිරස්තලකරුගේ සැබෑ ප්රවීණත්වයයි.
ශ්රව්ය දෘශ්ය පරිවර්තනයේදී AI හි කාර්යභාරය
AI මෙම ප්රදේශයේ පියවර කිහිපයක් සැලකිය යුතු ලෙස වේගවත් කරයි:
- පිටපත් කිරීම: ASR (ස්වයංක්රීය කථන හඳුනාගැනීම) සමඟින් හඬ ස්වයංක්රීයව පිටපත් කරනු ලැබේ. මෙය මිනිත්තු කිහිපයකින් උපසිරැසියේ අමු මූලාශ්රය උපුටා ගනී.
- ස්වයංක්රීය කාල කේතීකරණය: මෙවලම් සංවාදය කොටස් වලට බෙදා කෙටුම්පත් කාල කේත නිෂ්පාදනය කරයි.
- පරිවර්තන කෙටුම්පත: පිටපත් පෙළ පරිවර්තනය කර ඇත.
- CPS/දිග පාලනය: AI හට කියවීමේ වේගය ඉක්මවා යන උපසිරැසි සලකුණු කර කෙටි කිරීමට යෝජනා කළ හැක.
නමුත් පරෙස්සම් වන්න: ASR ශබ්දය, උච්චාරණය, අතිච්ඡාදනය වන කථාව, නිසි නම් සහ තාක්ෂණික නියමයන් මත වැරදියි; "ශ්රව්ය විස්තරය" සැපයිය නොහැක; කතා කරන කෙනා අවුල් වෙන්න පුළුවන්. AI පරිවර්තනයට රූපය නොපෙනේ - තිරයේ පෙන්වන වස්තුවක් "එය" ලෙස හඳුන්වන විට එය දැනගත නොහැක. එමනිසා, මිනිසා දෘශ්ය සන්දර්භය සහ විකේතනයේ නිරවද්යතාවය තහවුරු කරයි.
අවවාදයයි: වඩාත්ම පොදු වැරැද්ද නම් ASR ප්රතිදානය "විකේතනය කර ඇති" බව සිතීමයි. ASR නිතර නිතර වැරදි සිදු කරයි, විශේෂයෙන් නිසි නම්, අංක, වෙළඳ නාම සහ තාක්ෂණික කොන්දේසි; වැරදි පිටපතක් පරිවර්තනය සහ උපසිරැසිකරණය දක්වා ගමන් කරයි. ශ්රව්යයට සවන් දීමෙන් තීරණාත්මක ප්රදේශ සත්යාපනය කිරීමට වග බලා ගන්න.
උපසිරැසි ආකෘති නීති
පොදු නීති (වේදිකාව අනුව වෙනස් වේ):
- පේළියකට අක්ෂර ~37-42, උපරිම පේළි 2.
- කාලය: ~ 1-6 තත්පර; ඉතා කෙටි "ෆ්ලෑෂ්" උපසිරැසිවලින් වළකින්න.
- CPS ~17 නොඉක්මවිය යුතුය (වැඩිහිටි අන්තර්ගතය).
- වාක්යය අර්ථවත් වන තැන බිඳ දමන්න (පේළියේ අවසානයේ "සහ" හෝ "නමුත්" යන්න එපා).
- හැකි නම්, දර්ශන කපා හැරීම (වෙඩි වෙනස් කිරීම) මඟ හරින්න එපා.
- දිවුරුම් දීම, ගීත, තිර ලිවීම වැනි අයිතම සඳහා වේදිකා නීති අනුගමනය කරන්න.
කුඩා නඩු තුනක්
නඩුව 1 - ASR + පසු සංස්කරණය 60% කින් වේගවත් විය. කණ්ඩායමක් පළමුව ASR සමඟ මිනිත්තු 45ක වාර්තා චිත්රපටයක් පිටපත් කර කාල-කේතනය කර, පසුව එය පරිවර්තනය කර පසු-සංස්කරණය කරන ලදී. මුල සිට පිටපත් කිරීම + කාල කේතනය හා සසඳන විට කාලය 60% කින් අඩු විය. නමුත් සියලුම නිසි නම් සහ අංක ශබ්ද සංසන්දනය මගින් නිවැරදි කරන ලදී.
නඩුව 2 - CPS සුරැකි කියවීමේ හැකියාව පරීක්ෂා කරන්න. උපසිරැසි සහිත උපදේශන වීඩියෝවක පළමු පරිවර්තනය නිවැරදි නමුත් CPS සාමාන්ය 24ක් විය - ප්රේක්ෂකයන්ට එය පවත්වා ගැනීමට නොහැකි විය. CPS 16 දක්වා අඩු කරමින් 30% කින් කෙටි කරන ලද උපසිරැසි වටයක් AI බලයෙන් කෙටි කිරීම; අර්ථය ආරක්ෂා විය, කියවීමේ හැකියාව පැමිණියේය.
3 වන අවස්ථාව - දෘශ්ය සන්දර්භය දෝෂයකි. ASR මත පදනම් වූ පරිවර්තනයේ, චරිතයක් තිරයේ ලකුණක් පෙන්වා "එය කියවන්න" යැයි කීවේය; AI එය "කියවන්න" ලෙස පරිවර්තනය කර ඇත, නමුත් ලකුණෙහි ඇති පාඨය පරිවර්තනය කර නැත, එබැවින් නරඹන්නාට කියවිය යුතු දේ දැකීමට නොහැකි විය. සිරස්තලකරු විසින් තිර ශීර්ෂය සඳහා වෙනම ශීර්ෂ පාඨයක් එක් කරන ලදී; රූපය දුටු පුද්ගලයා වෙනස ඇති කළේය.
පිටපත් කළ හැකි සැකිලි හතරක්
1) පිටපත් කිරීමේ (ASR) සත්යාපන ලැයිස්තුව:
පහත දැක්වෙන්නේ වීඩියෝවක ස්වයංක්රීය පිටපත් කිරීමකි. පිටපත් කිරීමේදී ඇති විය හැකි දෝෂ සලකුණු කරන්න: නිසි නම්, වෙළඳ නාම, අංක, තාක්ෂණික යෙදුම්, අපැහැදිලි/අසම්පූර්ණ වාක්ය. මේවා "හඬින් සත්යාපනය" ලෙස ලැයිස්තුගත කරන්න. පරිවර්තනය කරන්න එපා. පිටපත් කරන්න: [...]
2) උපසිරැසි පරිවර්තනය (CPS/දිග සීමා):
පහත පිටපත් කිරීම [ඉලක්ක භාෂාව] උපසිරැසි වලට පරිවර්තනය කරන්න. සීමා කිරීම: සෑම උපසිරැසියක්ම උපරිම පේළි 2 ක්, පේළිය ~42 අක්ෂර, CPS ~17 නොඉක්මවිය යුතුය. අර්ථය ආරක්ෂා කර ගනිමින් කෙටි කර ස්වභාවිකකරණය කරන්න; වචනයෙන් වචනය පරිවර්තනය නොකරන්න. කාල කේත සුරකින්න. පිටපත් කිරීම + කාල කේත: [...]
3) CPS/කියවීමේ හැකියාව පරීක්ෂා කිරීම:
පහත එක් එක් උපසිරැසි සඳහා කාලසීමාව සහ අක්ෂර ගණන මත පදනම්ව ආසන්න CPS ගණනය කරන්න. 17 ඉක්මවන ඕනෑම දෙයක් සලකුණු කර අර්ථය ආරක්ෂා කරන කෙටි විකල්පයක් යෝජනා කරන්න. උපසිරැසි (පෙළ | කාලසීමාව තත්පර): [...]
4) තිර පෙළ / දෘශ්ය සන්දර්භය පරීක්ෂා කිරීම:
පහත සංවාදයේ, රූපයට යොමු විය හැකි ස්ථාන සලකුණු කරන්න (තිර පෙළ, උල් වූ වස්තුව, ලකුණ). නරඹන්නාට රූපය නොපෙනේ යැයි උපකල්පනය කරමින් මේවා සඳහා අමතර උපසිරැසි / පැහැදිලි කිරීම් අවශ්ය දැයි කියන්න. සංවාදය: [...]
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල: "මෙම උපසිරැසි පරිවර්තනය කරන්න." (දිග නැත, CPS, රේඛා රීති; ප්රතිදානය තිරය මත නොගැලපේ, කියවිය නොහැක.)
Güçlü: "මෙම දෙබස් පිටපත තුර්කි උපසිරැසිවලට පරිවර්තනය කරන්න. සෑම උපසිරැසියක්ම පේළියකට උපරිම වශයෙන් පේළි 2 ක්, අක්ෂර 42 ක් විය යුතුය; කියවීමේ වේගය සඳහා අවශ්ය විට අර්ථය සුරකින අතරම එය කෙටි කරන්න. ස්වභාවික තුර්කි භාෂාවෙන් කතා කරන භාෂාව දෙන්න, ස්ලැන්ග් මෘදු කරන්න. කාල කේත ස්පර්ශ නොකරන්න."
වෙනස: ශක්තිමත් ප්රොම්ප්ට් මඟින් උපසිරැසියේ තාක්ෂණික සීමාවන් ලබා දෙයි (රේඛාව, චරිතය, CPS, ස්වරය); ප්රතිදානය ඇත්ත වශයෙන්ම භාවිතා කළ හැකි උපසිරැසි වෙත ළඟා වේ.
AVT ආකෘති සංසන්දන සටහන
ආකෘතිය
මොනවද කරන්නේ
AI දායකත්වය
මානව විවේචනාත්මක ලක්ෂ්යය
උපසිරැසි
කථාව පිටපත් කරයි
ASR, පරිවර්තනය, CPS
සුදුසු, දෘශ්ය සන්දර්භය
dubbing
ඉලක්ක භාෂාවෙන් හඬ කැවීම්
පරිවර්තන කෙටුම්පත
තොල් සමමුහුර්ත කිරීම, රංගනය
කටහඬින්
ඉහත පරිවර්තනය කියවන්න
පරිවර්තනය, කාලය
ස්වභාවික ප්රවාහය, ස්වරය
ශ්රව්ය විස්තරය
ශබ්දය සමඟ රූපය විස්තර කරයි
කෙටුම්පත් පෙළ
දෘශ්ය පරිවර්ථනය (මානව)
පොදු වැරදි
- ASR පිටපත සත්යාපනය නොකර පරිවර්තනය කිරීම. නිවැරදි නම/අංක දෝෂ උපසිරැසිය වෙත ගෙන යනු ලැබේ.
- වචනයෙන් වචනය පරිවර්තනය කිරීම සහ CPS වටා ගමන් කිරීම. ප්රේක්ෂකයන්ට කියවිය නොහැක; සුදුසු විය යුතුය.
- දෘශ්ය සන්දර්භය නොසලකා හැරීම. තිර පෙළ සහ උල් වූ වස්තු පරිවර්තනය නොකර පවතී.
- රේඛාව බෙදීම අර්ථ විරහිත කිරීම. එය කියවීමේ හැකියාව නරක් කරයි.
- ස්වරය/ලියාපදිංචිය සමතලා කිරීම. චරිතවල උපභාෂා සහ ස්ලැන්ග් අතුරුදහන් වේ.
ඩබිං සහ ලිප් සින්ක්
උපසිරැසිකරණයේ බාධාව කියවීමේ වේගය වන අතර, ශබ්ද විකාශනය කිරීමේ සීමාව කාලය සහ තොල් වේ. කටහඬින් පරිවර්තනය කිරීමේදී එකිනෙකට වෙනස් සමමුහුර්ත කිරීම් වර්ග තුනක් ඇත: තොල් සමමුහුර්තකරණය - එහිදී පරිවර්තනය චරිතයේ මුඛ චලිතයට ගැලපේ, විශේෂයෙන්ම සමීප රූපවල විවෘත ස්වර; isochrony - පරිවර්තන රේඛාව මුල් රේඛාවට සමාන දිග, ඉතා කෙටි හෝ දිගු නොවේ; අභිනය සමමුහුර්තකරණය - චරිතයේ අත සහ අත් චලනයන් සමඟ පවසන දේ ගැලපීම. ඒ නිසා තමයි හඬකැවීම් පරිවර්තකයා බොහෝ විට "ආකර්ශනීය" රේඛාවක් ලියන්නේ එය අර්ථය ආරක්ෂා කරන නමුත් සම්පූර්ණයෙන්ම වෙනස් වචන වලින්; මෙහි උපසිරැසි වලටත් වඩා වචන විශ්වාසවන්තභාවය අඩුයි.
AI හට අමු පරිවර්තන කෙටුම්පතක් සහ ශබ්ද විකාශනය සඳහා කාල අනතුරු ඇඟවීමක් සැපයිය හැකිය ("මෙම රේඛාව මුල් පිටපතට වඩා 40% දිගු වේ, එය කෙටි කරන්න"). නව තාක්ෂණයන්ට ශබ්දය ක්ලෝන කිරීමට සහ ස්වයංක්රීය ඩබිං නිෂ්පාදනය කිරීමට පවා හැකිය; නමුත් රංගනය, හැඟීම්, චරිතයේ හුස්ම හොඳින් සකස් කිරීම සහ තොල් සමමුහුර්ත කිරීම තවමත් මානව පරිවර්තකයාගේ සහ හඬ නළුවාගේ කාර්යය වේ. ස්වයංක්රීය ශබ්ද විකාශනය දළ සටහනක් සපයයි; කලාත්මක හා සමමුහුර්ත තීරණය මිනිසාගේ ය. මීට අමතරව, කටහඬ ක්ලෝන කර ඇති පුද්ගලයාගේ කැමැත්ත වැදගත් සදාචාරාත්මක සහ නීතිමය ගැටළුවකි.
සාරාංශයක් ලෙස
ශ්රව්ය දෘෂ්ය පරිවර්තනය යනු නරඹන්නාගේ ඇසේ සහ කනේ සීමාවන් තුළ අකුරු සවි කිරීමේ කලාවයි: උපසිරැසි කිරීමේදී රේඛාව/චරිතය/CPS සීමාවන්, හඬකැවීම් කිරීමේදී තොල් සමමුහුර්තකරණය, දෘශ්ය සන්දර්භය ඒ සියල්ලෙහිම තීරණය කරන සාධකය වේ. AI පිටපත් කිරීම, කාල කේතීකරණය, පරිවර්තන කෙටුම්පත් කිරීම සහ ASR සමඟ CPS පරීක්ෂා කිරීම වේගවත් කරයි; නමුත් ASR නිසි නම් සහ ශබ්දය වැරදියි, එයට රූපය නොපෙනෙන අතර ගැලපෙන ස්වර තීරණ ගනු ලබන්නේ මිනිසා විසිනි. ප්රධාන උපසිරැසිකරු වචනයෙන් වචනය පරිවර්තනය නොකරයි; අර්ථය ආරක්ෂා කරන කෙටිම, ස්වභාවික ප්රකාශනය සොයා ගනී.
යෙදුම් කාර්යය
කෙටි (විනාඩි 2-3) වීඩියෝ පටයක් තෝරන්න. ASR මෙවලමක් සමඟින් පිටපත් කරන්න සහ “පිටපත් කිරීමේ සත්යාපනය” අච්චුවක් සමඟ ශ්රව්ය සමඟ අවදානම් ප්රදේශ සසඳා නිවැරදි කරන්න. ඉන්පසු "උපසිරැසි පරිවර්තනය" අච්චුව සමඟ CPS ~17 සීමාව සමඟ පරිවර්තනය කර "CPS පාලනය" සමඟ සීමාව ඉක්මවන උපසිරැසි කෙටි කරන්න. තිර පෙළක් හෝ ලකුණක් තිබේ නම්, "දෘශ්ය සන්දර්භය පරීක්ෂාවක්" යොදන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම නිශ්චිත නම/අංකය සඳහා හඬ මගින් ASR විකේතනය සත්යාපනය කළෙමි.
- [ ] මම උපසිරැසි රේඛා/අක්ෂර/CPS රීතිවලට ගැලපෙන ලෙස සකස් කළෙමි.
- [ ] මම එය කෙටි කර ස්වභාවිකකරණය කළෙමි, වචනයෙන් වචනය නොව, අර්ථය ආරක්ෂා කළෙමි.
- [ ] මම දෘශ්ය සන්දර්භය (තිරයේ පෙළ, ලකුණ) සැලකිල්ලට ගත්තෙමි.
- [ ] මම එය පරිවර්තනය කළේ ස්වරයේ සහ චරිතයේ වෙනස්කම් ආරක්ෂා කර ගැනීමටයි.