Μονάδες
1. Εισαγωγή στην τεχνητή νοημοσύνη στην παραγωγή βίντεο: Ρόλοι, όρια, έλεγχος ταυτότητας, πνευματικά δικαιώματα και απόρρητο 2. Από την ιδέα στο σενάριο: Ανάπτυξη ιδέας, σενάριο και σχέδιο λήψης 3. Storyboard και οπτική προετοιμασία: Previz, Reference and Shooting Design 4. Μεταγραφή και υποτιτλισμός: Ομιλία σε κείμενο και πολύγλωσσος υποτιτλισμός 5. Βοηθός Μοντάζ: Πρόχειρη Μοντάζ, Επιλογή Σκηνής, Ρυθμός και Μοντάζ 6. Μεταγλώττιση, Κλωνοποίηση φωνής και Πολυγλωσσική μεταγλώττιση 7. Σύντομο κλιπ και παραγωγικό βίντεο: Κείμενο σε κείμενο βίντεο, B-roll και κλιπ μέσων κοινωνικής δικτύωσης 8. Οπτικά εφέ, χρώμα, καθαρισμός ήχου και βελτίωση 9. Τίτλος, μικρογραφία, μεταδεδομένα και βελτιστοποίηση διανομής 10. Πνευματικά δικαιώματα, ασφάλεια επωνυμίας, Deepfake ηθική και συναίνεση 11. Ροή εργασίας από άκρο σε άκρο: Στοίβα εργαλείων, ομάδα, έλεγχος ποιότητας και παράδοση
Μονάδα 6 / 11

Μεταγλώττιση, Κλωνοποίηση φωνής και Πολυγλωσσική μεταγλώττιση

Κέρδη:

  • Ικανότητα κατανόησης εργαλείων μετατροπής κειμένου σε ομιλία (TTS), κλωνοποίησης φωνής και τεχνητής μεταγλώττισης (μεταγλώττιση/συγχρονισμός) και παραγωγή προσχεδίων φωνής
  • Επιτύχετε μια φυσική φωνητική φωνή με οδηγίες τόνου, ρυθμού, άγχους και προφοράς και μπορείτε να σχεδιάσετε μια πολύγλωσση έκδοση
  • Η κλωνοποίηση της φωνής ενός ατόμου απαιτεί συναίνεση, πνευματικά δικαιώματα και προσωπικά δικαιώματα. Η κατανόηση ότι η μη εγκεκριμένη μίμηση φωνής αποτελεί ηθική και νομική παραβίαση

Ο ήχος είναι το μισό βίντεο. Ο θεατής μπορεί να συγχωρήσει την κακή εικόνα. δεν συγχωρεί τον κακό ήχο. Στην παραδοσιακή παραγωγή, η μεταγλώττιση είναι ακριβή και αργή: η εύρεση ενός καλλιτέχνη μεταγλώττισης, η δημιουργία στούντιο, η ηχογράφηση και η επανάκληση αν συμβεί κάποιο λάθος. Η τεχνητή νοημοσύνη άλλαξε αυτήν την εικόνα: τα εργαλεία μετατροπής κειμένου σε ομιλία μπορούν να μετατρέψουν ένα κείμενο σε φυσική φωνή μέσα σε λίγα λεπτά. Η κλωνοποίηση φωνής μπορεί να «μάθει» τη φωνή ενός ατόμου και να τον κάνει να λέει νέες προτάσεις. Τα εργαλεία τεχνητής μεταγλώττισης μπορούν να μεταφέρουν ένα βίντεο σε άλλη γλώσσα σε αρμονία με τις κινήσεις των χειλιών. Κάθε μία από αυτές τις ισχυρές ικανότητες φέρει επίσης μια σοβαρή ηθική και νομική ευθύνη. Σε αυτή την ενότητα, θα καλύψουμε τόσο την τεχνική όσο και το περίγραμμα.

Οροι. Το Text-to-Speech (TTS) είναι μια τεχνολογία που μετατρέπει το γραπτό κείμενο σε συνθετική φωνή. Η κλωνοποίηση φωνής δημιουργεί ένα μοντέλο που μιμείται τη φωνή ενός πραγματικού προσώπου από ένα δείγμα φωνής. Η τεχνητή μεταγλώττιση είναι η μετάφραση της ομιλίας ενός βίντεο σε άλλη γλώσσα και η μεταγλώττιση του σε αυτήν τη γλώσσα, καθιστώντας το συχνά συμβατό με την κίνηση των χειλιών (lip-sync). Η προσωδία είναι το μοτίβο του τονισμού, του τονισμού και του ρυθμού της ομιλίας - το «συναίσθημα» μιας πρότασης προέρχεται σε μεγάλο βαθμό από την προσωδία. Ένα φώνημα είναι η μικρότερη μονάδα ήχου σε μια γλώσσα. Τα προβλήματα προφοράς συχνά επιλύονται σε επίπεδο φωνήματος.

Φωνή μέσω κειμένου σε ομιλία

Τα εργαλεία TTS είναι εκπληκτικά φυσικά σήμερα. αλλά η λήψη «καλής» φωνής απαιτεί τη σωστή κατεύθυνση του οχήματος. Η επικόλληση του ακατέργαστου κειμένου και η φράση "διάβασε" δίνει ένα επίπεδο και ρομποτικό αποτέλεσμα. Για καλή φωνητική δράση, οδηγός: χαρακτήρας φωνής (ηλικία, φύλο, ζεστασιά), τόνος (ειλικρινής, σοβαρός, ενθουσιασμένος), ρυθμός (αργή αφήγηση ή ενεργητική διαφήμιση), άγχος (ποια λέξη πρέπει να ξεχωρίζει), παύσεις (ανάσα, σημεία στίξης) και προφορά (κατάλληλα ονόματα, συντομογραφίες, ξένες λέξεις). Πολλά εργαλεία σάς δίνουν αυτόν τον έλεγχο προσθέτοντας σημεία στίξης και σύντομες οδηγίες στο κείμενο ή χρησιμοποιώντας ειδική σήμανση.

Ο ρόλος σας: βοηθός σκηνοθέτη φωνής. Κείμενο: [κείμενο αφήγησης 60 δευτερολέπτων παρακάτω]Φωνητική οδηγία:- Φωνητικός χαρακτήρας: γυναικεία φωνή στα 30 της, ζεστή και καθησυχαστική.- Ήχος: ήρεμος, ειλικρινής. ΟΧΙ εμπορικές φωνές.- Τέμπο: μέτριο-αργή; σύντομη ανάσα στο τέλος κάθε πρότασης.- Άγχος: επισημαίνει ελαφρώς τις λέξεις "δωρεάν" και "30 ημέρες".- Προφορά: "AiEdu" -> "ey-edu"; "%" -> "ποσοστό". Εργασία: Προετοιμάστε το κείμενο που επισημαίνεται σύμφωνα με αυτήν την οδηγία (καθορίστε πού θα εμφανίζεται η έμφαση/παύση).

Φροντίστε να ακούσετε και να ελέγξετε την έξοδο TTS: η εσφαλμένη προφορά των σωστών ονομάτων, οι περίεργες πιέσεις και οι αφύσικες παύσεις είναι συνηθισμένες. Στα τούρκικα, λέξεις ξένης προέλευσης, ιδίως λέξεις, συντομογραφίες και αριθμοί προκαλούν προβλήματα («2024» -> «δύο χιλιάδες είκοσι τέσσερα» ή «είκοσι είκοσι τέσσερα»;).

Κλωνοποίηση φωνής: δύναμη και ευθύνη

Η κλωνοποίηση φωνής παράγει ένα μοντέλο που μιμείται τη φωνή ενός ατόμου από λίγα λεπτά ηχογράφησης. Έχει νόμιμες χρήσεις: να ολοκληρώσει μια φωνή με τη φωνή ενός παρουσιαστή, με τη συγκατάθεσή του/της, σε μια μέρα ασθενείας. η συνεπής χρήση της εγκεκριμένης «ηχητικής ταυτότητας» μιας μάρκας· να κάνει τη φωνή του να μιλάει σε άλλες γλώσσες. Αλλά είναι ακριβώς αυτή η δύναμη που χαράσσει τη μεγαλύτερη ηθική γραμμή: η κλωνοποίηση και η χρήση της φωνής ενός ατόμου χωρίς τη ρητή συγκατάθεσή του/της αποτελεί παραβίαση των προσωπικών δικαιωμάτων και γεννά νομική ευθύνη σε πολλά σημεία. Η φωνή είναι μέρος της ταυτότητας ενός ατόμου. Η μίμηση μπορεί να οδηγήσει σε απάτη, συκοφαντική δυσφήμιση και ζημιά στη φήμη.

Βασικές αρχές που πρέπει να ακολουθούνται στην κλωνοποίηση φωνής:

αρχή

Εφαρμογή

Ρητή συγκατάθεση

Γραπτή άδεια από τον κάτοχο φωνής με συγκεκριμένο εύρος

Σαφήνεια πεδίου εφαρμογής

Πού, για πόσο καιρό και για ποιο σκοπό θα χρησιμοποιηθεί;

διαφάνεια

Όταν είναι απαραίτητο, η πληροφορία "αυτός ο ήχος είναι τεχνητή παραγωγή"

περιορισμένη χρήση

Δεν υπερβαίνει τη συγκατάθεση (νέο έργο, διαφορετικό προϊόν)

ανασυρσιμότητα

Το δικαίωμα του ατόμου να ανακαλέσει τη συγκατάθεσή του

Προσοχή: Η κλωνοποίηση της φωνής μιας διασημότητας, ενός πολιτικού ή κάποιου που γνωρίζετε χωρίς τη συγκατάθεσή τους και η δημιουργία περιεχομένου —ακόμα και με σκοπό να είναι «αστείο» ή «πείραμα» — αποτελεί σοβαρή παραβίαση. Η διάδοση του παραγόμενου περιεχομένου πέρα ​​από τον έλεγχό σας δεν μπορεί να αναιρεθεί.

Πολύγλωσση μεταγλώττιση

Η συνθετική μεταγλώττιση είναι ο πιο γρήγορος τρόπος για να ανοίξετε ένα βίντεο σε διαφορετικές γλώσσες: το εργαλείο μεταφράζει την ομιλία, τη μεταγλωττίζει στη γλώσσα-στόχο και μερικές φορές συγχρονίζει τις κινήσεις των χειλιών. Είναι επαναστατικό για τους δημιουργούς περιεχομένου που θέλουν να προσεγγίσουν ένα παγκόσμιο κοινό. Αλλά είναι ένα από τα πιο ευάλωτα σημεία επειδή επικαλύπτονται τρία ξεχωριστά επίπεδα σφαλμάτων: σφάλμα μετάφρασης (ιδίωμα, όρος, πλαίσιο), σφάλμα εκφώνησης (λάθος τόνος, προφορά) και σφάλμα συγχρονισμού (αναντιστοιχία χειλιών, ασυμφωνία χρόνου). Ως εκ τούτου, στην πολύγλωσση μεταγλώττιση, είναι απαραίτητο για ένα άτομο που γνωρίζει τη γλώσσα-στόχο σε εγγενές επίπεδο να επαληθεύει τόσο τη μετάφραση όσο και τη μεταγλώττιση. Η ακεραιότητα της επωνυμίας, το νόημα και το συναίσθημα μπορούν να προστατευθούν μόνο από τον ανθρώπινο έλεγχο.

τρεις μίνι θήκες

Περίπτωση 1 — Γρήγορη και ηθική εκφώνηση. Μια ομάδα ηλεκτρονικής μάθησης έπρεπε να ενημερώσει την αφήγηση ενός μαθήματος 40 βίντεο. Η ανάκληση του καλλιτέχνη με κάθε ενημέρωση ήταν ακριβή. Έκαναν ένα γραπτό συμβόλαιο με τον καλλιτέχνη που καθόριζε το εύρος της φωνής του/της που κλωνοποιήθηκε για αυτό το μάθημα. Έτσι παρήγαγαν τις αλλαγές του κειμένου μέσα σε λίγα λεπτά, με τη φωνή του και την έγκρισή του. Ο καλλιτέχνης έλαβε και την αμοιβή του και διατήρησε τον έλεγχο. Η ομάδα ανέβασε στροφές.

Περίπτωση 2 — Μη συναινετικό σκάνδαλο κλώνων. Ένας δημιουργός περιεχομένου κλωνοποίησε τη φωνή ενός γνωστού φωνητικού ηθοποιού από τα βίντεό του στο YouTube και τη χρησιμοποίησε σε μια διαφήμιση. Ο καλλιτέχνης αναγνώρισε τη φωνή του, ξεκίνησε νομική διαδικασία και το περιστατικό αναφέρθηκε στον Τύπο. Η φήμη της επωνυμίας καταστράφηκε, το περιεχόμενο αφαιρέθηκε και η αποζημίωση μπήκε στην ημερήσια διάταξη. Μάθημα: Η μη συναινετική χρήση ήχου είναι τόσο ηθική όσο και νομική καταστροφή.

Περίπτωση 3 — Μη επαληθευμένη μεταγλώττιση. Ένα κανάλι μεταγλωττίζει τεχνητά τα βίντεό του στα ισπανικά, αλλά δεν τα ελέγχει ποτέ. Ένας τεχνικός όρος μεταφράστηκε λάθος και η φωνή έδωσε μια έμφαση που αντέστρεψε το νόημα της πρότασης. Οι Ισπανοί τηλεθεατές επεσήμαναν το λάθος στα σχόλια, η εμπιστοσύνη καταστράφηκε. Ο σωστός τρόπος ήταν να το επαληθεύσει κάποιος που γνωρίζει τη γλώσσα-στόχο.

Αδύναμη προτροπή / Ισχυρή προτροπή

Αδύναμη προτροπή:

Πείτε αυτό το κείμενο.

Δεν υπάρχει φωνητικός χαρακτήρας, τόνος, ρυθμός ή προφορά. Η έξοδος γίνεται επίπεδη και ρομποτική.

Ισχυρή προτροπή:

Ο ρόλος σας: σκηνοθέτης φωνής. Σκοπός: 45 δευτερόλεπτα αφήγησης προώθησης προϊόντος. Φωνή: 35 ετών, ζεστή ανδρική φωνή, καθησυχαστική. Τόνος: κατατοπιστικός αλλά ειλικρινής. καμία υπερβολή. Τέμπο: μέτριο; επιβραδύνετε ελαφρώς στις τεχνικές προτάσεις. Έμφαση: επισημάνετε τις λέξεις τιμή και εγγύηση. Προφορά: "3D" -> "τρισδιάστατο"; επωνυμία [BRAND] ως έχει. Έξοδος: κείμενο φωνής με έμφαση και παύσεις επισημασμένες. Περιορισμός: χρήση μόνο συναίνεσης/συνθετικής φωνής. υποδυόμενος πραγματικό πρόσωπο.

Συνήθη λάθη

  • Διαβάζοντας το ακατέργαστο κείμενο χωρίς καθοδήγηση. Εάν δεν δίνεται τόνος, ρυθμός και έμφαση, η φωνή θα ακούγεται ρομποτική.
  • Χρήση εξόδου TTS χωρίς να την ακούτε. Η εσφαλμένη προφορά (όνομα, αριθμός, συντομογραφία) είναι συνηθισμένη.
  • Κλωνοποίηση φωνής χωρίς συναίνεση. Ηθική και νομική παραβίαση. Η δικαιολογία "πείραμα/αστείο" δεν ισχύει.
  • Υπέρβαση του πεδίου της συναίνεσης. Είναι παράβαση η χρήση άδειας για ένα έργο σε άλλη εργασία.
  • Δεν επαληθεύεται η μεταγλώττιση. Επικάλυψη σφαλμάτων μετάφρασης + μεταγλώττισης + συγχρονισμού.
Συμβουλή: Στο TTS, γράψτε τους αριθμούς, τις συντομογραφίες και τα σωστά ονόματα στο κείμενο ("τριάντα τοις εκατό", "τρισδιάστατο", "ey-edu"). Εσείς καθορίζετε την προφορά αντί να την αφήνετε στο μοντέλο να μαντέψει.

Συνοπτικά

Η συνθετική μεταγλώττιση, η κλωνοποίηση φωνής και η μεταγλώττιση επιταχύνουν ριζικά την εργασία ήχου στην παραγωγή βίντεο και επιτρέπουν την παγκόσμια απήχηση. Για καλά αποτελέσματα, καθοδηγήστε το TTS με τον τόνο, το ρυθμό, το άγχος και τις οδηγίες προφοράς και φροντίστε να ακούσετε την έξοδο. Η κλωνοποίηση φωνής είναι ισχυρή, αλλά χαράσσει την πιο ξεκάθαρη ηθική γραμμή: η φωνή ενός ατόμου μπορεί να χρησιμοποιηθεί μόνο με σαφή, εύρος, γραπτή συγκατάθεση. Η μίμηση χωρίς συναίνεση είναι παράβαση. Δεδομένου ότι τα σφάλματα μετάφρασης, μεταγλώττισης και συγχρονισμού θα επικαλύπτονται στην πολύγλωσση μεταγλώττιση, η επαλήθευση από ένα άτομο που γνωρίζει τη γλώσσα-στόχο είναι απαραίτητη. Παράγει ήχο οχήματος. Η συγκατάθεση, η ακρίβεια και το νόημα είναι δική σας ευθύνη.

Εργασία εφαρμογής

Γράψτε ένα αφηγηματικό κείμενο 60 δευτερολέπτων. Εκφράστε το με ένα εργαλείο TTS, με οδηγίες τόνου/ρυθμού/στρες/προφοράς όπως παραπάνω. Ακούστε το αποτέλεσμα και βρείτε και διορθώστε τουλάχιστον τρία μέρη που προφέρονται λάθος (αριθμός, κύριο όνομα, συντομογραφία). Στη συνέχεια, συντάξτε μια απλή «φόρμα συναίνεσης» για κλωνοποίηση φωνής: ποιανού η φωνή, ποιο έργο, για ποια διάρκεια, για ποια χρήση, δικαίωμα ανάκλησης. Συνοψίστε τη δουλειά σας.

λίστα ελέγχου

  • [ ] Έχω καθοδηγήσει τις φωνητικές οδηγίες με τον τόνο, το ρυθμό, τον τόνο και τις οδηγίες προφοράς;
  • [ ] Έχω ακούσει την έξοδο TTS και έχω διορθώσει τυχόν σφάλματα προφοράς/αριθμού/συντομογραφίας;
  • [ ] Υπάρχει σαφής και συγκεκριμένη γραπτή συγκατάθεση για τη φωνή που κλωνοποιώ/χρησιμοποιώ;
  • [ ] Έχω βεβαιωθεί ότι δεν έχω υπερβεί το εύρος της συγκατάθεσης (τόπος, διάρκεια, σκοπός);
  • [ ] Έχω επαληθεύσει την έξοδο μεταγλώττισης για μετάφραση/τόνο/συγχρονισμό με κάποιον που γνωρίζει τη γλώσσα-στόχο;