Câștiguri:
- Abilitatea de a înțelege diferitele fluxuri de lucru ale inteligenței artificiale ale muzicii, efectelor sonore și a straturilor de dublare și de a testa experiența prototipului cu producția de substituenți
- Abilitatea de a proiecta tehnici cum ar fi setul de variații ale efectelor sonore și harta adaptativă a stării muzicii cu suport de inteligență artificială
- Capacitatea de a recunoaște limite, cum ar fi etica clonării audio, cerințele de permis/contract și dreptul de autor muzical și de a recunoaște că calitatea finală aparține adesea artistului uman
Se spune că vizualul controlează ochiul, iar sunetul controlează emoția. Designul sonor al unui joc constă din trei straturi: muzică (compoziții care determină atmosfera și tempo-ul), efecte sonore (SFX - efecte sonore) (sunete ale evenimentelor, cum ar fi pași, arme, uși, clicuri de interfață) și voce off (VO - voice over) (linii de caractere, narator). AI generativ audio (modele care generează muzică, efecte și vorbire din text sau referințe) poate fi un accelerator pentru toate aceste straturi: muzică prototip, efecte de substituent, schițe de concept, chiar și schițe de voce off. Dar sunetul, ca și imaginile, poartă drepturi de autor, consistență și - mai ales în voce off - dimensiuni etice.
În această unitate, veți învăța cum să utilizați AI în producția de sunet; Veți învăța diferitele fluxuri de lucru de muzică, efecte și voce off, muzică adaptivă, drepturi de autor și etica clonării sunetului.
Trei straturi, trei fluxuri de lucru
Muzică. AI poate produce schițe muzicale care surprind starea de spirit a unei scene: temă de meniu, muzică de luptă, atmosferă de explorare. Este de neprețuit în stadiul de prototip și substituent - scena nu este „goală” până la sosirea compozitorului. Dar muzica finală este adesea opera compozitorului uman; deoarece tema mărcii, punctul culminant emoțional și muzica adaptivă (muzică stratificată care se schimbă în funcție de situația jocului) necesită un control fin.
Efecte sonore. AI și instrumentele audio procedurale sunt practice în producerea de efecte cu un număr mare de variații (10 pași diferite, 5 uși diferite); Se rupe monotonia. Efectele de substituent dau viață prototipului.
Dublare. Zona cea mai sensibilă. AI poate produce rapid schiță/substituent VO cu text to speech (TTS); Este folosit pentru a testa experiența jucătorului în timpul fazei de editare. Dar clonarea unei voci umane reale (clonarea vocii) necesită permisiunea, contractele și etica; Vocea finală este artistul uman în majoritatea proiectelor.
Flux pas cu pas:
- Descrieți funcția sunetului (cum ar trebui să se simtă, la ce eveniment ar trebui să fie redat).
- Dați referință/dispoziție (tempo, gen, atmosferă, mostre – rețetă protejată prin drepturi de autor).
- Generați substituent (prototip de completare, experiență de testare).
- Treceți la artist uman (pentru calitatea finală și marca).
- Verificarea drepturilor de autor/licență/permisiuni (în special pentru muzică și audio).
Sfat: produceți un set de variații ale efectelor sonore, nu mostre individuale. Redarea unei singure mostre din același pas din nou și din nou se simte fals; Devine natural când joci 6-8 variații aleatoriu.
Muzică adaptivă și integrare
În jocurile moderne, muzica nu este statică, ci adaptabilă: calmă atunci când jucătorul explorează, intensă atunci când este angajat în luptă. AI poate ajuta la elaborarea designului acestei structuri stratificate (care strat în ce stare, reguli de tranziție); Producția sa este o muncă integrată cu motorul de sunet (de exemplu, un middleware). Lăsați AI să mapeze starea muzicii, apoi verificați integrarea tehnică.
Atenție: Etica clonării vocii. Clonarea vocii unui actor vocal cu AI fără permisiunea și acordul expres al acestuia este atât o încălcare etică, cât și un risc legal. Imitarea vocilor persoanelor decedate sau cunoscute ridică, de asemenea, probleme legate de drepturile personalității. Utilizați TTS generic pentru substituent; de acord cu artistul pentru sunetul final.
Date tehnice ale designului sonor
Sunetul jocului este mult mai mult decât redarea unui fișier muzical; Este interactiv. Un sunet ar trebui să răspundă instantaneu (cu latență scăzută) la acțiunea jucătorului, să rezoneze diferit în funcție de locație (un sunet răsună într-o peșteră, se usucă într-un spațiu deschis) și nu ar trebui să creeze cacofonie atunci când este amestecat cu alte sunete. AI nu produce acest design interactiv în sine; produce materie primă (efecte, straturi muzicale, linii). Ceea ce leagă acest material de joc este motorul de sunet/middleware (middleware care declanșează și amestecă sunete în funcție de situația jocului) și designerul de sunet care îl gestionează. Așa că nu considerați „ok” fiecare sunet produs de AI fără a-l testa într-un context real de joc – în mișcare, cu alte sunete, în locații diferite.
Un alt punct important este nivelul volumului și echilibrul mixului: muzica nu trebuie să copleșească dialogul, sunetele critice ale jocului (cum ar fi sunetul unui inamic care se apropie) ar trebui să fie auzite întotdeauna. AI vă poate sugera o schiță a unei strategii de mixare (care sunet ar trebui să iasă în evidență în ce situație), dar decizia finală de mixare este o chestiune de auz și experiență. Sunetul, spre deosebire de imagini, este vizibil „în fundal”; Sunetul prost lasă un sentiment de calitate slabă pe care jucătorul nu poate înțelege în mod conștient de ce sunt deranjați. Deci regula este aceeași în producția de sunet: AI accelerează, urechea și experiența confirmă.
trei mini cutii
Cazul 1 — Substituentul a salvat experiența. O echipă a trebuit să trimită un prototip în tăcere după ce contractul de compozitor a fost amânat. Au produs muzică substituentă pentru 4 scene cu AI și au făcut testul de redare cu sunet; Feedback-ul jucătorilor a fost mult mai precis, deoarece atmosfera a putut fi testată. Muzica finală a fost apoi produsă împreună cu compozitorul.
Cazul 2 — Variația efectului a adăugat naturalețe. Într-un joc de acțiune, un singur sunet de sabie s-ar fi auzit iar și iar și se simțea fals. Când am creat 8 variante cu AI și le-am jucat aleatoriu, scorul jucătorilor „lupta este mai plină de viață” a crescut semnificativ; producția a durat câteva ore.
Cazul 3 — Îndepărtarea de la etica clonării vocii. O echipă a luat în considerare clonarea vocii unui celebru actor de voce fără permisiunea bugetului. Legea avertizează: clonarea neautorizată a vocii a fost o încălcare a contractului și a drepturilor personale. Echipa a folosit TTS generic pentru substituent și un artist contractual pentru final; A fost o soluție atât etică, cât și sigură.
Patru șabloane copiabile
1) Informații despre starea de spirit muzicală:
Rolul dvs.: regizor coloană sonoră. Scena: [de ex. noapte, explorarea orașului abandonat].Sentiment dorit: [neliniștit, dar curios]. Tempo: lent. Sarcină: scrieți o descriere a direcției muzicale pentru această scenă (instrument, tempo, atmosferă, dinamică). NU utilizați nume de piesă/artist protejate prin drepturi de autor; descrie-le doar cu calificări. Specificați că acesta este un substituent.
2) Planul de variație a efectului:
Planificați un set de efecte sonore pentru următorul eveniment: [de ex. pași pe podeaua de piatră]. Sugerați 8 variante; fiecare ușor diferit (greutate, viteză, umiditate de suprafață). Scop: sparge senzatia de repetitie. Sugerați denumirea să fie redată aleatoriu în motor.
3) Harta adaptivă a stării muzicii:
Creează o hartă adaptativă a stărilor muzicale pentru următorul joc: stări [explorare, tensiune, luptă, victorie], stratul muzical al fiecărei stări, reguli de tranziție între state și timpul de tranziție. Rețineți că aceasta este o schiță de proiectare care necesită integrarea cu motorul audio.
4) Controlul eticii/drepturilor de autor audio:
Intenționez să produc următorul material vocal: [descriere]. Amintește-mi de (1) considerații privind drepturile de autor/licențiere, (2) permisiunile și acordurile necesare dacă implică uzurparea/clonarea unei voci umane, (3) distincția între substituent și producția finală.
Prompt slab / Prompt puternic
Prompt slab:
Fă-mi muzică de război.
Fără senzație, fără tempo, fără instrumente, fără context; rezultat generic.
Solicitare puternică:
Scena: lupta finală cu șefii; Jucătorul aproape a pierdut, dar există speranță. Simt: epic, tensionat, zburător. Tempo: rapid, percuție dominantă, climax cu refren. Durată: buclă de 90 de secunde, cu o cădere dinamică la mijloc. Acesta este un substituent; varianta finală se va face împreună cu compozitorul. Nu face referire la lucrări protejate prin drepturi de autor.
Funcția, arcul emoțional, tempo-ul și cererea de buclă conduc la ieșire.
Diagramă de comparație a stratului audio
strat
Adecvarea AI
producția finală
Risc de drept de autor/etică
muzica
Substituent/concept
În general compozitor
Mediu (imitație de muncă)
efect de sunet
Generarea variației
Ar putea fi parțial AI
scăzut-mediu
voce off
Substituent TTS
În general, artist
Tare (clonarea vocii)
Design adaptabil
harta situatiei
Integrarea motorului
scăzută
Greșeli comune
- Folosind o singură mostră de efect. Se simte din nou fals; este necesară variația.
- Substituent greșit pentru final. Audio AI este incomplet în majoritatea proiectelor.
- Clonarea vocii fără permisiune. Este o încălcare etică și legală.
- Citând lucrări protejate prin drepturi de autor. Risc de încălcare în mesajele „cum ar fi cântecul așa și așa”.
- Stabilirea muzicii adaptive statice. Straturile sunt necesare în funcție de situația jocului.
Pe scurt
Sunetul poartă emoția jocului. AI; Accelerează linia de producție prin producerea de concepte și substituenți în muzică, variații ale efectelor și schițe în vocalizare. Dar calitatea finală, tema mărcii și controlul adaptiv sunt adesea treaba artistului uman; Clonarea vocii necesită permisiunea și etica. Naturalitate cu variație, rapiditate cu substituent, calitate supremă cu artistul.
Sarcina de aplicare
Alegeți o scenă din jocul dvs. Definiți o direcție muzicală substituentă cu șablonul „Scurt de dispoziție muzicală” și planificați un set de efecte cu 8 variante pentru un eveniment cu șablonul „Plan de variație a efectelor”. În cele din urmă, verificați-vă planul cu șablonul „Copyright audio/verificare etică”.
lista de verificare
- [ ] Am definit clar funcția de sunet și senzația dorită.
- [ ] Am produs un set de variații în efecte.
- [ ] Am poziționat vocea AI ca substituent.
- [ ] Am respectat cerința de permis/contract pentru clonarea vocii.
- [ ] Nu am făcut referire la nicio lucrare/artist protejat prin drepturi de autor.