הפקת סאונד, מוזיקה ואפקטים: העולם הנשמע של המשחק

רווחים:

• יכולת להבין זרימות עבודה שונות של בינה מלאכותית של מוזיקה, אפקטים קוליים ושכבות דיבוב ולבחון חווית אב טיפוס עם ייצור מציין מיקום
• יכולת לעצב טכניקות כמו וריאציות באפקטים קוליים ומפת מצב מוזיקה אדפטיבית עם תמיכה בבינה מלאכותית
• יכולת להכיר בגבולות כגון אתיקה של שיבוט אודיו, דרישות הרשאה/חוזה וזכויות יוצרים על מוזיקה, ולהכיר בכך שהאיכות הסופית שייכת לרוב לאמן האנושי

אומרים שהוויזואלי שולט בעין והקול שולט ברגש. עיצוב הסאונד של משחק מורכב משלוש שכבות: מוזיקה (קומפוזיציות הקובעות את האווירה והקצב), אפקטים קוליים (SFX - אפקטים קוליים) (צלילי אירועים כמו צעדים, אקדחים, דלתות, לחיצות ממשק) וקריינות (VO - קול אובר) (קווי תווים, קריין). AI מחולל אודיו (מודלים שמייצרים מוזיקה, אפקטים ודיבור מטקסט או רפרנס) יכולים להיות מאיץ בכל השכבות הללו: מוזיקה אב-טיפוס, אפקטים של מציין מיקום, סקיצות קונספט, אפילו סקיצות קריינות. אבל לסאונד, כמו חזותיים, יש זכויות יוצרים, עקביות ובמיוחד בקול-אובר ממדים אתיים.

ביחידה זו תלמדו כיצד להשתמש בבינה מלאכותית בהפקת סאונד; תלמדו את זרימות העבודה השונות של מוזיקה, אפקטים ודיבור, מוזיקה אדפטיבית, זכויות יוצרים ואתיקה של שיבוט סאונד.

שלוש שכבות, שלוש תהליכי עבודה

מוּסִיקָה. ה-AI יכול להפיק מערכונים מוזיקליים הלוכדים את מצב הרוח של סצנה: נושא התפריט, מוזיקת ​​קרב, אווירת חקר. זה לא יסולא בפז בשלב אב הטיפוס ומציין המקום - הבמה אינה "ריקה" עד שהמלחין מגיע. אבל המוזיקה הסופית היא לרוב פרי עבודתו של המלחין האנושי; כי נושא המותג, שיא רגשי ומוזיקה אדפטיבית (מוזיקה שכבתית המשתנה בהתאם למצב המשחק) דורשים שליטה עדינה.

אפקטים קוליים. AI וכלי אודיו פרוצדורליים מעשיים בהפקת אפקטים עם מספר רב של וריאציות (10 צעדים שונים, 5 דלתות שונות); זה שובר את המונוטוניות. אפקטי מציין מקום מביאים את אב הטיפוס לחיים.

דִבּוּב. האזור הכי רגיש. בינה מלאכותית יכולה לייצר טיוטה/מציין מיקום מהירה עם טקסט לדיבור (TTS); הוא משמש לבדיקת חווית הנגן בשלב העריכה. אבל שיבוט של קול אנושי אמיתי (שיבוט קול) דורש רשות, חוזים ואתיקה; הקול הסופי הוא האמן האנושי ברוב הפרויקטים.

זרימה צעד אחר צעד:

1. תאר את הפונקציה של הצליל (איך הוא אמור להרגיש, באיזה אירוע הוא צריך לנגן).
2. תן התייחסות/מצב רוח (טמפו, ז'אנר, אווירה, דוגמאות - מתכון מוגן בזכויות יוצרים).
3. צור מציין מיקום (מילוי אב טיפוס, ניסיון בבדיקה).
4. עברו לאמן אנושי (לאיכות סופית ומותג).
5. בדיקת זכויות יוצרים/רישיון/הרשאה (במיוחד למוזיקה ואודיו).

טיפ: הפק סט של וריאציות על אפקטים קוליים, לא דגימות בודדות. ניגון דגימה בודדת של אותו צעד שוב ושוב מרגיש מזויף; זה הופך טבעי כאשר אתה משחק 6-8 וריאציות באופן אקראי.

מוזיקה אדפטיבית ואינטגרציה

במשחקים מודרניים, המוזיקה אינה סטטית אלא ניתנת להסתגלות: רגועה כשהשחקן חוקר, אינטנסיבי כשהוא מעורב בלחימה. בינה מלאכותית יכולה לעזור לנסח את העיצוב של המבנה השכבתי הזה (איזו שכבה באיזה מצב, כללי מעבר); ההפקה שלו היא עבודה המשולבת עם מנוע הסאונד (למשל תוכנת ביניים). בקש מה-AI למפות את מצב המוזיקה, ולאחר מכן אמת את האינטגרציה הטכנית.

זהירות: אתיקה של שיבוט קול. שיבוט קולו של שחקן קול עם AI ללא אישור מפורש והסכמה שלו היא גם הפרה אתית וגם סיכון משפטי. חיקוי קולות של נפטרים או ידועים בציבור מעלה גם סוגיות של זכויות אישיות. השתמש ב-TTS גנרי עבור Placeholder; מסכים עם האמן לגבי הצליל הסופי.

עובדות טכניות של עיצוב סאונד

אודיו של משחק הוא הרבה יותר מסתם השמעת קובץ מוזיקה; זה אינטראקטיבי. צליל צריך להגיב באופן מיידי (עם חביון נמוך) לפעולת הנגן, להדהד אחרת בהתאם למיקום (צליל מהדהד במערה, מתייבש בחלל פתוח), ולא צריך ליצור קקופוניה כאשר הוא מעורבב עם צלילים אחרים. AI אינו מייצר את העיצוב האינטראקטיבי הזה בעצמו; מייצר חומר גלם (אפקטים, רבדים מוזיקליים, קווים). מה שמחבר את החומר הזה למשחק הוא מנוע הסאונד/תווך האמצע (תוכנה אמצעית שמפעילה ומערבבת צלילים לפי מצב המשחק) ומעצב הסאונד שמנהל אותו. אז אל תחשיב כל נכס צליל מיוצר בינה מלאכותית "בסדר" מבלי לבדוק אותו בהקשר משחק אמיתי - בתנועה, עם צלילים אחרים, במקומות שונים.

נקודה חשובה נוספת היא רמות עוצמת הקול ואיזון המיקס: מוזיקה לא צריכה להציף את הדיאלוג, תמיד יש לשמוע צלילי משחק קריטיים (כגון צליל של אויב מתקרב). ה-AI יכול להציע לך מתווה של אסטרטגיית מיקס (איזה צליל צריך לבלוט באיזה מצב), אבל ההחלטה הסופית של המיקס היא עניין של שמיעה וניסיון. סאונד, בניגוד לוויזואליה, מורגש "ברקע"; אודיו גרוע משאיר תחושה של איכות ירודה שהנגן לא יכול להבין במודע למה הם מוטרדים. אז הכלל זהה בהפקת סאונד: AI מאיץ, אוזן וניסיון מאשרים.

שלושה מיני תיקים

מקרה 1 - Placeholder הציל את החוויה. צוות אחד נאלץ להגיש אב טיפוס בשקט לאחר שחוזה המלחין שלהם התעכב. הם הפיקו מוזיקה ל-placeholder עבור 4 סצנות עם AI ועשו את מבחן המשחק עם סאונד; המשוב של השחקנים היה הרבה יותר מדויק מכיוון שניתן היה לבדוק את האווירה. לאחר מכן הופקה המוזיקה הסופית עם המלחין.

מקרה 2 - וריאציה של אפקט הוסיפה טבעיות. במשחק פעולה, צליל חרב בודד היה מתנגן שוב ושוב וזה הרגיש מזויף. כאשר יצרנו 8 וריאציות עם בינה מלאכותית ושיחקנו אותן באופן אקראי, ציון ה"קרב חי יותר" של השחקנים עלה משמעותית; ההפקה ארכה מספר שעות.

מקרה 3 - התרחקות מהאתיקה של שיבוט קול. צוות אחד שקל לשבט את קולו של שחקן קול מפורסם ללא אישור לתקציב. החוק הזהיר: שיבוט קול לא מורשה הוא הפרה של חוזה וזכויות אישיות. הצוות השתמש ב-TTS גנרי עבור מציין המיקום ובאמן חוזה עבור הגמר; זה היה פתרון מוסרי ובטוח כאחד.

ארבע תבניות הניתנות להעתקה

1) תדרוך מצב רוח מוזיקה:

התפקיד שלך: במאי פסקול. סצנה: [למשל. לילה, חקר עיר נטושה].הרגשה רצויה: [אי נוחות אך סקרנית]. קצב: איטי. משימה: לכתוב תיאור של הכיוון המוזיקלי לסצנה זו (כלי, קצב, אווירה, דינמיקה). אל תשתמש בשמות רצועות/אומנים המוגנים בזכויות יוצרים; פשוט תאר אותם עם כישורים. ציין שזהו מציין מיקום.

2) תוכנית שינוי אפקט:

תכנן ערכת אפקט קול לאירוע הבא: [למשל. צעדים על רצפת האבן]. הצע 8 וריאציות; כל אחד מעט שונה (משקל, מהירות, לחות פני השטח). מטרה: לשבור את תחושת החזרה. הצע שמות שיושמעו באופן אקראי במנוע.

3) מפת מצב מוזיקה אדפטיבית:

יוצר מפת מצב מוזיקה מותאמת למשחק הבא: מדינות [חקירה, מתח, קרב, ניצחון], שכבת המוזיקה של כל מדינה, כללי מעבר בין מדינות וזמן מעבר. שימו לב שמדובר בסקיצה עיצובית הדורשת אינטגרציה עם מנוע האודיו.

4) בקרת זכויות יוצרים/אודיו:

אני מתכנן לייצר את הנכס הקולי הבא: [תיאור]. הזכר לי (1) שיקולי זכויות יוצרים/רישיון, (2) הרשאות והסכמים הנדרשים אם זה כרוך בהתחזות/שיבוט של קול אנושי, (3) הבחנה בין מציין מיקום לייצור סופי.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

תעשה לי מוזיקת מלחמה.

בלי תחושה, בלי קצב, בלי כלים, בלי הקשר; תוצאה גנרית.

הנחיה עוצמתית:

סצנה: קרב הבוס האחרון; השחקן כמעט הפסיד, אבל יש תקווה. הרגשה: אפית, מתוחה, מזנקת. טמפו: מהיר, כלי הקשה דומיננטי, שיא עם פזמון. אורך: ניתן ללולאה 90 שניות, עם ירידה דינמית באמצע. זהו מציין מקום; הגרסה הסופית תעשה עם המלחין. אין להתייחס לעבודה המוגנת בזכויות יוצרים.

תפקוד, קשת רגשית, קצב ודרישת לולאה מניעים את הפלט.

תרשים השוואת שכבות שמע

שכבה

התאמת AI

הפקה סופית

סיכון זכויות יוצרים/אתיקה

מוזיקה

מציין מיקום/מושג

בדרך כלל מלחין

בינוני (חיקוי של עבודה)

אפקט קול

יצירת וריאציות

יכול להיות AI חלקית

נמוך-בינוני

קריינות

מציין מיקום TTS

בדרך כלל אמן

חזק (שיבוט קול)

עיצוב ניתן להתאמה

מפת מצב

אינטגרציה של מנוע

נמוך

טעויות נפוצות

• שימוש בדגימת אפקט בודדת. זה מרגיש שוב מזויף; יש צורך בווריאציה.
• טעות ב-placeholder עבור אולטימטיבי. אודיו בינה מלאכותית מעורפלת ברוב הפרויקטים.
• שיבוט קולי ללא רשות. זו הפרה אתית וחוקית.
• ציטוט של יצירה המוגנת בזכויות יוצרים. סיכון להפרה בהנחיות "כמו שיר כך וכך".
• הקמת מוזיקה סטטית אדפטיבית. נדרשות שכבות בהתאם למצב המשחק.

לסיכום

הסאונד נושא את הרגש של המשחק. AI; זה מאיץ את פס הייצור על ידי הפקת קונספטים ומצייני מקום במוזיקה, וריאציות באפקטים וטיוטות בקוליות. אבל איכות סופית, נושא המותג ושליטה אדפטיבית הם לרוב תפקידו של האמן האנושי; שיבוט קול דורש אישור ואתיקה. טבעיות עם וריאציה, מהירות עם מציין מיקום, איכות אולטימטיבית עם אמן.

משימת יישום

בחר סצנה מהמשחק שלך. הגדירו כיוון מוזיקלי של מציין מיקום עם התבנית "תקציר מצב רוח מוזיקה" ותכנן ערכת אפקט של 8 וריאציות לאירוע עם התבנית "תוכנית וריאציה של אפקט". לבסוף, בדוק את התוכנית שלך עם התבנית "בדיקת זכויות יוצרים/אתיקה על שמע".

רשימת בדיקה

• [ ] הגדרתי בבירור את פונקציית הצליל והתחושה הרצויה.
• [ ] הפקתי סט וריאציה באפקטים.
• [ ] מיקמתי את קול הבינה המלאכותית כמציין מקום.
• [ ] שמתי לב לדרישת ההרשאה/החוזה עבור שיבוט קול.
• [ ] לא התייחסתי לאף יצירה/אמן המוגנים בזכויות יוצרים.