ユニット 8 / 11

視覚効果、色、オーディオのクリーニングと強化

利益:

  • 人工知能をサポートするマスキング (ロトスコープ)、オブジェクト除去、アップスケーリング、およびノイズ除去ツールの理解
  • 人工知能のサポートにより、カラーグレーディングとサウンドクリーニングのドラフトを準備および修正する機能
  • 自動的な改善により、ドキュメンタリー/ニュース コンテンツの詳細 (人工物) が捏造される可能性があること、および現実を歪曲する倫理的限界があることを理解できること。

編集が終わると、「物語性」としては完成した映像になりますが、「視覚的・聴覚的」にはまだ磨きがかかっていません。この最終仕上げ段階であるカラー、オーディオのクリーンアップ、エフェクト、強化は、ビデオをアマチュアからプロへと引き上げるレイヤーです。従来、この作業のほとんどには専門知識と時間が必要でした。フレームからオブジェクトを消すために手作業でマスキングをしたり、インタビューの騒音を消すために細かいサウンドを作成したりする必要があります。人工知能はこれらのタスクを加速し、専門知識の敷居を下げました。しかし、拡張ツールには特有の危険性があります。存在しない詳細を「補う」場合があります。この単元では、力と現実の限界の両方を取り上げます。

条項。マスキング/ロトスコーピングとは、オブジェクトをフレームごとに分離して選択することです (背景を置き換えるには、オブジェクトを削除します)。オブジェクトの削除とは、画像から不要な要素 (電話、ロゴ、人物) を削除し、背景を埋めることです。解像度アップとは、低解像度の画像をより高解像度の画像に引き上げることです。ノイズ除去とは、画像のノイズや音声のハムノイズを低減することです。カラーグレーディングとは、画像の色や階調特性を調整して雰囲気を作り出すことです。アーティファクトとは、リファイン中に導入された人工的で望ましくない歪みや加工された詳細のことです。

人工知能を活用した視覚効果

編集者にとって以前は数日かかっていた作業が、今では数分で完了します。自動マスキングにより、グリーン スクリーンを使用せずに人物を背景から分離できます。オブジェクトの削除では、ゴミ箱、マイク、または不要な人物をフレームから削除し、背景をインテリジェントに埋めることができます。背景の変更と動きの追跡はほぼ自動化されています。これらは生産性の真の飛躍です。しかし、結果は決して盲目的に受け入れられるものではありません。オブジェクトの除去では、背景に「ゴースト」の痕跡が残る場合があります。マスキングにより髪やエッジがちらつく場合があります。充填された領域は周囲の組織と適合しない可能性があります。各エフェクト フレームは全画面表示および動作中にチェックする必要があります。

色と音: 自動スタート、人間磨き

色補正では、AI が自動的にホワイト バランスを補正し、露出を均一にしたり、「映画のような外観」を提案したりすることもできます。これは良い出発点ですが、色は表現ツールでもあります。冷たい色調は緊張感を伝え、暖かい色調は親密さを伝えます。このクリエイティブな決定をそのままにしておくと、ビデオの感情が自動的にフラットになります。 AI が均等化します。雰囲気を作るのはあなたです。

現在、サウンド クリーニングにおける AI は非常に強力です。背景のハムノイズ、空調ノイズ、エコー、さらには風さえもある程度まで軽減できます。会話を際立たせることができます。しかし、過度にクリーニングすると、音がくぐもって「水中」のように人工的になってしまいます。 「s」や「t」などの音が歪む(アーティファクト)場合があります。ルール:耳の洗浄を確認し、適度に保ちます。目的は、音を無味乾燥にすることではなく、自然でわかりやすい音にすることです。

次の表は、目的とリスクごとに修復ツールをまとめたものです。

トランザクション

AIの貢献

主なリスク

コントロール

オブジェクトの削除

自動入力

ゴースト トレース、テクスチャの不一致

アニメーションの全画面表示

アップスケーリング

解像度を上げる

加工されたディテール、人工的な顔

オリジナルとの比較

ノイズ除去(イメージ)

チクチク感の軽減

極度の軟化、プラスチックの質感

ディテールロスコントロール

サウンドクリーニング

ハミング/エコーの低減

くぐもった人工的な音、アーティファクト

耳で、適度に

カラー編集

自動同期

感情のない平らな視線

クリエイティブなトーンの決定は人間の手に委ねられています

現実の限界: 改善が非倫理的な場合

これは最も重要な概念です。解像度強化ツールやノイズ除去ツールを使用すると、現実には存在しない細部を補うことができます。ぼやけた顔をシャープにするとき、アップスケーラーは、実際には存在しない顔の特徴、つまりその人に似ているが実際ではない顔の特徴を「生成」することができます。これは、架空のコンテンツや美的なコンテンツでは問題にならない可能性があります。しかし、ニュース、ドキュメンタリー、法医学、本物であると主張するコンテンツで現実を歪曲することは非倫理的です。防犯カメラの映像を「鮮明化」してナンバープレートを読み取ることは、実際にはモデルがでっち上げたナンバープレートを読み取ることになる可能性がある。ルールは明確です。ノイズ リダクションとシャープ化は許可されます。しかし、内容、話された言葉、または実際の詳細の意味を変更することは誤解を招く可能性があります。

注意: ドキュメンタリーやニュースのコンテンツの改善は、「存在するものをより可視化する」ことに限定されるべきです。 「存在しないものを追加する」(顔の細部、ナンバープレート、言葉)ことは、見る人を誤解させ、職業上の自信を損ないます。疑わしい場合は、オリジナルを保管し、干渉があることを示してください。

ミニケース3個

ケース 1 — 簡単なクリーンアップ。あるドキュメンタリー作家は、屋外でのインタビュー撮影中に風と交通騒音に悩まされました。サウンド クリーニングにより、AI はハム音を低減し、音声を強調しました。彼は結果を耳でチェックし、アーチファクトがないことを確認しました。再撮影は必要なく、インタビューは保存されました。車両は音を消しました。編集者は自発性を保った。

ケース 2 — 偽のアップスケーラー。研究チームは、アーカイブからの低解像度の顔画像をアップスケールすることで「鮮明化」し、ドキュメンタリーで使用した。その後、明らかになった顔には、実際にはその人物のものではなく、モデルが作り上げた造作があったことが判明した。このドキュメンタリーの信頼性が疑問視されている。教訓: 本物であると主張する顔や細部では、アップスケーリングの結果は本物とは見なされません。

ケース 3 — 過剰な洗浄。編集者は、ポッドキャストを「完璧」にするために、非常に積極的にオーディオをクリーンアップしました。その結果は、くぐもった、水中で、そして人工的なものでした。リスナーはその音が不快だと言いました。正しい方法は、クレンジングの用量を守り、何度も耳で比較することでした。

弱いプロンプト / 強いプロンプト

オーディオ/ビデオ ツールはほとんどがボタン操作ですが、テキスト アシスタントにワークフロー プランを作成させることもできます。

弱い欲求:

オーディオとビデオを修正して最適化します。

「最高」とは定義されていません。どの手順、どの投与量、どのコントロールであるかは不明です。

強い願望:

あなたの役割: ポストプロダクション ワークフロー コンサルタント。素材: 屋外で撮影されたインタビュー。風が唸り、画像に少しノイズがあり、背景に不要な標識があります。タスク: 改善計画を段階的に作成します。各ステップ: 目的、投与量警告、および管理方法。制約: これはドキュメンタリーです。現実を変える介入を提案するのではなく、存在するものを見える/聞こえるようにする操作のみを提案してください。

よくある間違い

  • 動いているエフェクトフレームを見ていない。ゴースト トレイルとフリッカーは再生時にのみ表示されます。
  • 過剰なノイズ除去。用量を超えると、声がかすれ、人工的なものになります。アーティファクトが発生します。
  • アップスケーリング出力を本物と間違えます。モデルの顔や細部にフィットします。リアリティを主張するために使用することはできません。
  • 色は自動のままにしておきます。色は表現手段です。感情的な決断はその人に属します。
  • ドキュメンタリーで現実を変える。存在しないものを追加することは誤解を招くものであり、職業上の違反です。
ヒント: 強化する場合は、常にオリジナルを保持し、「前/後」の比較を行ってください。小さな改善は、多くの場合、大規模な介入よりも自然で安全です。

要約すれば

視覚効果、色、サウンドの強化において、AI は専門知識の敷居を下げ、作業時間を数分に短縮します。自動マスキング、オブジェクトの削除、サウンド クリーニング、および色のイコライゼーションは、今や誰でも手の届くところにあります。ただし、2 つの制限が常に適用されます。 1 つ目は技術的なものです。あらゆる介入によってアーチファクト (ゴースト トレース、こもった音、でっち上げられた詳細) が生成される可能性があるため、適度に実行し、オリジナルと比較する必要があります。 2 つ目は倫理的です。ノイズを減らして明確にすることは許可されていますが、特にニュースやドキュメンタリーにおいて現実を変えることは誤解を招くものです。 AIが映像と音を磨き上げる。リアリズムと創造的なトーンを維持します。

アプリケーションタスク

ノイズの多い音声録音とわずかに歪んだ画像クリップ (おそらく自分の映像) を選択してください。サウンド クリアリングを 2 つの異なる量で適用し、耳で比較します。どの程度の線量で自然さが歪むかに注目してください。画像内のオブジェクトを削除または拡大してみて、出力を元のオブジェクトと比較して、少なくとも 2 つのアーチファクト/捏造の兆候を見つけます。このクリップがドキュメンタリーで使用されるとしたら、介入しない理由を書き留めてください。

チェックリスト

  • [ ] モーション/再生でエフェクト/クリーンされた各出力をチェックし、オリジナルと比較しましたか?
  • [ ] アーティファクトが発生しない程度の量でサウンド クリーニングを行っていますか?
  • [ ] アップスケーリング/最適化出力に偽の詳細がないかチェックしましたか?
  • [ ] 私は創造的な選択として意識的に色の決定をしましたか?
  • [ ] 本物であると主張するコンテンツにおいて、現実を歪めない制限を維持していますか?