【AI MV制作の裏側】#03「音楽と映像を融合させる」完成までの記録
こんにちは、AI FLUXYです。
AI MV『still unseen world』の制作裏側シリーズ、いよいよ最終回です。
前回はMidjourneyで1200枚の画像生成の試行錯誤についてお話ししましたが、今回は音楽と映像を一体化させるまでの約30時間を振り返ります。
よかったら覗いてみて下さい。
🎥 MVはこちら👇
それと、今回のAI MV制作で使用したツールをまとめておきます。
ご参考までに。
作曲:SunoAI(AI楽曲生成)
歌詞制作:ChatGPT(歌詞・テーマ設定)
画像生成:Midjourney(AI画像生成・映像用カット制作)
動画化:Kling AI(AI動画生成)
リップシンク補正:Domo AI(一部、口の動き調整)
編集:Premiere Pro(構成・色味調整・最終仕上げ)
音楽が先、映像が後
今回のAI MV制作は、音楽が先、映像が後という順番で進めました。
最初にChatGPTで歌詞を作り、Sunoで音楽を生成。
何度かプロンプトを調整しつつ、楽曲を生成していきます。
ここは意外と数回の試行錯誤で気に入った音楽ができました。
正直、こんなにすんなり決まるとは思ってなかった。
歌詞はざっくりしたイメージを伝えて、何度かやり取りしながら
「ホラーとサイバーパンクが混ざった世界観」
を言葉にしていきました。
音楽を聴きながら画像生成、イメージを固めながらプロット作成
音楽ができたら、Midjourneyで画像生成を開始。
イメージを完全に固めてから生成するんじゃなくて、音楽を聴きながら生成して、良かった要素をプロットに反映させていく方法をとりました。
「このタイミングで顔のアップ」
「ここは引きで街並み」
そう思ったら、すぐ生成。
生成結果を見て構図が決まることも多かったです。
AIが出してくる予想外の案から、新しいアイデアが生まれました。
頭で考えるより、手を動かした方が早く形になる。
ただ、行き当たりばったりになりがちで、方向性がブレることもありました。
結果的に1200枚も生成することになりましたし。(笑)
効率は悪いけど、試行錯誤しながら作る過程が楽しかったです。
AI動画生成で映像に動きをつける
画像がある程度揃ったら、Kling AIで動画化していきます。
ここでも、音楽を意識しながら進めました。
イメージがはっきり浮かんでいるものは、わりとすぐに形にできます。
「こういう動きが欲しい」
というのが明確だと、プロンプトもすぐに作れるし、AI動画生成もスムーズ。
でも、そうじゃないものも結構ありました。
そういうときは、とりあえず生成してみて考える。
生成してみたら
「この動きは音楽に合ってる」
と気づくこともあるし、
「やっぱり違う」
と思って作り直すこともある。
試してみないとわからないことって、意外と多いんですよね。
Premiere Proでの編集作業
AI動画生成が完成したら、映像をPremiere Proに取り込んで、いよいよ編集開始。
正直、僕の動画編集は素人レベルです。(笑)
なので、YouTubeでMVを見たり、動画編集のチュートリアルをいくつか見て最低限のインプットをしてから作り始めました。
音楽を流しながら、動画や画像をつなげていく。
「この順番で並べてみよう」
と、構成していきます。
カットのつなぎ目、テンポ、色味。
すべてを「音楽に合っているか」という視点で見ていきました。
トランジションをどこに入れるかも悩みました。
入れすぎると逆に見づらくなる気がしたので、最低限にとどめつつ入れるタイミングもリズムに合わせる。
これだけでも、音楽と映像が合ってる感じが出た気がします。
一番地道だったのが色補正。
AIが出す素材って、同じプロンプトでも、それぞれ微妙に色味がバラバラなんですよね。
編集の合間合間でざっくり調整しつつ、最終的にすべてのカットを通して見たときに、改めて細かく色補正していきました。
この作業、結構大変で、ずっと調整していると感覚がバグってきます。(笑)
編集しながら素材を追加していく
編集作業を進めていると、「このシーン、もっとこうしたい」が次々に出てきます。
「ここにもう1カット入れたい」
「この角度じゃなくて、もっと引きで見たい」
そう思ったら、またMidjourneyに戻ってAI画像生成。
生成した画像をKling AIで動画化して、Premiere Proに戻る。
この行ったり来たり、1日で何十回もやってました。(笑)
この過程で、作品が少しずつ完成に近づいていきました。
完成の瞬間と終わらせる判断
すべての動画をつなぎ合わせて、一通り演出やエフェクトも入れ終わってようやく完成です。
でも、この「完成」は、あくまで一旦のゴール。
そこから、時間を置いて何度か見直しました。
冷静になってから見ると、
「ここ、もうちょっと調整したい」
という箇所が出てきます。
微調整を重ねて、また見直す。
このサイクルを何度か繰り返しました。
正直、もっといろいろこだわれたと思います。
でも、完璧を目指せば永遠に終わらないので、僕なりの完成の判断基準を3つ決めました。
世界観が通しで大きくブレていないか
色味の統一感が最低限保てているか
演出はくどすぎないか
基準を作ることで、「終わらせる」決断ができました。
振り返りと今後
あたりまえかもしれませんが、すべての工程で、「音楽」が判断の基準になっていました。
音楽を聴きながら映像のイメージを膨らませる。
音楽に合わせてAI画像生成をする。
音楽のリズムに合わせてカットを割る。
音楽の雰囲気に合わせて色味を調整する。
AIが出してくれた素材を、音楽という軸で整えていく。この過程が一番面白かったです。
1年前、初めてAIで動画を作ったとき、正直うまくいかないことばかりでした。
でも、AIの進化はすさまじく、個人でもクオリティの高いMVが作れる時代になっています。
音楽も、映像も、すべてAIと一緒に形にできる。
専門的な機材も、高度な技術も、大きな予算も必要ない。
「作りたい」という気持ちさえあれば、誰でもクリエイターになれる。
AIが、創作の入口を大きく広げてくれました。
「AIを使えば誰でも作れる」というのは、決して「簡単に作れる」という意味ではありません。
でも、「挑戦できる」「形にできる」ということ、その可能性が、今はすべての人に開かれている。
このシリーズを通して、そのワクワク感が少しでも伝わっていれば嬉しいです。
次のMVでは、アニメ調やタイポエフェクト(文字に動きを付けるやつ)に挑戦しているので、よかったらまた覗きに来てくれるとうれしいです。
🎥 チャンネルはこちら👇
最後に
この記事が少しでも役に立ったら、「スキ」や「コメント」をいただけると嬉しいです。
今後も、AI活用やAI MV制作の実践記録を発信していくので、気になる方はフォローもお願いします！
ではでは、最後まで読んでいただき、ありがとうございました！
また次の記事でお会いしましょう！
