『Luma Dream Machine』で映画のようなミュージックビデオを作ろう！〜AIアプリを駆使した「動画制作過程」を公開
こんにちは、サムです！
私のnoteでの創作活動は、当初から「AI技術」を駆使して展開してきました。ChatGPTをはじめとする多様なAIツールとの出会いから、創造における無限の可能性を日々探求しています。
作品制作においては、CanvaとDALL-E 3を使用して画像を編集・生成し、楽曲制作にはSuno AIを、英語学習にはSpeak AIを積極的に活用しています。
そしてこれまでのAI技術で生成したコンテンツを、一つの動画映像にまとめ上げるためのツール『Luma Dream Machine』を新たに取り入れました。
これはLuma AIが提供するサービスで、ユーザーが画像やプロンプトを入力するだけで、５秒程度の短い動画を自動生成してくれるというものです。
自分で生成した画像が自由に動き回る様子を見ると、その感慨深さは言葉では表現しがたいものがあります。これまでの創作物を、映画のようにダイナミックに表現するという強い思いから、最新のツール「Luma AI」を使って迫力のあるミュージックビデオを制作しました。
今回はその動画制作過程をご紹介し、様々なAIアプリの魅力を皆さんに感じていただければと思います。
この動画生成サービスはアプリ版とWebブラウザ版があり、無料から利用可能で、料金プランに応じた生成クレジット数があります。詳細な利用条件や更新頻度の高い最新情報は、公式サイトで確認することをお勧めします。
ここで、私が制作した『Wondering Note -THE MOVIE-』というシネマティック・ミュージックビデオをご紹介します。これは私の小説「ワンダリング・ノート」をベースに、サスペンス映画風の音楽ビデオとして作成しました。
動画は英語字幕付きと字幕なしの２パターンで、YouTubeにアップロードしました。それぞれ異なる雰囲気をご覧いただけたらと思います。
私の主な創作環境は、以下の通りです。
MacBook Air M1
Canva Pro
DALL-E 3
Suno AI
Logic Pro
iMovie
Luma Dream Machine
それでは、動画作品の制作過程をご紹介します。
Luma Dream Machine〜イラストから動画を生成
私は今回『LumaのWebブラウザ版』を使用しました。以下に大まかな動画生成手順を挙げていきます。
＊更新頻度により、画面の仕様が変わる可能性があります。
画像アイコンをクリックして、お手持ちの画像ファイルをアップします。
すると、右側にもう一枚アップするための窓が現れます。
これは動画の「初め」と「終わり」指定して、その間の映像をAIで補完するといった機能です。一枚絵よりも映像の形崩れの補正が期待できます。
私は全く違った2枚の画像を組み合わせて、その間の流れはAIに補完してもらいました。後述しますが、画像の一枚目はHD（横長の動画サイズ）にしておくと、生成された動画も同様のサイズとなります。
初めの画像は鬱蒼とした池と林のイラストで、2枚目は不気味な鏡が描かれたものを用意しました。
どちらの画像にも、同じような背景があるとAIが結合しやすいような気がします。また、画像だけでも生成できますが、より精度を高めるために文章でその内容を入力しました。今回私が使ったプロンプトは全て似たような、シンプルなものです。
Connecting these images seamlessly with the atmosphere of a scene from a horror movie.
（ホラー映画のワンシーンのような雰囲気で、それらの画像を自然に繋げて）
＊私は英文で入力しています。
あとは「ホラー」の部分を「ファンタジー」や「アニメ」といった具合に変えただけです。素材の相性にもよりますが、なるべく共通の物体がイラストに入っている方が良いようです。アニメ風の絵柄も動画生成できました。
生成された画像の上にカーソルを合わせると、実際に結合された動画が確認できます。その時点で好みのイメージが出来上がったら、ダウンロードを押します。一度生成された動画の修正はできない為、クレジットを消費して再生成する必要があります。
また、横にあるExtendボタンは、さらに続きを５秒拡張することができますが、今作では使用しませんでした。
生成された動画には、音声は含まれていません。動画編集の際は別途音源を用意する必要があります。
（*尺の長い動画を作成する際は、別途編集アプリを使用する必要があります。）
Canva〜マジック拡張機能でイラストの続きを生成
DALL-E 3の生成イラストや、前述のLuma AIでの生成動画をまとめる、大まかなプロット作りを挙げていきます。Canvaでは、それらを直感的に操作して貼り付けることができるので、大変重宝しています。
ここでは出来上がった動画を一つずつ、タイムラインにドラッグしてあります。順番は後でも自由に変えられるので、大体の流れで並べる程度です。
今回、最終調整はMacのiMovieを使用しました。
私がnoteにアップするイラストは、正方形のサイズ(1024*1024)なので、動画サイズにするには尺が足りません。このサイズでLumaの動画生成を行うと、フルHD(1920*1080)とはなりません。なので、「マジック拡張」機能を使って画像の続きを生成します。
元の正方形のサイズを、フルHDへと拡張します。
サイズは16:9を選択して、「マジック拡張」をクリックします。
画面いっぱいまで、画像が生成されました。一度に4枚生成されるので、お好みのイラストを選択して「完了」をクリックします。
Canvaでの動画制作の詳しい解説は、以下の記事をご覧ください。
Logic Pro〜楽器パートをAI分割してダイナミックに音質改善
Logic Proの新機能AI『Stem Splitter』で、楽曲ファイルをパートごとに分割します。ボーカルを聞き取りやすく、クリアな音質にするなど個々の楽器の音質改善を行います。
Suno AIで生成した楽曲を、4つのパートに分離して調整しました。
ボーカル、ドラム、ベース、その他の4つに自動で振り分けられます。最終的なマスタリング作業によって、迫力ある音圧に仕上げることができます。
Logic Proの詳しい解説は、以下の記事をご覧ください。
iMovie〜映画素材とエフェクト
私の使い慣れた動画編集アプリに、MacのiMovieがあります。非常に直感的でお気に入りなのですが、エフェクト系が足りない場合は他のアプリから代用しています。
今回は映画風のミュージックビデオの作成にあたって、それらしいテンプレートを利用しました。動画の最初と最後で使用しています。
今回はLumaの生成クオリティが高いので、動画をそのまま使用して貼り付けています。エフェクトやトランジションも、基本的なものだけを使っています。
Canvaで加工した、フルHDサイズのイラストを貼り付けて、動画と繋ぎ合わせました。また、タイムラインに英字幕もつけていきます。
動画のラストで男性が登場するシーンでは、Adobeのモザイクエフェクトを利用しました。ここは物語のPixel artの世界観として、どうしても使いたかったのです。
以上が『Luma Dream Machine』を使った動画生成と、その制作過程でした。私個人の創作範囲としては、ここで完成形を迎えられるほどのAI技術だと実感しています。目まぐるしい進歩の中で、１年後には一体どうなっているのか楽しみです。
ここまで記事をお読みいただき、ありがとうございました。
今回の動画『Wondering Note -The Movie-』の元となった小説も、よろしくお願いします。
