#0020｜LumaAIのModifyVideoを試してみた（その１）
LumaAIのModifyVideoを試してみる
LumaAIのDreamMachineは、以前少しだけ試してみましたがその時はあまり映像のクオリティが良くなかったこともあり、その後しばらくはノーマークでした。そんな時に衝撃の公式ムービーが公開されました。
LumaAIの「Modify Video」機能です。これまでの記事で何度か書いていますが、映画やドラマなどでのVFX表現として生成AIを使う場合には、撮影映像を加工できることがとても重要です。もちろん、生成AIのみで作る映像を使うこともあるかもしれませんが、多くのカットについては撮影した映像に何かしら合成なり加工をする必要が出てきます。
しかし、このムービーを見たら「何でもできるじゃん！」と思いませんか？僕もそう思い、それまでノーマークだったLumaAIをひとまず1ヶ月分課金しました。結果を先に言うと・・・可能性はあるけどまだ厳しいですね。期待を込めつつ、検証結果を紹介していきます。
渋谷でダンスをする
ここ最近、CGアセットやプリビズを利用した生成AIをずっと研究しています。これまでも何度か述べていますが映画やドラマなどで使う場合には「コントロールできる」ということがとても重要だからです。
MixamoのモーションとキャラクターのデータをMayaに読み込んでクレーンワークをつけPlaybrastしたムービーです。これをリアル映像にしようと思います。
検証を始めた頃はLumaAIのModify Videoのことをまったく分かっていなかったので、はじめにMidjourneyで男性のダンス画像を生成しました。
Modify Videoは、画像ではなく動画を入れてそれを加工しますが、スタートフレーム（ファーストフレーム）を別途入れるか、スタイルリファレンスの画像を入れることもできます。先ほど生成した画像をファーストフレームとしてLumaAIで動画化したものがコレです。
ぜんぜんダメですよね。ダンスの動きはなんとなく似ていますが画質も悪いですし、カメラの動きも微妙です。
つぎにStyle画像を入れて試してみました。公式ドキュメントに記述してありますが、Styleのウェイトの強弱を調整して動画生成前にプレビューができます。それはとても便利なのですが、できる映像がガチャすぎてコントロールがとてもムズいです。ウェイトを上げるとSFの世界になっちゃうし下げるとプリビズのチェッカー（入力ムービーのスタイル）が残っちゃうし・・・僕にはとても使いづらいです。
カメラトラッキングのことも考えてプリビズの背景をチェッカーにしていましたが、チェッカーをやめたプリビズも作り、Styleのウェイトを調整してみてもなかなかうまくいきませんでした。
ネットの情報を探していたら、Styleリファレンスを諦めて「スタートフレーム（ファーストフレーム）」のアングルやサイズを同じにしたほうが良いのでは、と思ったのでプリビズの高画質化をすることにしました。
このプリビズの場合、カメラがクレーンダウンのため最初のフレームだと奥がよく見えません。そこでラストフレームを使うことにします。
MidjourneyのRetexture機能で、プリビズと全く同じ位置やサイズの高画質画像を生成しました。
この画像と、逆再生したプリビズ動画をModify Videoに入れて動画化します。
その結果、プリビズにピッタリ（？）合った動画をつくることができました。（このムービーは逆再生してカメラワークを元に戻しています）
Modify Videoとは関係ありませんが、Midjourneyで生成した男性と女性のファーストフレームを使ってRunwayGen-4とKling2.1Standardで動画化してみたので性能比較としてお見せします。Gen-4もKling2.1もプロンプトは同じです。
The camera moves around and approaches a man breakdancing in the streets of Shibuya.
The camera moves around and approaches a woman doing hip-hop dancing in the streets of Shibuya, then follows her with a crane shot.
ハーリー船が海を進む
近所でiPhoneで撮影したハーリー（ドラゴンボート）のムービーです。この船を海に浮かべてみたいと思います。
このファーストフレームをMidjourneyのRetxtureで船の周りを海にしてみます。
ファーストフレームの建物や木が邪魔ですね。FLUX.1 Kontextだとうまくできるかもしれませんが、今はクレジットが無いのでまたの機会に試してみます。
この画像をファーストフレームにしてLumaAIのModify Videoで変換してみましたがこんな感じでした。MidjourneyでRetextureする前に建物や木を消すことにします。
AffinityやPhotoshopなどの画像生成ツールで海と空（のマスク）を描いておき、それをMidjourneyのEDITツールのSmartSelectを使って船だけ抽出したものとレイヤーで重ねます。そしてRetextureしたものがコレです。
iPhoneで撮ったムービーとこのファーストフレームをLumaAIのModify Videoを使って変換します。
A yellow boat moves forward in the stormy sea, splashing water. Very photorealistic.
なぜ海が動かないのよ・・・。iPhoneムービーのカメラワークはちゃんと反映しているけど波が全く動いていないのでダメですね。いや、カメラワークも若干ズレている？確認のため、撮影映像と重ねています。
少しズレていますね。波の動きについてはプロンプトで改善するかもしれませんがLumaAIの残りクレジットが少ないのでやめておきます。（今回の試行錯誤で結構なクレジットを消費してしまいました・・・涙）
最後に、撮影したムービーとは全く違うカメラワークになりますが、同じファーストフレームを使ってKling2.1Standardで動画化してみます。プロンプトは先ほどと少し変えました。
The camera follows a yellow boat moving forward in a rough sea, splashing water. The camera and the waves are rocking. Very photorealistic.
Klingの動きは臨場感があっていいですね。KlingにModify Video機能が搭載されれば最高なんだけどな・・・。
LumaAIのModify Video機能は可能性は広がりますが現段階ではイマイチ微妙かなとも思います。他のサンプルでも検証をしているのですが、長くなるので続きは次回にします。
