#0045｜KlingO1でv2vをやってみた
KlingO1
先日KlingからO1モデルがリリースされました。RunwayAlephのようなvideo editができ、AI-VFXをやっている僕にとっても期待大のモデルです。RunwayAlephにも発表当時は期待していたのですが、Gen-4の生成性能が低すぎて他社ツールと比べて見劣りするのと、1280x720解像度で5秒までしか生成できないという制限が結構ネックになります。せっかくRunwayの無制限プランに年間契約しているのにほぼ使っていなくて超もったいないです。やっとGen-4.5が登場しましたが、現在はt2vのみでi2vやv2vはいつまで経っても出る気配もありません。
モデル性能が高くて人気のKlingがAlephのようにv2v（video edit）が可能になったということで今回いくつか検証してみました。
素材の準備
実写映画やドラマでの使用を想定しているので、実写の素材を準備します。これまでのnoteでの検証では、撮影素材（想定）もAIで生成していましたが、今回はiPhoneで近所を撮影してきました。KlingO1の入力が10秒までなのでムービーはすべて1920x1080の24fps、10秒のmp4にしておきます。
（１）荒海を進むハーリー
「#0020｜LumaAIのModifyVideoを試してみた（その１）」で同様のことをLumaAIのRay2 ModifyVideoで試しました。しかし、そのときはうまくいかなかったので今回リベンジです。まず、近所の「那覇ハーリー（ドラゴンボート）」のベンチを嵐の海に浮かべてみます。
HiggsFieldのNano-Banana ProでFirstFrameの背景を嵐の海にしました。船の位置はほぼ（99%）一致しています。
続いてiPhoneで撮影したムービーをVideoに、Nano-Banana Proで加工したFirstFrameをImageとしKlingO1で動画化します。
なかなか良い感じになりましたが船の位置（動き）がプレートと生成したものでピッタリ合っていないです・・・カメラトラッキングが怪しそう。PixelをLatent空間に変換し、トラッキングしたカメラで画面全部を再生成してそれをまたPixelに戻していると思うので、動きが早くてトラッキングが難しいものはそこでズレるているのではないかと思います。
（２）ガジュマルのクリスマスツリー
大きなガジュマルをクリスマスツリーにしてみます。
まずはKlingO1でリファレンス画像を入れずに入力ビデオとプロンプトだけで生成してみます。
おお、見事に雪景色になりました。おもちゃやお菓子をたくさんぶら下げたかったのですがまだちょっと寂しいですね。
Nano-Banana Proで賑やかなクリスマスツリーにしてみました。これをKlingO1に入れてみます。
沖縄では雪が降りませんが、とても豪華なガジュマルのクリスマスツリーができました。
（３）公園で昼寝するパンダ
公園にあるこの半球状のオブジェクトにパンダを寝かせてみます。まずはiPhoneで撮影したムービーがこれです。
では、プロンプトでパンダを寝かせてみます。
イメージより小さいな・・・。動画でガチャするのはクレジットがもったいないのでFirstFrameをNano-Banana Proで加工してみます。
いいですね、イメージ通りです。ではKlingO1でv2vしてみます。
このダラさがいい感じ。ただ、ピクリとも動いていないので生きているのか？プロンプトで少しだけ動かしてみます。
小さくあくびをさせてみました。少しだけでも動くとリアリティが上がりますよね。
（４）ウォールアートを動かしたい
壁一面に描かれたウォールアート・・・これを動かしたいです。
この壁画を動かしたいのですが何十回やってもうまくいきませんでした。ほとんどがピクリとも動かない・・・。
このムービーは壁画の絵が少し変わってしまいました。やりたいのは下のムービーのようなことです。これは1枚の画像をGrokでi2vしています。同様にKling2.6でも同じプロンプトでi2vしてもうまくいきませんでした。
Grokは解像度が高くなくv2vもできないなど制約がありますが、モデル性能はとても優れていると思います。僕は外で時間がある時はスマホのGrokでよく写真を動かして遊んでおり、なかなか楽しめます。Grokで生成したこういう感じの動くアートをKlingO1のv2vで検証してみたかったのですが今回はうまくいきませんでした。
仕方がないので番外編としてこの撮影素材を元に、壁一面をTVにしたり、壁の前でダンスをしてみました。
このように画面一面を差し替えるのならばVFXでPlanar Trackingで貼り付けちゃえばいいですし、壁の前でダンスをするのならば実際に現場でダンサーに踊ってもらえばいい。実在しないものをダンスさせたければCGでやるか、ダンサーをAIでReplaceする方法もあります。なのでこの番外編のテストはあまり意味がないですね。。。
（５）猿の木登り
ヤシの木に猿を登らせてみましょう。
これはiPhoneで撮影したムービーですが、最初は消火栓？の箱の上に座っている猿が木に飛び乗って登っていく動きを想定しています。VFXでやる場合にはこのように何もない「カラ画」を撮影しておき、CGで作ったキャラクターに動きをつけてカメラトラッキングしたプレートに合成していきます。
猿の動き自体は良いと思いますが、撮影プレートと生成ムービーの位置などが一致していませんね。プロンプトで「猿が木を登るのをカメラフォロー」など指示しているので、もともとのプレートの動きにプラスしてKlingがカメラの動きをつけたのかもしれません。プロンプトからカメラの記述を無くしてみます。また、せっかくなので日本猿のリファレンス画像を入れて、日本猿を登らせましょう。
猿の動きはさっきの方が良い感じですが、今回はカメラの動きがピッタリ合いました。
（６）ゾウを歩かせる
この通路にゾウを歩かせてみます。
あれ？象（elephant）と入力したつもりが像（statue）になっていました。失敗！
Nano-Banana Proでゾウを配置しました。このFirstFrameをリファレンスにKlingO1でv2vをしたいのですが何十回やってもうまくいきませんでした。どうしてもKlingO1のFirstFrameがこのNano-Bananaのものと一致しません。なんでだろ・・・
上の画像がKlingO1のキャプチャ画面で、ときどき（４）のサムネイルも入っていますが（笑）、この簡単にできそうなゾウ合成がなかなかうまくいきませんでした。
上のムービーはKlingO1でv2vしたものです。リファレンス画像を入れてもなぜか毎回奥の方に象が配置されました。
RunwayAlephでやってみたところ、Nano-Banana Proで設定した位置とほぼピッタリになりました。ただAlephは現状5秒までしか生成できません。RunwayGen-4.5Alephの登場を待ち望みます！
（７）玄関先のシーサー
沖縄だと自宅やお店、ホテルやマンションにも玄関にシーサーがいます。シーサーは沖縄の伝統的な魔除け・守り神で、口が開いているのはオスで、福を招き入れ災いを追い払う（魔除け）役割があり、口を閉じたメスが招き入れた福を逃さないようにするそうです。
このシーサーをまずは子猫にしてみましょう。
めっちゃ可愛くなりましたね！次は子犬にしてみます。
こっちも可愛いです。カットの後半で若干ズレているので、カメラが近づいたときにカメラトラッキングがうまくいっていないのかもしれません。
（８）氷の郵便ポスト
次に郵便ポストを透けさせて氷のポストにしてみましょう。
おっ、中身が透けた！でもプラスチックっぽいですね。もうちょっと氷っぽくしてみます。
リファレンス画像なしでプロンプトのみの指定です。
中身の透けが無くなりましたが、氷の郵便ポストになりました。カメラトラッキングがしやすそうなプレートなので、撮影プレートと生成ムービーはピッタリ一致しています。
（９）国際通りのシーサー
国際通りの安里側の入り口のシーサー像と、県庁側のシーサー像の間の距離が約1.6kmあり、いちはやく戦後復興・発展を遂げ「奇跡の1マイル」と言われています。
このオスのシーサー像を、オスのライオンに入れ替えてみましょう。
おお、見事に入れ替わりました。ライオン以外は（ほぼ）そのままです。
今度は座らせてみます。MGM映画のオープニングロゴのレオ・ザ・ライオンのように頭をフリフリしてタテガミを揺らせたかったのですが僕のプロンプトの書き方が良くないのか、うまくいきませんでした。
（１０）ジェットスキーとザトウクジラのブリーチング
このムービーは石垣島でジェットスキーに乗せてもらった時にTG-Trackerで撮影したものです。
ジェットスキーの奥でザトウクジラにブリーチングをしてもらいましょう。
途中まではいい感じなのですが、途中から重力に逆らっている？？？
今度はシャチみたいになってしまった・・・。
その後プロンプトを変更しながら何度やってもうまくいきませんでした。
KlingO1だと配置したい場所の明確な指定が難しいです。まだ試していませんがLumaAIのRay3Modifyだとv2vのSTART-ENDを画像で指定できるみたい（Modify with Keyframes）なので細かなコントロールが可能かもしれません。
最後に、5秒までしか生成できませんがRunwayGen-4Alephでもやってみました。
KlingO1より僕のイメージに近いですし迫力がある・・・ちょっと見直したかも。ほんと早くGen-4.5AlephをPlease!!!
VFXにおいての可能性
これまで何度も言ってきたように、実写映画やドラマではvideo to videoが必須です。現状、video to videoが可能なモデルはそんなに多くはありません。主なものだと
・KlingO1
・LumaAI Ray3Modify
・RunwayGen-4Aleph
・Wan2.x（ComfyUI）
でしょうか。LumaAIからRay2 Modify Videoが登場したときは衝撃でした。しかし検証してみると画質がイマイチだったり、変えたくない部分も変わったりと、なかなか実戦投入がまだ厳しいと感じました。そのあとRunwayのGen-4Alephが登場したときも盛り上がりましたが、そもそもGen-4のモデル性能が他のツールに比べてあまり高くなく生成される映像もイマイチでした。先日Gen-4.5がリリースされましたがtext to videoのみで、image to videoやvideo to videoはいつサポートされるかも全くアナウンスがありません。そこに突如としてKlingO1の登場です。1920x1080解像度や最長10秒まで対応など、着実に性能や機能が向上してきました。もともとモデル性能が良いと言われているKlingなので大いに期待しましたがやはりvideo to videoはいろいろ難しいのか・・・。場合によってはRuway Gen-4Alephの方が良い場合もあります。Runway Gen-4.5Alephの登場を期待することにします。
LumaAI Ray3Modifyはデモを見る限りは良さそうです。中でもSTART-ENDに画像設定ができるみたいなので今回のKlingO1の検証でうまくいかなかったことも実現できるかもしれません。撮影映像のSTARTとENDの画像をそれぞれNano-Banana Proなどで加工したものを設定することで表現の幅がすごく広がりそうです。早めに検証してみたいと思います。そして、同様の機能をKlingO1にも搭載して欲しいです。
ComfyUIのWan2.1VACEなども検証していますが、ビデオインペイント機能によりマスクされた部分のみの生成が可能で、それ以外は入力映像から何も変わりません。KlingやLumaAI、RunwayなどのWebUI系のツールでは外部マスクをビデオインペイントとして使用する機能はいまのところ搭載されていないはずで、「背景はそのままにして！」と指示しても微妙に変わります。そのため、AI-VFXとして使用する場合は、元のプレートに「戻す」作業も発生します。他にもComfyUIはControlNetを使用することで多くのことをコントロール可能となり、WebUI系のツールではできないことも表現できたりします。その点では有望なツールなのですが、Wan2.2や2.5、2.6になってもローカルモデルがなかったり、標準でVACEサポートやテンプレートがなかったりと、今までWan+ComfyUIで持っていたアドバンテージが最近進化していないのが気になります。
各ツールが競い合って表現力向上の他に、4K高解像度化やカラーマネジメント機能、32ビットfloatingでの内部処理、dpxやexr連番ファイルの入出力、高機能リファレンス（LoRAやKlingElements同等）などをサポートするようになれば、実写映画やテレビなど映像制作の現場にどんどん浸透してくるのではないかと思います。
