Runway Gen-3でファッションショー ファースト・インプレッション｜Image to Video vs Video to Video
Runway Gen-3 AlphaとTurboで、２種類の作り方でファッションショーのAI動画生成を試してみたので、ファースト・インプレッションを紹介します。
Image to Videoでは、ファッションショーの背景と人物を合成して動画生成しましたが、プロンプトは人物とカメラの動きのみをシンプルに記述。
一方で、Video to Videoでは、Google AI Studioでガッツリとプロンプトを作り込みましたが・・・
Image to Videoでファッションショー
読み込む画像を準備する
今回は、ロイヤリティフリーの無料写真をPixabayで「ファッションショー」で検索しダウンロード。
オンライン画像編集ツール「Pixlr Express」で、中央のモデルを消去。
Sketchfabのグリーンバックの360°VR作品からスクリーンショットした人物画像のグリーン背景を削除し、上記の背景画像と合成。
Runway Gen-3のTurboでImage to Video
プロンプトは、カメラと人物の動きのみをシンプルに記述。
作例（X.com）
・カメラ：「Static camera」設定をオフ、スローモーション、チルトアップ、顔をトラッキング
・プロンプト：Slow motion. Tilt up and tracking woman's face: The woman walks with the syle of a catwalk.
Runway Gen-3 Alpha Turbo ファッションショー 作例 その１ pic.twitter.com/q1Mys3dMYf
— DAZGEN (@OtomonoLive) February 25, 2025
・カメラ：「Static camera」設定をオン（カメラ固定）、スローモーション
・プロンプト：Slow motion: The woman walks with the syle of a catwalk.
Runway Gen-3 Alpha Turbo ファッションショー 作例 その２（カメラ固定、スローモーション） pic.twitter.com/IdndjvoaIe
— DAZGEN (@OtomonoLive) February 25, 2025
★ 人物や背景を変えるプロンプトを盛り込んでも、変化しませんでしたが・・・💦
★ Alphaは「プロンプトに忠実でダイナミックに動くが、別人の顔に変化しやすい」そうであり、一方でTurboは「動きの変化は小さいが（スローモーションになる）、人物の一貫性は保たれている」という両者の違いが関係しているようですが…今後確認予定。
Video to Videoでファッションショー
YouTube紹介動画
読み込む動画を準備する
グリーンバックのスクショ３枚とプロンプトを組み合わせて、途中でターンする動画を生成。
グリーンバックの360°VR作品から３枚のスクショ画像を撮り、プロンプトで途中でターンさせる動画をAI生成（ファッションショーのベース動画） pic.twitter.com/ThrLY2aFIx
— DAZGEN (@OtomonoLive) February 25, 2025
Google AI Studioでプロンプトを作成
Google AI Studioで、日本語から英語のプロンプトを、空白を含めて500文字以内で作成します。日本語の例は以下です。
Runway Gen-3のVideo to Videoを使ってスタイルを変えるプロンプトを生成してください。そのスタイルは「パリ・コレクションのファッションショー風の風景にする」です。英語のプロンプトで、文字数は空白を含め500文字以内にしてください。
生成されたプロンプトの例は以下です。
Transform this video into a scene reminiscent of a Paris Fashion Week runway show. Emphasize high fashion aesthetics with dramatic lighting, elegant backdrops, and avant-garde attire. The overall mood should be sophisticated and glamorous, capturing the essence of haute couture. Consider incorporating elements like flashing cameras, a stylish audience, and a vibrant, runway-like atmosphere. The color palette should be rich and vibrant, with a focus on creating a visually stunning and cutting-edge fashion presentation. Ensure the video maintains a sense of realism while elevating the style to that of a high-end fashion show.
Runway Gen-3 AlphaでVideo to Video
★ TurboではVideo to Videoはできないと勘違いしていたので今回はAlphaを使いましたが、両者の違いを理解し、必要に応じて使い分けることが現状では必要なようですが・・・💦
・Alpha：プロンプトに忠実でダイナミックな動きをするが、人物の一貫性が保たれない
・Turbo：動きの変化は少ない（スローモーション）が、人物の一貫性が保たれる
グリーンバック動画を読み込み、プロンプトでスタイルを変更します。
★ 動画を生成しながらプロンプトを少しづつ変更し、希望する動画に近づけます。
作例（X.com）
Runway Gen-3 Alpha のVideo to Videoで既存のグリーンバック動画をプロンプトによりスタイルを変更 pic.twitter.com/on3nFC4hpO
— DAZGEN (@OtomonoLive) February 25, 2025
顔や衣装の変更をプロンプトで制限します。
プロンプトでスタイル変更を部分的に制限します（顔や衣装の変更を制限） pic.twitter.com/8QrxNtinsw
— DAZGEN (@OtomonoLive) February 25, 2025
ファースト・インプレッション
Image to Videoの場合は、グリーンバックの画像から、プロンプトで背景を含め直接生成するのはかなり困難だと感じました。
そこで、グリーンバックの人物画像の背景をAI画像編集で削除し、それをファッションショーの画像と合成し、Runway Gen-3 Alpha Turboで動画生成する方法がもっとも効率が良いと思います。
ただし、人物はプロンプトでは変更がほとんどできませんでしたが・・・
（Turboは人物の一貫性が保たれる反面、動きが少なく変更できない）
Video to Videoの場合は、グリーンバックの動画をAI生成し、それをベースにVideo to Videoでプロンプトによるスタイルの変更は、かなり大胆にイメージを変更できました。
（Alphaは、プロンプトに忠実にダイナミックな表現が可能だが、人物の一貫性が保たれない）
この場合は、Google AI Studioで日本語から英語のプロンプトを生成し用いましたが、こうしたAIツールを連携させて最終作品を生成することが、今後はスキルとして求められるとともに、ツール選定も重要に感じます。
まとめ
Runway Gen-3 AlphaとTurboでファッションショーのAI動画生成を試してみたので、ファースト・インプレッションを紹介しています。
Image to VideoとVideo to Videoでは、それぞれ得意な使い方があるので、目的に合わせて効率の良い方法を選択する必要があります。
また、AlphaとTurboの違いを使い分けることも、現状では必要になります。
次回以降では、Sketchfabにアップロードするファイルの制作のために、Lutris WINE環境で動くBlenderのインストールと、DiffeomorphicによるDAZシーンのインポートについて検証したいと思います。
