Whiskで画像と日本語プロンプトを使いライブ風景を生成し Runwayでカメラコントロールを使ったショート動画の生成を試す

Whiskを日本語で使い、Runway Gen-3で生成するライブコンサートのショート動画用に、シーンの風景画像を「モデル」「背景」「スタイル」とも画像で指定し、日本語プロンプトのみでAI画像生成を試みたので紹介します。

「モデル」に使った画像は、以下の記事で紹介している作例を用いました。

ImageFXを使った前回の記事で紹介した方法より、さらにシンプルな作業の流れになりましたが・・・

Whiskでライブコンサート風景画像を生成

Whiskの紹介動画と記事

Whiskでライブコンサート風景画像を生成

以下に行きます。

Googleアカウントでログイン。

下にある「ゼロから作ってみる」をクリック。

「モデル」「背景」「スタイル」に画像を読み込み、簡単な主人公の状況や服装を記述した日本語のプロンプトを入力します。

日本語プロンプトは以下です。

プロンプトの右端の矢印ボタンをクリック。

右上の画像を選択。

Runway Gen-3でカメラコントロールを使う

Runway Gen-3に画像を読み込む

とりあえず、「Camera Control」はデフォールトのままで、Turboで「Generate」をクリック。

X.comに投稿したショート動画の作例

カメラコントロール

以下のCamera Controlの設定に変更しました。

・Horizontal（水平）： -3.0
・Vertical（垂直）： 　 -2.0
・Zoom（ズーム）：  　 5.0
・Pan（横移動）：　　 -3.0
・Tilt（上下傾き）：　    8.0
・Roll（回転）：　　　  3.0

作例（カメラコントロール）

ミントグリーンドレス

５秒で生成：

１０秒で生成：

スカイブルードレス

５秒で生成：

・Alpha版 カメラズームアウト：

・Turbo版 カメラコントロール：

10秒で生成：

・Turbo版 カメラコントロール：

まとめ

Whiskで画像と日本語を使ってサクッと画像生成し、それをRunway Gen-3に読み込んで、Turboのカメラコントロールを使ったダイナミックなカメラワークでサクッと動画生成する試みを紹介しています。

今回は「ImageFX」「Google AI Studio」「Video to Video」や「AI Face Swap」など、これまでに紹介してきた中間プロセスを省いて、少ない労力で短時間に結果が出せる方法を模索しました。

複数のツールや作業方法を、目的や用途に応じ適切に使い分けることが、生成AIの時代にはこれまで以上に求められるような気がしていますが・・・💦

参考リンク