D'zGAL Studio v2｜動画生成AIへの3Dシーン参照画像をWebアプリで作成

最近のAI動画生成や編集では、参照画像や動画をインプットするのが当たり前なので、MableワールドとAvaturn V2 3Dアバターを組み合わせた3Dシーンを作成し、簡単にシーン画像を出力できるWebアプリを紹介します。

今回は、同じシーン画像とプロンプトから、Gemini Omniなど４タイプの異なる動画生成モデルで、BGMと音声付きの動画生成を試みた作例も紹介しています。

プロローグ

DAZ StudioとBlenderで制作した3D人物モデルシーンをSketchfabで公開し、AIで自作したWebアプリ「D'zGAL Gallery」などで3D操作しながら閲覧できる試みをこれまで行ってきました。

しかし、最新のClaude Opus 4.8を用いてDAZ3D.comの利用規約、特に「インターラクティブライセンス」の条項に違反していないか？について検討した結果、これらの公開方法では有償/無償を問わず、違反しているという結論に至りました。

そこで、DAZモデルを用いない3D人物モデル（Avaturn V2）とMarbleワールドを組み合わせた3Dシーンを制作し、簡単に3Dシーン画像（シーンショット）を得られる「D'zGAL Studio v2」を開発したので紹介します。

Avaturn V2は、V1の3Dアバターの機能（３枚の顔写真から3Dフェース化、髪型、衣装、アニメーションなどを、プリセットから選んでカスタマイズ）に加え、顔の表情をカスタマイズできるモーフターゲット52種を内蔵しているので、これを用いた表情編集機能も追加しています。

以下の「D'z GAL Studio アルファ版」から、Claude Opus 4.8により大幅に改良を加え、正式リリース版として公開します。

D'zGAL Studio v2

3Dシーンの作成

左のワールドをクリックして選択し、右のパネルからアクターをメニューから選択します。

右下の「この世界に入る」をクリック。

今回は、このままシーンショットを撮りますが、右パネルによるシーンの3D操作、および、左上の「Edit」ボタンをクリックし、アニメーションを利用した3Dアバターのポーズや表情編集などが可能です。

シーンショット撮影

左上の操作ボタンの右にある「シーンショット」ボタンをクリック。

シーンショット画像の縦横比（3:2, 2:3, 1:1, 16:9）を選択し、「撮影」ボタンをクリック。（ダウンロード先を選択後、保存）

「✕」をクリックし、元の画面に戻ります。

必要であれば、カメラやポーズなどを変更し、いくつかのシーンを撮影します。

作例

シーンショット画像とプロンプト

今回は、この画像を動画の開始画像として共通で用い、上記の（日本語）プロンプトを使った動画生成を４タイプの動画生成モデルで試みています。

Gemini Omni

BGMと音声が日本語なのと、10sec 1080pが選べるのは好感が持てます。背景の飛行機の形状が後半で変化しているのが残念。

Hailuo 2.3 Fast（Krea AI）

BGMは付きますが、音声は無しなのと、長さが6secしか選べなかったのが残念。

LTX-2.3 22B（Krea AI）

10sec 1080pが選べるのは良いのですが、BGMが無く、音声は中国語になっているのが残念。

Seedance 2.0 Fast（Krea AI）

720pでBGMが無しなのは残念ですが、BGMの代わりに効果音と日本語の音声がリップシンクされているのは好感が持てます。

まとめ

従来は、DAZ StudioとBlenderなどで制作したDAZモデルによる3D人物モデルと背景（パノラマ画像、または、3Dガウシアン・スプラッティング）によるシーンの作成を試みてきました。

しかし、最新のClaude Opus 4.8によりDAZ3Dの利用規約を精査した結果、DAZ3Dのインターラクティブライセンスに違反している可能性があるので、Avaturn V2を用いたWebアプリの開発に切り替えました。

今後はこの「D'zGAL Studio v2」をベースに、Avaturn V2の3Dアバターに加え、Meshy AIやTripo 3Dなどの3D生成AIによる3DアバターとMixamoなどを組み合わせ、一般的なVRM規格に準拠したWebアプリの開発を進めたいと思います。

参考リンク