Krea AI でDAZモデルシーンから動画生成を始める - ノードを使った動画生成への道

Dg WebGPU Player でDAZモデルシーンを作成し、それを元に動画生成AIの「Krea AI」で動画生成にチャレンジしてみたので紹介します。

Krea AIを使おうと決めた理由としては、3DCGや音楽制作用のアプリ（BlenderやAudiotool）などで使われているノードを動画生成AIで使える点です。

ただし、文末の参考リンクに掲載している平岡憲人（ノーリー）さんのレポートなどで「危険」と判定されているので、現段階では個人的な趣味やテスト的に使う範囲にとどめ、最初から有料版を使うことをオススメします。

Dg WebGPU Player ベータ RC1

アルファ版に多少の改良を加えています。特に、OptimizeGLBのDracoファイルサイズ圧縮に対応しました。

オリジナルのGLBファイルの1/20ほどのサイズの圧縮ファイルを読み込めるようになり、モデルを読み込む時間の短縮ができました。

まだ、ユーザーインタフェースの一部の動作がイマイチな部分はありますが・・・💦

このDAZモデルシーン向けWebビュアーで元絵を作成しスクリーンショットを撮りました。

Krea AIで動画生成

概要

以下は無料で画像生成AIが使える「FLUX.1 KREA」の紹介動画です。

無料で無限に使えるわけではありませんが・・・💦

Krea AIを始める

無料版（Free）がありますが、とりあえずBasic（月額9ドル）で始めてみます。有料版を使う意味とは？

DAZモデルシーンで動画生成

「Video」を選んで、先ほどのスクリーンショットをアップロードします。

今回の生成モデルは、デフォールトの「Hailuo 2.3 Fast」768p 6秒 のままです。

左上に、生成中のプロセスがテキストで表示されるので、単なるプログレスより進捗状況がわかるので安心です。

約２分で動画生成が完了。ダウンロードすると以下のような感じですが・・・

生成モデルを「Hailuo 2.3」に変更し、以下のプロンプトで喋っている音声をテキストで追加・・・

試しに、画面の下の「Add audio」をクリックして、音声を付けてみると・・・

BGMと声が追加されましたが、喋っている言葉は、プロンプトで指定した文言とは別で、リップシンクもイマイチな感じ・・・

そこで、リップシンクができるか試してみました。

リップシンク

Video Lipsync

トップのツールバーの左端にあるホームアイコンにマウスカーソルを移動し、「Video Lipsync」を選択します。

スクショ画像 x テキストtoスピーチ

とりあえず「Generate」を選択・・・

ひらがなで「おはよう、ちょうしょくはなにたべた？」と音声テキストを入力し、「Preview」で音声を確認後、「Done」をクリック。

「Character」にスクリーンショットをアップロードし、「Generate」をクリックして動画生成を開始しました。いつまで経っても終わらないので、ブラウザーの再読み込みボタンをクリックして中止しました。

そこで、ニュースキャスターの映像のようなクローズアップ画像と音声ファイルを用意し、リップシンクを試すことにしました。

クローズアップ画像 x 音声ファイル

以下の、無背景で顔のクローズアップ画像（1000x1000pix）と、Google AI Studioの「Gemini 2.5 Preview TTS」で作成した日本語の音声をアップロードし「Generate」をクリックすると、すぐに動画生成は完了。

今度はうまくいきました。

実は最初の動画生成はできていた？

ここで、画面の右上のベルマークに通知が届いていることに気がついたので、クリックしてみると・・・

最初のリップシンク動画も「Done」になっていたのでクリック。

あまり質は良くありませんが、とにかく最初の動画生成が成功していました。

ノードとは？

私がよく使っているノードは、BlenderのHDRI背景を回転させる時のシェーダー画面とかですね。最も簡単なノードの使い方だと思います。

少し変わった使い方ですが、Audiotoolというブラウザーから使える音楽制作アプリもノードで電子楽器やエフェクター、ミキサーなどを接続して操作します。

Krea AIでは、少し盛ると「動画制作プロセスのオートメーション化」を実現できます・・・💦

こんな感じのAI動画生成プロセスを、Krea AIを使って実際に実現してみたいので、今後はステップを追って私の体験的なプロセスを紹介していきたいと思います。

まとめ

Krea AIによるノードを使ったAI動画生成プロセスのオートメーション化を実現するための入口を今回は紹介しています。

アプリ化によるユーザーへの提供も考えているので、フォローして覗いてみていただけると幸いです。

次回は、ノードを使った動画生成の例を、高速・低コストのFlux.1 Kreaと高性能のNanoBanana/Proで比較してみましたが・・・

参考リンク