Gemini / Whisk / Veo3の元ネタに使うリアル系3Dアバターについて考えてみる

画像/動画生成AIではガチャ要素があるので、リアル系3Dアバターを元ネタに使うことで一貫性のある動画づくりを目指していますが、Chromebook PlusのPCスペックはGPU性能が低いので、適材適所で使い分けるには？

MetaHumen Creator

Webブラウザーから使える、高性能なリアル系3Dアバター制作サービスですが、なんと誰でも無料で使えます。

リアルタイム・レンダリング・エンジンはサーバー上で動いているので「MetaHuman Creator」は、Chromebook Plusでもそこそこ使えます。

しかし、作成したリアル系3DアバターをBlenderなどで使うには、いったんUnreal Engineにエクスポートする必要があり、ゲーミングPCクラスのCPU性能/メモリー容量/GPU性能が必要になるので、この段階でChromebook Plusはアウトです。

Paperspaceなどの高性能なGPUが使える仮想Windowsで動かすという手はありますが、月額3,000円〜1万円の課金を覚悟する必要があります・・・💦

そこで、MetaHuman Creatorの3Dアバター画像をスクリーンショットして画像/動画生成AIやリアル系3Dアバター作成ツールに読み込んで使うということが考えられます。

Charactor Creator

Charactor Creator 4 は無料で始められますが、継続して使うには299ドル〜と買い取りなのでかなり高額、かつ、インストール型アプリケーションなので、ゲーミングPCクラスの性能が必要であり、Chromebook Plusはアウト。

Paperspaceなどの高性能GPUが使える仮想Windowsでは使えますが、やはり課金が月額3,000円〜1万円ほどかかるので、当面は無理そうです。

無料で使えるツールでなんとかできないか？

Jinny

以下の記事を参考にしてください。

Windows版のインストール型アプリケーションですが、Chromebook PlusのLinux環境にLutrisをインストールすると、WINE環境でJinnyがそこそこ使えます。

CLO3DのCONNECTサイトから無料のリアル系3Dアバターや衣装などの無料アイテムをインポートして使えるので、無料でもかなりのバリエーションが含まれます。

さらに、その気になれば「デザイナーモード」で自分で衣装を制作できます。以下のことがリアル系3Dアバターでも可能です。

作成した3DアバターをCONNECTサイトにアップロードする時に、FBX形式でエクスポートが可能なので、これをBlenderなどに読み込んでレンダリングすることで、生成AI用の元ネタを作るのに使えます。

Meshcapade

Webサービスで無料で（2500クレジットまで）リアルな3Dアバターのアニメーションが簡単に制作できます。

作った3DアバターをFBXでエクスポートできるので、Blenderなどにインポートしてレンダリングすることで、生成AI用の元ネタに使えます。

写真から3Dアバターを作成しても、ポーズしか適用されず、顔を似せることができないですが、それを除くと、かなり使い勝手が良く、細かい編集が可能です。

Avaturn

Webサービスで無料でリアルな3Dアバターが簡単に作れます。こちらは、スマートフォンと連携して自撮り写真で自分のアバターが作れます。

また、３枚（正面、斜め右、斜め左）の顔写真を読み込ませれば、好みの顔のリアル系3Dアバターも制作できるので、生成AIでこの３枚の顔写真を生成すれば、割と簡単に好みのリアル系3Dアバターを作れます。

GLB形式でアニメーション付きの3Dアバターをエクスポートできますが、なぜかそのままではBlender（3.4）にインポートしようとするとエラーになりインポートできなかったので、以下の GLB to FBX コンバーターでFBX形式に変換するとアニメーションごとインポートできました。

Meshy

以下の記事を参考にしてください。

Tポーズの身体全体の画像や写真を読み込んで3Dアバター化すると、アニメーションなどが使えるので便利ですが、細部の破綻がひどく、私の個人的な用途には適さないと感じて使っていませんでした。

ところが、頭部の画像や写真を読み込ませると、かなりリアルな頭部だけの3Dアバターが作れることに最近になって気が付きました。

さらに、最近のバージョンアップで、「Multi View Image to 3D」という複数の角度の異なる写真から3Dモデルを作成できる機能が追加されたので、より正確な形状とテクスチャーの生成が可能になりました。

これをFBXなどの形式でエクスポートしてBlenderにインポートすると、例えば、Jinnyの3Dアバターの頭部だけ「すげ替える」ことができるので、使い方によれば活用できそうです。

ただし、継続して使うにはProプラン（現時点で月額2,468円）にアップグレードする必要があるので、必要性に応じて検討すると良いと思います。

今後の方向性

先ずは、Avaturnに読み込ませるための、好みの美少女モデルの３枚の顔写真（正面、斜め右、斜め左）をGeminiで生成し、Avaturnでリアル系3Dアバターを制作しBlenderにインポートしてレンダリングしてみたいと思います。

さらに、レンダリング結果をGeminiやWhiskのVeo3でAI動画生成し、Google Vidsでクリップを繋げてショート動画を制作して、TuneCoreでBGMを付けてYouTubeにアップロードしてみようかと考えています。

まとめ

リアル系3Dアバターを生成AIの元ネタに使うことで一貫性のある動画づくりを目指すべく、Chromebook PlusのPCスペックでも使える無料Webサービスの「Avaturn」から始めて、生成AIによるYouTube動画づくりに繋げていきたいと考えています。

さらに、MetaHuman Creatorなどの高性能なリアル系3Dアバター制作Webサービスも、Chromebook Plusで適材適所で使っていけたらと思います。

参考リンク