ゴルフショット動画をGemini3で自作した3DアニメーションビュアーとMixamoアニメーションで制作してみた

Gemini3で3Dアニメーションビュアー（FBX & GLB）を制作し、MixamoでゴルフスイングをアニメーションさせダウンロードしたFBXファイルを読み込ませ、Gemini3でゴルフショット動画を制作してみたので紹介します。

このWebアプリの進化版（Dg 3D Viewer）を以下の記事で紹介しています。

プロローグ

ヒロは、25年前から始めた3DCGによる人物モデル作品づくりから、最近は生成AIを使った静止画や動画、およびWebアプリの制作による作品づくりに移行しつつある。

一般的には、3DCGでシーンを制作しレンダリングするには、Blenderなどの3DCGアプリで行うが、もっと手軽にできないか？と考えていた。

そこで、先ずは3Dアニメーションを読み込んで、360°VRでプレビューできる3Dアニメーションビュアーを、前回の3D HDRI パノラマビュアーと同様の方法で、HTMLコードによるWebアプリを制作した。

MixamoでゴルフスイングをするデフォールトフィギアのFBXファイルをダウンロードし、自作の3Dアニメーションビュアーにドラッグ・アンド・ドロップして、ゴルフショット動画づくりを開始・・・

3Dアニメーションビュアー

ローポリゴンの馬の3Dアニメーション

Gemini3 Pro Canvasに「Horse.glb」という、シンプルな馬が走っている3Dアニメーションモデルファイルをアップロードし、以下のようなプロンプトでWebアプリのHTMLを生成するよう指示した。

HTMLとGLBファイルは、以下のZIPファイルで無料ダウンロード提供しているので、ダウンロード後に展開すれば得られる。

3Dアニメーション映像の高画質化

次に、リアルな馬の画像をWhiskで作成し、ローポリゴンの粗い馬のアニメーション映像を、リアルな馬のアニメーションにできないか？Gemini3に聞いてみたが、それは現在のWeb技術ではできないと断られた。

Mixamoフィギアアニメーション

人物アニメーションで手軽に無料で試せるAdobe Mixamoの3D人物アニメーションファイル（FBX）を読み込んでプレビューできるWebアプリを、機能を追加してGemini3で制作することにした。

Mixamoのプレビューエリアで同じことができるので、わざわざ3D Universal Viewerを使う必要がないのでは？というツッコミが聞こえてきそうだが・・・

たしかに、Mixamoのプレビューエリアの方がより多くの機能を使えるが、例えば、回転と移動、ズームなどを画面左下にあるアイコンバーで切り替える必要がある。

一方で、3D Universal Viewerは切り替える必要がなく「左ドラッグ」「右ドラッグ」「ホイール」でシームレスに3Dビューの操作が可能である。

どちらが好ましいかは目的や感性などによって変わるが、私の場合は、後者の方が好ましいと感じるわけである。

ゴルフショット動画の制作

Gemini3でゴルフ用キャラクターを作成

以前にMeshy用に作成したアニメ風モデル画像をベースにGemini3で編集加工する。

フォトリアルな動画にしたいので、アニメっぽい顔立ちをAI Face Swapでフォトリアルっぽい顔立ちにしておく。

Whiskによるシーン画像の制作

モデルにGemini3で作成した画像をアップロードし、背景は以下のテキストプロンプトで生成。

スタイルは「フォトリアリスティック」とし、以下のプロンプトでシーン画像を生成。

Whiskによる動画生成

「アニメーション化」をクリックし、以下のプロンプトでアニメーション動画を作成。

ボールのインパクト後に、しばらくボールがフェアウェイ上に残りつつ、ミスショットでボールが転がっていくという、生成AIにはありがちな動画になったが、リアルな音が入っているので、ケースバイケースで使えそう・・・

Gemini3による動画生成

3D Universal ViewerのHTMLコードをテキストエディターにコピーし、HTMLファイル（3D-Universal-Viewer.html）で保存後、Chromeブラウザーにドラッグ・アンド・ドロップ。

さらに、Mixamoのアニメーションファイル（FBX）をドラッグ・アンド・ドロップして画面録画。

この動画を元に、Gemini3でゴルフショットの動画作成を試みる。

高速モード

高速モードでは、エラーが発生し動画の生成はできなかった。

思考モード

思考モードでは、Mixamoのフィギアのアニメーション動画を解析し、最初にアップロードしたシーン画像の女性モデルの動作に適用したように見えるが・・・

Whiskで生成した動画と比べると、ボールのインパクト後の挙動が正確になっているように見える。しかし、音が出ないので、この段階ではどちらが優れているか？はケースバイケースのように思える・・・

ダウンロード

3D Universal ViewerのHTMLファイルと、「Gemini3 Pro Canvas Webアプリ制作テクニック」PDFマニュアルを一括でZIP圧縮したファイルを、以下の有料エリアからダウンロード提供します。

ここからは有料エリアになります。ご購読をよろしくお願いいたします。

少しでもみなさまのお役に立てれば幸いです。