見出し画像

3D 360 Gemini Web Viewer|Gemini3で自作した3Dアニメーションビュアーと360° HDRIパノラマビュアーを合体

前回までにGemini3で自作したWebアプリ2つを合体し、3Dアニメーションモデルを360°パノラマビュアー上で自由にパラメーターを変更して見回せるWebアプリを制作しWordPressサイトにアップロードしたので紹介します。


3D 360 Gemini Web Viewer

Webアプリを開く

以下のリンクをクリックし開きます。

3D 360 Gemini Web Viewer 初期画面

3Dアニメーションモデルを読み込む

3Dモデルファイル(FBX, GLB, glTF)を画面の中央にドラッグ・アンド・ドロップします。アニメーションに対応。データサイズは小さめ(30MBくらいまで)をオススメします。

Mixamoデフォールトモデルのゴルフアニメーション FBXをドラッグ&ドロップ

HDRIパノラマ画像を読み込む

Poly HavenからゴルフコースのHDRIファイルをダウンロードします。

このファイルをビュアー上にドラッグ・アンド・ドロップします。

HDRIファイルをビュアーにドラッグ・アンド・ドロップ

シーン設定とスクリーンショット

Mixamoデフォールトフィギア

マウス操作と、右の操作パネルのスライダーなどでシーンを設定します。

途中で撮ったスクリーンショット画像は以下です。

スクリーンショット(PNG 927 KB 1540 × 885 pix)

★ Chromebook Plusで画面録画をしたところ、120fpsだったのでそのままではX.comにアップロードできませんでした。Convertioサイトで60fpsまでフレームレートを下げたところ、X.comにアップロードOK。

Meshy AI Girl

この記事で紹介しているMeshy AIで制作したゴルフスイングをしている3Dアニメーションモデル(FBX)をビュアーにドラッグ・アンド・ドロップしシーンを作成した結果です。

スクリーンショット(PNG 863 KB 1546 × 890 pix)

★ 3Dアニメーションの場合は、髪やスカートなどのいわゆる「揺れもの」の表現には一苦労します。物理アニメーションが比較的簡単ですが、NVIDIA GPU付きの高性能PCのお世話になるし、スカートのリギングは初心者にはたいへん。なので、今は動画生成AIで・・・💦

Gemini3で動画生成

上記の「Meshy AI Girl」の章で用いた設定を変更し、グリーンに向かってショットするシーンのスクリーンショットをGemini3にアップロードし、高速モードで動画生成を試みました。

スクリーンショット(PNG 1.31 MB 1920 × 1080 pix)
Gemini3にスクリーンショットのみをアップロードし動画生成

アップロードしたシーン画像を元に、ゴルフウェアを着た若い女性が、ゴルフコースのフェアウェイから、アイアンのクラブをフルスイングしてボールにインパクトし、ボールが舞い上がってフェアウェイに落ちるゴルフショットシーンの動画を生成してください。背景やカメラアングルはアップロードした画像に忠実に再現してください。彼女の服装やクラブなどは、ゴルフショットに合わせたものに変更・追加してください。

動画生成用プロンプト

★ 現状では、VEO3による動画生成は、Google AI Proプランでも一日に3回程度しか生成できないので、Webアプリによる動画生成まではできませんが、MeshyとMixamoで適当な3Dアニメーションモデルを作成し、HDRIパノラマ画像を用意すれば、Webアプリで構図などを試行錯誤したスクリーンショットから、そこそこリアルな動画を制作できる可能性が見えてきましたが・・・

まとめ

Gemini3で自作したWebアプリ2つを合体し、3Dアニメーションモデルを360°パノラマビュアー上で自由にパラメーターを変更して見回せるWebアプリを制作しWordPressサイトにアップロードしたので紹介しています。

Nano BananaでTポーズやAポーズの3Dモデルの画像を生成・編集し、Meshy AIに読み込んで3Dモデル化しFBXファイルに書き出せば、Mixamoに読み込んで3Dアニメーション化できます。

この3Dファイルを今回のビュアーに読み込めば、Poly HavenのHDMI画像を背景に3Dアニメーションシーンの動画や画像が比較的簡単に作成できるのでお試しください。

さらに以下の記事では、このWebアプリを進化させ、レスポンシブWebデザインでモバイル対応した「Dg 3D Viewer」を紹介しています。

参考リンク

E'z Cast 3Dモデル 360°VR @札幌大学雪景色

★ スマホで開くと、左上にあるコンパス(磁石)アイコンをタップすれば、ジャイロセンサーに画面表示が追従します。



いいなと思ったら応援しよう!