見出し画像

[Threedive AI]World APIがつながりました

こんにちは、Threedive AI の開発です。

先日、Threedive AI に大型新機能として、「生成AIによる空間自動作成(BETA)」を追加しました。

リリースノートはこちら(v1.14.0)
https://docs.threedive.ai/release-notes/v1-14-0

この機能を使うと、テキスト入力または画像添付するだけで 3D Gaussian Splatting (3DGS) ベースの 3D 空間を作って、アバターで歩き回れてしまう、という面白い体験ができます。(ぜひお試しを!)

テキストから空間作成!

今回はこの機能の内部で利用している World Labs 社の World API について紹介します。


World APIって?

World Labs社は Marble というワールド生成サービスを運営していますが、このAPI版が World API です。

(ちなみに Three.js 用の 3DGS 描画ライブラリ Spark も World Labs社によって開発が進められています。)

つい Marble って呼びたくなりますが、お気をつけください。

そしてさらにややこしいことに、World APIから呼び出すワールド生成モデルの名前は、Marble です。

利用可能モデルについて

先日新しいモデルが発表され、選択できるモデルは4つになりました。(最新情報はこちら https://docs.worldlabs.ai/api/models

  • marble-1.1-plus … 広範囲生成モデル

  • marble-1.1 … メインモデル

  • marble-1.0 … 旧モデル

  • marble-1.0-draft … お試し用モデル

marble-1.1-plus は、最高品質のワールドが作成されるわけではなくて、もし可能ならばできるだけ広いワールドを作成する(お値段もその分上がる)というモデルです。他の生成AIモデルではあまり見かけない、ユニークな挙動です。

(日本語訳)marble-1.1-plus は最も広範な生成パスを提供し、大規模なワールドの場合、0~1,500の変動するワールド生成コストが追加される可能性があります。このコストは、推論中にシステムによって自動的に決定されます。

https://docs.worldlabs.ai/api/faq#what-is-the-difference-between-marble-1-0-marble-1-1-and-marble-1-1-plus

Marbleのトップページにはユーザーが作成した marble-1.1-plus のワールドも幾つかアップロードされていますので、気になった方は確認してみてください。

アカウントについて

World API を呼び出す際にはアカウント登録と API キーの登録が必要です。

注意点:Marble と World API は、アカウントは共通ですが 管理ページと課金の仕組みが全然別なので、課金の際には注意しましょう。Marble のプランに加入したからと言って、APIは呼び出せません。

World API がこっちで…

Marble がこっち。

生成用API

現在APIとして用意されているものは少なめです。ワールド生成に関係するのは次の通り。

  • POST /marble/v1/worlds:generate — ワールド生成開始(非同期)

  • GET /marble/v1/operations/{operation_id} — 生成ステータスのポーリング

  • GET /marble/v1/worlds/{world_id} — ワールドデータ取得

ワールド生成は使用モデルにもよりますが、5〜10分程度掛かるので、完成を待つにはポーリングが必要です。

ダウンロード可能なファイル

生成後、取得できる URL から、以下のファイル形式のダウンロードが可能です。

  • 3DGS(3D Gaussian Splatting)データ

  • メッシュデータ(衝突判定用)

  • パノラマ画像

  • サムネイル画像

ちなみに Threedive AI Studio では以下のように自動的に割り当てまで行われます。

① 3DGSデータ
② 360度パノラマ
③ サムネイル

全部自動で設定!

3DGSを表示してるのに、360度パノラマ画像も?と思われるかも知れませんが、ローディング中や 3DGS の間が透過してしまった時に良い働きをしてくれます。

 Threedive AI ではこの他にも最新の生成AIサービスをどんどん取り入れていく予定です。ぜひお楽しみに!


いいなと思ったら応援しよう!