3DGS実用化への道② Meta『SAM 3D』で変わる！AR・VR時代の次世代3D制作｜建築ビジュアルCG × AI活用法㊾
こんにちは、STUDIO55技術統括の入江です。
注目度の高い 3Dモデル分野 に、ついに ザッカーバーグ 率いる Meta（メタ）が本格参入しました。
2025年11月19日、Meta（旧 Facebook）が 物体セグメンテーション基盤モデル『SAM 3』を公開し、業界内で大きな注目を集めています。第3世代となるこの基盤には、3D生成機能『SAM 3D』が統合され、3Dモデルの一般利用化がいよいよ加速する段階に入りました。
今回は「3DGS実用化への道②」として、Meta『SAM 3D』による ガウシアンスプラッティング（GS）を活用した3Dモデル生成の革新的特徴を詳細にお伝えするとともに、『SAM 3』の飛躍的技術が動画編集にもたらす変革を、具体的な活用例を通してご紹介します。
『SAM 3D』『SAM 3』の理解を深めるため、Meta のビジョンを交えてご紹介します。
Meta『SAM』について
初めて聞いた方は、『SAM 3』と『SAM 3D』を混同する場合があるかもしれません。念のため補足しておくと、たまたま名称に 「3」が重なっただけで、両者は異なる内容を指しています（笑）。
『Segment Anything Model（SAM）』は、Meta が開発した画像・動画向けの "物体セグメンテーション基盤モデル" です。
日本語訳で、「なんでもセグメント」となります。
なんだか、ドラえもんの「ひみつ道具」みたいですね（笑）
2023年に初代が登場し、「何でもセグメントできる」として世界中で話題となりました。その後、より高精度・柔軟な機能を備えた 2024年の SAM 2、そして 2025年の SAM 3 へと進化しました。
現在の『SAM 3』 はシリーズの "第3世代" にあたり、テキストや例示画像によるオープンボキャブラリー対応や動画対応などが強化された 最新版 です。
その SAM 3 を基盤として 単一画像から 3D オブジェクトを生成できる機能が『SAM 3D』 です。つまり、SAM 3 のセグメンテーション技術をベースにした 3D拡張版 と言えます。
『SAM 3D』の 3D 生成には、ガウシアンスプラッティング（GS）が採用されています。
2023年の SIGGRAPH で研究論文が発表されて以来、ついに実務的な活用を目的として本モデルに搭載されました。
🔴『SAM 3D』モデル
『SAM 3D』には、2つの最先端モデル が含まれています。
・SAM 3D オブジェクト
家具や雑貨、環境などの一般物体を、単一の画像から 3D メッシュとして復元できるモデル
・SAM 3D ボディ
人物の体形やポーズを含む 3D メッシュ化に特化
いずれも、SAM 3 の セグメンテーション能力を基盤としており、2D情報から立体構造を推論 することができます。
🔺Playground（プレイグラウンド）
利用方法には、「ダウンロード」して使う方法と、ブラウザ上で利用できる 「Playground（プレイグラウンド）」 があります。
「ダウンロード」版では、ソースコードやチェックポイント（学習済み重み）が GitHub で公開されています。これは、ローカル環境（自分の PC・ワークステーション・クラウド環境など）で オフラインまたは GPU を使って自由に検証できるようにするためのものです。
そのため、利用には ダウンロードと環境セットアップ が必要になります。一般的な手順としては、Python＋PyTorch の環境構築 → リポジトリのクローン → モデル重みの取得 → 推論スクリプトの実行 といった流れになります。
（SAM 3D）
SAM 3D
（SAM 3）
SAM 3
🔸『SAM 3D Objects』
Playground の 「Create 3D Scenes」 をクリックします。
「Create 3D models」画面です。
建築ビズの使用の一例として、Google Earth から 東京都庁第一本庁舎 を取り出してみます。
目的のオブジェクトを画面上で直接クリックすると、画像が自動的に解析され、セグメンテーションが行われます。
2D 画像では一方向からの見た目しか得られませんが、SAM 3 は不可視の部分を推論して立体化します。
「Add effects」から、3Dモデルデータにさまざまな "エフェクト" を設定することができます。
「3D effects」では、生成した3Dモデルをガラス表現にしたり、パーティクルやメルトといったエフェクトがかけられます。
これらの内容は、ビデオや画像の 制作素材として活用ができます。
3Dモデル は、「PLY形式のファイル」としてダウンロードされます。
・SAM 3Dと「PLY形式」：軽量化の革新
従来の 3D-AI ジェネレーターでは、ユーザーのニーズに応じてモデルの出力形式（拡張子）を選択できるのが一般的です。しかし、SAM 3D では出力形式の選択肢がなく、ボタンをクリックした時点で「PLY」形式のデータが自動的にダウンロードされます。
これは、Meta が SAM 3D を “研究用ベースモデル” として位置付けており、データ構造を「PLY」に統一することで、アルゴリズムの評価や外部ツールとの相互検証を容易にする狙いがあるためと考えられます。
「.PLY」は、ガウシアンスプラッティングで用いられる 3D データの保存形式です。
ガウススプラッティング（GS）は、革新的なスキャン生成型の3Dモデルで、従来の “3Dモデル” とはまったく異なるアプローチを持っています。
その特徴のひとつが、「軽量化」です。
ゲームやメタバースなど、VR / AR 向けの 3Dモデル制作では「いかに軽量なローポリモデルに仕上げるか」が課題になります。この分野の制作経験がある方なら、その最適化作業にどれほどの工夫と手間が必要か、よくご存じでしょう。
3D モデルの「重さ」は、単純に ポリゴン数 だけで決まるわけではありません。
テクスチャ解像度（例：4K → 2K → 1K）
テクスチャ枚数（アルベド、ノーマル、Roughness など）
画像形式（PNG / JPEG / WebP / KTX2）
圧縮方式（Basis Universal など）
といったテクスチャ関連の要素が、モデルの容量と表示負荷の大半を占めることが多くあります。
とくに VR / AR やモバイルでは、
テクスチャの読み込み時間
GPU メモリ消費
レンダリング負荷
が シビアなため、ポリゴン数よりテクスチャ最適化の方が効果が大きいケースも多い ほどです。
そのため、テクスチャサイズと圧縮の工夫は「軽量化の最重要項目」になります。
最先端技術「ガウススプラッティング」の PLYモデルには、この 「軽量化の 最重要項目」である 画像テクスチャ自体がありません。
Blendeに読み込んだ.PLYデータ
見た目は従来の CG モデルの画像マップのように見えますが、内部は “色情報を持つ点群” で構成されており、通常の 画像ファイルは存在していません。
以下は Blender のシェーダーエディターですが、ご覧のように、画像テクスチャが存在していないことが分かります。
ガウシアンスプラッティング は、点群ベース＋テクスチャレス設計 により、従来のポリゴンモデルより圧倒的に軽量化できる技術です。
SAM 3D で生成される 3D モデルは、ガウシアンスプラッティングでの点群データとして PLY 形式 に特化し、徹底した軽量化 が図られています。この設計により、AR などへの応用も容易になります。
従来の 3D-AI ジェネレーターは「高解像度テクスチャ」に注力し、ひたすら ハイクオリティ モデル を目指して進化してきました。一方 Meta は、まったくその視点と異なるアプローチで 3D モデルの飛躍的な生成技術を公開したのです。そのため、単に「クオリティ」だけで評価すると、満足できない場合があるかもしれません。
しかし、SAM 3D の真価はそこにあるのではなく、ウェブや AR での利用における課題である「軽量化」を実現した点にあります。
したがって今回の一般公開は、Meta のこの技術力の高さを示すと同時に、将来的な本格実用化に向けた知見を広く集めることを目的としたものであると捉えられます。
・驚異的な軽量化：SAM 3D vs 従来モデル
実際に、他の 3D-AI ジェネレーターで生成したモデル拡張子と比較して、どのくらいの「軽量化」が実現されているのかを見てみましょう。
下の画像は、SAM 3D の「PLY」と、Hyper3D Rodin（ロダン） で生成した「glb」です。
見た目にも、SAM 3D の PLY がローポリモデルであることが分かります。
モデルデータのサイズはこのようになっています。
・Rodin（glb）: 45.1 MB
・SAM 3D（PLY）: 3.07 MB
PLY データは、glb データのわずか 約 1/15 という驚異的な軽さです！
Hyper3D Rodin（ロダン）は生成するテクスチャを 2K または 4K で選択が可能です。ここではデフォルトの 2K PBR マテリアル を使用しています。
※LODデフォルト
FBX データともほぼ同じ容量で、内訳は以下の通りです。
PBR テクスチャ（Diffuse, Metal, Roughness, Normal）：13.3 MB
FBX モデル本体：32.3 MB
合計すると、glb データとほぼ同じサイズになります。
合計：45.6 MB
もし PBR が不要であれば（FBX 18.9 MB + テクスチャ 6.33 MB =）25.23 MB まで抑えることが可能です。
いずれにせよ、SAM 3D の PLY フォーマットは、わずか 3.07 MB。
他で生成したモデルデータ拡張子の、"たった1枚のテクスチャ画像より軽い" データです！
単に 軽量 と呼ぶにも、"とことん軽量" です。
・軽快な操作性を支える『Ultralytics』の実力
軽量なデータ に加え、直感的な UI 操作で行える セグメンテーション機能 の高性能さにも驚かされます。
携帯やタブレットでの操作を想定した設計が伝わり、扱いやすく軽快な操作性を実感できます。
先ほどの 都庁モデル に追加して、周辺建築も追加してみます。
このような操作性と自由度の高さこそ、ユーザーにとっての『SAM 3D』最大の魅力 と言えるでしょう。
この軽快な操作性は、『Ultralytics（ウルトラリティクス）』のプラットフォーム技術によって支えられています。
ウルトラリティクス は YOLO 系の物体検出モデルで知られ、セグメンテーションを含む AI ビジョン全般において非常に優れた技術と環境を提供している企業です。
SAM 3 のセグメンテーション基盤も ウルトラリティクス の技術を活用しており、Web UI や Python API 上での高速・軽快な操作、正確なマスク生成やモデル構築を可能にしているものになります。
🔸『SAM 3D Body』
「SAM Body」は、人体の3D生成に特化した仕組みを持つモデルです。
「Create 3D bodies」の画面です。
サンプルイメージのサッカープレイヤーで試すと、自動的にプレイヤーが検出され、まもなく ボーン構造付きの 3Dモデル が生成されます。
この簡潔な操作性と正確なポージングセグメントに、誰もが驚くことでしょう。
指先や目、口元にまで自動でボーンが設定されています。
また、左右や部位ごとに色分けされており、ボーン構造が一目でわかります。
「SAM 3D Body」は「.glb」形式でダウンロードされます。「SAM 3D Objects」の「.PLY」形式と異なる点を、不思議に思う方もいるでしょう。
その理由は、ガウシンスプラッティング（PLY形式）モデルが点群（ポイントクラウド）ベースで構成されるためです。従来のポリゴンメッシュのようにボーンやリグを組み込む構造には適していません。
ガウスデータはあくまで 静的な3D表現 に特化しており、軽量でリアルな見た目を持たせることが主目的です。そのため、ゲームやARでのリアルタイム表示には向きますが、アニメーションやキャラクター制御には不向きです。これにより、ブラウザ表示や汎用性に最適な「.glb」形式が採用されています。
しかし、SAM 3D Body が付けてくれるのは「アーマチュア構造のみ」であり、リギングとしては不完全なものとなっています。
したがってアニメーションの設定などもありません。
生成されるモデルは服装を持たず、シンプルな人体形状のみで画像テクスチャも存在しないグレーモデルです。
シェーダーを見ると Normal Map ノードだけが配置されていますが、参照する元テクスチャはなく、強度も 0.000 に設定されているため、実質的に無効な状態です。
見るから、極力無駄を省いた仕様 であることがうかがえます。
『SAM 3D Body』の活用の一端は、理学療法における姿勢分析やリハビリ支援など、医療現場での実用化にあります。単なる静的モデルではなく、自動ボーン生成を基盤に、人物の動きをリアルタイムで取得してアニメーション化するモデルです。
つまり、人体の形状情報そのものが重要となる用途 に特化しているため、余計なテクスチャや高解像度マップを付けてモデルデータを重くする必要がないため、このような仕様になっているものと推察されます。
現時点でのお試しは あくまで 技術デモ であり、セグメンテーションからシームレスに 3D を構築できる技術水準の高さを示す段階です。
3D Body と 3D Object の『SAM 3D』モデルは、以下のような幅広い応用が期待されています。
ロボティクス
AR / VR コンテンツ制作
教育・医療・制作現場での活用
これにより、3Dモデルは単なる可視化ツールにとどまらず、多機能なデジタル資産として価値を持つものとなります。
🦾ARから理学療法、ロボット工学まで──SAM 3Dの多角的応用
『SAM 3D』の利用に関して、Meta は明確なビジョンを掲げています。
これが、他の 3D-AI ジェネレーターとの明確な違いでもあり、Meataが企業を挙げて開発を徹底している理由でもあります。
・Facebookマーケットプレイスショッピングの強化
・理学療法の変革
・ロボット工学アプリケーションの強化
昨年8月、Meta は 『Meta Spark / Spark AR』 プラットフォームを 2025年1月14日付で終了すると発表していました。
今年になって新たに登場した 『SAM 3D』 は、従来の Spark VR を塗り替える存在として、既存の AR や SNS コンテンツ制作の 新しい表現領域を大きく広げる可能性 を示しました。
特に、家具などの室内装飾品を AR でオーバーレイ表示し、購入前に実空間で配置確認できるといった「マーケットプレイスの強化」は、Meta がガウススプラッティングを AR 活用の中核技術として見据えている 象徴的な事例と言えるでしょう。
また、医療分野 では『SAM 3D Body』の活用が期待されており、理学療法における姿勢分析やリハビリテーション支援において、より正確な位置情報の推定を可能にします。
これは、現在 メジャーリーグベースボール（MLB）の主要な球場に導入されている動作解析システム（ Hawk-Eye ）にも通じるアプローチであり、人間の動きを高精度で可視化する新たな技術基盤となり得ます。
さらに、ロボット工学 における空間認識や操作精度の向上など、SAM 3D を活用した多角的な応用も想定され、3Dモデル技術の可能性は今後ますます拡大していくでしょう。
🤖ロボット工学 / 拡張現実アプリケーション『Locate 3D』
ロボット工学分野における技術開発に、Meta は別の形でも力を入れています。その一例が、今年（2025年）発表されたモデル『Locate 3D』です。
関連事項として、参考までに内容を簡潔に紹介しておきます。
Locate 3D は、現状は「ロボットや AR デバイスでの実世界応用を想定しているものの、まずは研究公開モデル」とされ、セットアップされたシーンデモを試すことができます。
先ほどのリンクから「Locate 3D」にアクセスします。
下部 "セレクトシーン" から「Clasroom（教室）」をセレクト。
スキャン空間の "Find all the chairs（すべての椅子を見つける）" と指示します。
瞬時に、すべての椅子を認識します。
"The recliner by the chalkboard（黒板のそばのリクライニングチェア）" と指示すると、このように的確に空間判定します。
『Locate 3D』は ロボットや AR デバイスが実世界で物体や空間を認識するための技術で、RGB-D センサー情報（カラー画像 + 深度情報）を活用して、物体や空間を 3D 空間上で把握します。
あたかも、災害現場などでの状況把握や、人命救助活動でのナビゲーション支援 などに活用できる可能性を感じさせる技術です。
空間把握：障害物や建物の位置、形状を認識
人物検出・セグメンテーション：救助対象者や動線を把握
リアルタイム活用：ロボットやドローンが現場で自律的に動ける基盤
このような展開が期待されます。
GitHub リポジトリ も公開されており、コードやデータセットもアクセス可能です。
Meta は、社会的な価値 を生み出すことに徹底し、このような さまざまな最先端技術の開発に積極的に取り組んでいます。
🔵『SAM 3』 映像編集革命
SAM 3D の基盤『SAM 3（Segment Anything Model 3）』では、映像（ビデオ）からのセグメンテーションが 大きく進化しました。
SAM 1 や SAM 2 は 静止画（画像）中心 のモデルでしたが、SAM 3 では、映像に対して “Video Object Tracking（VOT）機能” が大幅強化されています。
従来は、After Effects のロトスコープや Mocha のように
「ペンツールやトラッカーで対象に印をつける」必要がありました。
それが、SAM 3 では "テキストで対象を指定するだけで追跡開始" し、マーカーやキーイング作業が不要です。
さらには、プロンプトの種類が増え、動画編集のワークフローも改善されています。
テキストプロンプト（PCS）
ポイント（クリック）
ボックス（範囲指定）
スクライブ（指でなぞる形）
いずれでも対象を指定でき、すべてが動画追跡に反映されます。
つまり、SAM 3 の映像セグメントは “従来のロトスコープをほぼ置き換えるレベル” にまで進化しており、映像制作における大部分を自動化し得るモデル となっています。
その応用範囲は、監視やセキュリティからリアルタイムのスポーツ分析まで、無限に広がるものになります。
現在、この機能は、あくまで 研究デモ用のビジュアライザ として提供されており、公式情報によれば、近日中に Instagram や「Vibes」への導入が予定 されています。
Instagram の動画作成アプリ「Edits」で
SAM 3 を使用した編集が可能になります。
🔹『ビデオ セグメンテーション』
『SAM 3』のスクラッチ テンプレート から、ビデオ セグメンテーション の例をお見せします。
サッカー動画のサンプルから、プロンプトで 「サッカープレイヤー」 をテキストするだけで、一瞬で動画内の対象を正確にマスクして追跡します。
画面から外れていくプレイヤーや、画面外から登場するプレイヤーまで非常に精密に追跡しており、選択エラーらしきものが見当たりません。
動画編集で動く被写体を手作業で切り抜いた経験がある方なら、この性能の高さに驚かれることでしょう。ここまで複数の人物を、それも、フレームイン・アウトまで正確に選択するには、かなり骨の折れる仕事です。
現状では、マスク処理から実際にくり抜いた動画をダウンロードすることはできませんが、ここまでの時短につながる性能をこのまま放っておくわけにはいきません（笑）。
After Effects のワークフローで、セグメントされた動画にエフェクトを適用し、素材として活用できるように工夫してみましょう。
「background」の「Color fill」エフェクトで、グリーンバックにしてダウンロード。
それを、AE の「KEYLGHT」でくり抜きます。
このように、一発で動画をカットアウトすることができます。
もちろん、他の方法もあるでしょう。
少しの工夫で、SAM 3 でセグメントした動画を編集素材として活用することが可能です。
たとえば、対象物をトラックマット用に書き出すなど、やり方はいろいろです。ロト処理の作業が格段に上がります。
🧠Meta の「PSI」構想と SAM 3D が示す次世代AIの方向性
Meta のビジョンには、『パーソナル・スーパーインテリジェンス（PSI）』が掲げられています。
"...Meta's vision is to bring personal superintelligence to everyone. We believe in putting this power in people's hands to direct it towards what they value in their own lives.
（直訳）
Metaのビジョンは、すべての人に パーソナル・スーパーインテリジェンス をもたらすことです。私たちは、この力を人々の手に委ね、それぞれの人生で大切に思うことに向けて活用できるようにすることを信じています。
2025年7月30日の第2四半期決算発表に合わせ、Meta はこの PSI を正式に打ち出しました。
一般に、人間の知能を大きく超えるAIは「スーパーインテリジェンス（ASI）」と呼ばれます。Meta の PSI は、この ASI をそのまま実現するだけではなく、“誰もが日常的に活用できる、個人最適化された超知能体験” を提供するという構想です。
つまり、「仕事を自動化して置き換えるAI」ではなく、「人々が自分の価値観や目的に沿って力を発揮できるようにするAI」です。
この考え方は、創造活動から日常生活、社会インフラに至るまで応用可能で、Meta が開発する『SAM 3D』もその思想を体現した存在と言えます。
誰でも高度な3D生成技術を扱えるようにするという方向性は、まさに PSI が目指す 個人のエンパワーメントそのものです。
SAM 3D の進化は、私たちの制作ワークフローだけでなく、働き方や生活そのものを再定義する可能性を秘めています。
PSI という大きなビジョンの中で、今後どのように展開していくのか、期待が高まります。
