コスプレ衣装をフォトグラメトリ・3Dスキャンする部【基礎知識編】＋アイマスEXPOで展示したモデルについて

2025年4月15日 16:24

　初めまして、シオンと申します。
　今回12/14-15のアイマスEXPOにてフォトグラメトリ・3DGSによる衣装展示を行い、付随する形で配布する予定だったフォトグラメトリ・3Dスキャン作成紙に使用する文章をベースにちょっと書き直したのがこのNoteになります。

　基本的には衣装を簡易的にスキャンすることを目的とした内容になっているので、あまり専門的な内容ではないかもしれませんが見て行ってもらえると幸いです。

　この文章を書いて眠らせている間にアプリの使い勝手もかなり変わってきたので、今回のNoteはフォトグラメトリと3DGSの基礎知識＋αぐらいの文章になります（ゆるして）
　製作は後日衣装を持っていないので同じく布であるちびぬい達か283レッスンジャージをスキャンしてモデル製作していこうかなと思います。

　以下フォトグラメトリ・3Dスキャン技術に関しての解説などの文章になります、「とりあえず作ってみたい！」という方は『フォトグラメトリを作ろう！』まで飛ぶと製作に入ります。

・　そもそもフォトグラメトリ・3Dスキャンって？

　「フォトグラメトリ（以下：フォトグラ）」「3Dスキャン」という物についてざっくりと解説します。

　フォトグラメトリ（英：Photogrammetry）とは写真測量法であり、写真画像から幾何学特性を得る方法であり以下略…大雑把に言うと「被写体をあらゆる角度から撮った写真でメッシュとテクスチャで3Dモデルを作る技術」の事です。
　単語だけ聞くと簡単にモデルが作れる魔法の技術に思いますが、実際はクオリティを上げる為には心の中のリーリヤが「努力は前提条件だから、諦める理由にならない」って言ってくるぐらい地道な作業が多いです。

　「3Dスキャン」言葉だけなら聞いたことがあると思いますが、今回の解説では中でも『3D Gaussian Splatting（以下：3DGS）』についてです。
　3DGSはフォトグラと同じくあらゆる角度から撮影された写真・映像を元に、名前に書いてある3Dガウス分布（3D Gaussian）を用いてオブジェクトを3Dモデル化する技術です。どちらかというとフォトグラより魔法の技術に近いです。

　内容だけ見ると似通っている二つの生成方法、実際写真のAlignment（写真位置推定）と3D点群（座標データの様な物）を作成するまでは同じですが、最後の生成方法である「3Dメッシュ」と「3Dガウス分布」に一番の違いがあります。

　「3Dメッシュ」は聞きなじみがあったり、どこかで見たことある人がいると思われますが、△や□のポリゴンで構成された3Dモデルとテクスチャデータで構成されるモデルです。

　「3Dガウス分布」は3Dベル曲線を使用してガウス分布をスプラッティングされ、モデルを構成するガウスが位置・サイズ・方向・色の要素を持ち合わせており、それらのガウス分布がぼやけた塊として存在しそれらが集まる事でオブジェクトや風景を再現したモデルです。

　これら生成方法の違いがフォトグラと3Dスキャンの違いに直接繋がってきます。

　
フォトグラのメリットデメリット

○モデルが3Dメッシュとテクスチャで構成されるので技術的に成熟しており様々な事に使用しやすく軽い
○作成したモデルやテクスチャの編集も容易
○作成する制度にもよるが細かい表現も可能
×透過、反射、視点移動による色変化の再現は不可能
×苦手な対象が多く、モデルに欠損が生じる為ハイクオリティに作るのであれば修正は必須　

※3Dモデルを修正せず、単純にソフト上で作成した場合

撮り方にも左右はされますが緻密な表現が得意。
布のテクスチャ感や折り目を表現するならこっち

3Dガウス分布のメリットデメリット

○透過、反射、視点移動による色変化の表現が可能
○短時間でリアルな3Dモデルが製作可能
○ガウスで曖昧な表現なるからこそリアルな3Dモデルが作れる
×1つのガウスが多くの情報量を持つためデータ量が大きい
×近年技術が確立されたためモデルの汎用性が低くく、モデルビュワーですらかなり限られる
×文字や緻密なテクスチャといった精密な表現は苦手

上記のフォトグラに比べて同じ画像を使用すると描写が甘い（改善方法はあります）
ただ、バックルの金属特有の光沢表現は圧倒的に上

3DGS（左）フォトグラ（右）
スパンコールを使用する衣装の場合は圧倒的に3DGSのが表現力が上、ただしフォトグラは素材としては優秀なので、ここからマテリアルの調整をかけることもできる

　フォトグラメトリでも3DGSでも3Dモデルを製作する大まかな流れとして、

【写真/動画撮影】
↓
【撮影した写真/動画の処理】
↓
【フォトグラメトリソフトに読み込ませる】
↓
【アライメント（写真位置推定）】
↓
【点群作成】
↓
【メッシュ生成】
↓
【テクスチャ生成】
↓
【完成】

　この流れになります。これに加えて「アライメントが繋がらない写真をコントロールポイントでマッチングさせる」「破綻したメッシュの修正」「テクスチャの調整」「データサイズの削減」「マテリアル貼り付け」etc.とまあ様々な作業が待ち構えています。

　スマホで行うフォトグラメトリはクオリティは流石に落ちてもこれら作業をある程度簡略化&自動化＋ガイドでかなり初心者にもやさしい制作環境になっています。そんなハイスペックPCや一眼カメラを使わず、スマホだけで完結する入門フォトグラについて解説していきます。（主に次のNoteで）

・　フォトグラメトリ用途例

じゃあ3Dモデルを作れるのはいいけど何に使えばいいの？」と、いったところからいくつか案を提案していきましょう
　最初に使用用途を決めておくと、後に解説する２つの作成方法どちらが適しているかわかります。

1：「3Dモデルを投稿できるサイトで自作衣装を誰かに見せる」

→SketchFub(スケッチファブ)と呼ばれる3Dモデルを投稿するサイトで恐らく最大手。見るだけならユーザー登録不要なので、そこにフォトグラを投稿してSNSで共有すれば開いた人が実際にグルグルして衣装を見ることができます。
　ライティングやエフェクト、ダウンロード可否なども設定できるので便利です。

▼Sketchfabに上がっているアイマスEXPOでも展示した3Dモデル▼

（追記）最近では3DGSモデルの公開に『PlayCanvas』が少しずつはやり始めています。執筆時にはまだそこまで幅を利かせていなかったのでアイマスEXPOでタブレットを使用した展示にとどめる為に使用したのですが、ほぼ唯一無二の3DGSモデル公開サイトになるので頑張ってほしいところ。
　現状の欠点はスケッチファブより直感的じゃないので少し慣れないと投稿が大変なところ。

▼PlayCanvasに上がっているアイマスEXPOでも展示した3Dモデル▼

2：「物体としての衣装は場所を取るので手放す際にデジタルアーカイブ化し
てデータとして保管する」

→特に公開はせず、衣装制作の思い出や記録としてデータを残す用途としての使用です。歴史的資料などをデジタルアーカイブとして残す試みは多々行われているので多分一番フォトグラメトリとして本来の用途に近いと思います。

3Dモデルなのでソフトでレンダリングして画像を書き出すことも可能です。
BTBSなのになぜか夕日で作りました

3：「3Dプリンターで衣装を出力する」
→作成したフォトグラで衣装をDMM.makeなどのサービスで出力する。3cmぐらいで出力できれば机の上に置いたら可愛いかなと思ってます。

4：「VR空間に配置しコスプレ衣装を展示する」
→僕が普段作成しているフォトグラの用途は主にこれです。現状では衣装を展示するVR空間というのが無いのであくまで案の一つですが、衣装のVR展覧会とか面白そうだなと思いました。

ここからはモデル製作に入っていきます

・フォトグラメトリを作ろう！スマホ編

　近年の流行であり手軽なスマホでのフォトグラ作成解説に入ります。今回は無料である程度使用できスキャンモードと対応端末の多さ、そしてURLで共有できることから『Scaniverse』（ポケモンGOのNiantic社が開発）というアプリで解説します。
　クオリティを求めるのであれば『KIRIengine』の有料版がおススメ（2025/03現在）。

　Scaniverseのアプリでフォトグラメトリを行う場合では2つ（正確には4つ）の作成方法があり。

・Photogrammetry (アプリ上表記：Photogrammetry)
　3Dモデルの汎用性が高い
　再現できない素材や質感・物体などもある
→様々な用途で使うならおススメ

・3D Gaussian Splatting：略3DGS (アプリ上表記：Splat)
　再現度が高い
　3DプリンターやSketchFubといった場所での使用が現状不可で汎用性が低くい
　布などであればテクスチャや質感の再現性はフォトグラより劣る
→現状ではアーカイブ目的やSNSでの共有であればおススメ

・　フォトグラメトリの前提条件

　ちなみにフォトグラは結構得手不得手がある。　

得意
・特徴点が多いもの（凹凸が多い、模様が多い）
・左右非対称
・様々な色彩が使われる
・マットな質感
その他いろいろ

布によってはソフト的にかなり判別がしやすいらしく、質感の凹凸まで再現される場合も

苦手
・見えにくい場所
・反射物
・透過物
・見る方向によって変わる色
・黒いフリル
・細い線
・単色
・左右対称
その他いろいろ

ビヨンドザブルースカイ修正前（左）修正後（右）
布の質感があっても白い箇所やフリル、パニエがボロボロになっている事から察せる通りこういう物は苦手です

3DGS（左）フォトグラ（右）
透過や角度によって色の変わる物体、特徴のない球体はボロボロに生成されてしまう

　ちなみに後者で紹介したSplatモードもとい3DGSは生成方法がそもそも違うので、フォトグラでの苦手物もキャプチャーすることができため透過している布や反射の強い衣装だとおススメです。

撮影前の準備

・明るい部屋で撮影しよう
　ブレとノイズは敵なのでできるだけ明るい部屋（欲を言えば衣装に対して均等に光が回る部屋）で撮影しよう。

・衣装を一周回れるスペースを用意する
　広角・超広角で撮影するので広すぎなくてもいいですが、これらのレンズで余裕をもって全身を撮れるぐらいの場所で撮影できればgood
　足元に物も転がってないようにしよう

・撮影中に風や振動で被写体が揺れないようにする
　揺れた部分がすごいことになります

・カメラのレンズを綺麗にする
　汚れは拭き取ろうね！　

・　余談
　当時のフォトグラメトリ製作ワークフローとEXPOで展示した衣装

　ちなみにここまで書いておいてアイマスEXPOで展示したモデルは、　

・フォトグラメトリ
　一眼カメラで撮影（400-600枚）
　↓
　RealityCaptureでフォトグラメトリ作成
　↓
　Zbrush MeshMixer Blendarでモデル修正・軽量化
　↓
　RealityCaptureで再度テクスチャリング
　↓
　Photoshopでテクスチャ修正
　↓
　完成