3D Gaussian Splatting　物撮りにおけるフローター削除検証

こんにちはhunyunです。今回は 3d Gaussian Splatting
における物撮りの検証を行っています。

従来のphotogrammetryや３次元計測は「現実の形状を忠実に取る」
ためにメッシュ化していくものが一つの目的でした。
対して、3D Gaussian Splattingは、「形状より”見た目”を滑らかに再現する」
ためにパラメトリック・ガウスで表現されます。
そのためフォトグラではメッシュ生成時破綻してしまう、細いものや透過物なども、ある程度3D Gaussian Splattingでは表現することが可能になります。

デジタルアーカイブにおいて、透過物の３Dデジタルアーカイブは
photogrammetryでは難しく課題がありました。
そういった物を3D Gaussian Splattingにて再現しウェブビューイングしていこうという試みになります。

対象物

２５㎜サイズの琥珀を撮影します。
完全に磨きがかかっているものではなく少し欠けなどマットな部分があるものになっております。

撮影画像

画像の以下の設定です。
今回135㎜・F16 ・ISOを400にて撮影しています。

このような設定で１週24カットで３段　計７２枚で生成しています。

フォトグラメトリ

Metashapeにてフォトグラメトリを実施しています。

フォトグラメトリでは何となく形状が再現されていますが、あくまでも欠け部分など部分的に特徴点が取れているのが自動で穴埋めされている物になっています。

また、色もマッピングされるだけなので琥珀の透過表現などは、ほぼ再現されておりません。

3D Gaussian Splatting

今回、アライメントは先ほどのMetashapeを使用し、
3D Gaussian SplattingはPostshotを使用し行っています。

生成段階ではフローターが無限に発生しており、フローター削除を行います。ここまで出ていると削除していくにしても結構な手間がかかってしまいます。

ざっくり除去すると、このようなります。
再現性は高く透過感もしっかり再現されています。
しかし境界ももや掛かったフローターが浮いており、
パリッと削除したいところではありますがphotogrammetryのmeshと違い、境界が分かりにくく本来残したい部分もかけてしまいがちになります。

細かいフローターはSuperSplatにて削除を行います。
リング表示モードにすることでどのポイントが影響しているのか
目視しながら削除していくことが可能です。
しかし全体に、フローターがある状態では手間が多くかかります。

PlayCanvasにアップしたのが以下になります。
3d Gaussian Splattingのデータをビューイングいただけます。

画像編集

画像を見直してみます。

フローターの原因として以下が影響している可能性があると考えました。
①背景紙のグレーが影響
②ISO感度的にノイズがあり奥行きのピンは弱いカットもあり境界線がぼけている部分があります。
③台のアクリルブロックの透過によって放射状のフローターが発生している。

この辺りを解決するため以下をPhotoshopのAI機能を活用しながら補正します。
以下を実施して画像を調整しました。

・PhotoshopCameraRAW　にてAIノイズ除去＋シャープ化
・Photoshopにて、対象物選択＋反転
・背景を黒でつぶし境界線を明確にする。

結果

Postshotにて生成しました。

このようになります背景のフローターは残っていますが
境界ははっきりしているので除去は簡単です。

除去をするとこのように霞掛かった部分はきれいになっています。

以下が補正後の3d Gaussian Splattingです。

総評

処理の段階では画像補正後のほうが楽ではありました。
ただ、見比べてみていただくと補正後のほうが少しくすんで見えます。
ISO感度のノイズ処理を意識しすぎて補正しすぎた可能性などが考えられます。

今回でいうと反省点は以下になります。
撮影段階でのアクリルの円筒が太すぎたことによりフローターが大きく発生した。
また固定の両面テープも大きすぎたこともあります。
台については、特に透過物の場合には物の直径より細い方が望ましい部分です。
今回、手前からの反射と抜けた部分にどちらからもグレーで被せた様になるので、下１／４〜１／３の部分がよりフラットにってしまっていました。

Gaussian Splattingの良さは透過が再現できることもありますが、
ライティングも反映できるという点が強みです。
琥珀のようにPhotogrammetryでは再現が厳しい場合、ライティングをフラットにするのではなく、
よりその物の良さを際立たせるようにライティングを振ってしまった方が結果は良かったかもしれません。

そのため、ライティングについては後ろに銀紙を対象物よりギリギリ小さく（対象物からはみ出ない）したもので、トップや手前からの光を反射させておく。
そのようにする事で写真の段階での透明感が上げることが出来ます。
そのほうが琥珀の良さを引き出せたかもしれません。

やはり、photogrammetry撮影同様、「何を表現したいのか」などの撮影計画を立てなるべく撮影の段階で環境を整えて撮影することが重要です。

SUPERSCANSTUDIOでは、より良いデジタルアーカイブを実現できるよう
新規技術の検証を行っておりますので是非、高評価・スキ　よろしくお願いいたします。