photoshop AI反射削除を活用したフォトグラメトリ検証

こんにちはhunyun_です。
2024年末に実装されたphotoshop（Adobe Camera Raw）に搭載された反射削除機能ですが、実際フォトグラメトリ活用可能性はどうなのかという質問があったので試してみました。

Photoshop（Adobe Raw）反射の削除機能について

camera Rawに追加されたAIによる反射削除は、眼鏡の映り込みや
ガラス窓の映り込みなどを反射成分を抜き取り反射をなくすことができます。

詳しい内容は公式ドキュメントを確認ください。

https://helpx.adobe.com/jp/camera-raw/using/remove-reflections.html

従来の反射除去撮影

従来の反射除去を目的とした撮影手法については以下で解説しております。

しかしこの方法は大きな手間と工数がかかります。また、ストロボのパワーを要するため、スタジオ設備が潤沢にある場合はいいですが、どうしてもコストの高い撮影手法でもあります。この辺りの課題が改善される期待があります。

対象物

過去に撮影した光沢のある重箱にて検証を行います。
撮影した写真では光沢がはっきり出ていることが確認できます。
撮影は一周２４枚、角度を変え6週の１４４枚撮影しています。

下記が実際にフォトグラメトリにて作成した３Dデータのスケッチファブになります。

フォトグラメトリでは１４４枚の平均なのでぎらついた光沢はうまく馴染んでいます。今回はこれを反射削除して検証します。

Camera Rawでの検証

デベロップの段階で、ここまでできるのは結構感動がありますね。
ライティングを回した画像でもそこそこ処理できています。ただ欲しい反射成分に関係ない傷なども含まれており、本来欲しい物も除去される場合などもありそうです。

しかしすべての写真で試してみると以下の通りです。
いくつか上手く反射削除できていない物が確認できます。

ちょっとわかりにくいのでアップにします。

底面を撮影したものは全て反射除去できておりません。

この機能の特性として、キャッチライト（反射が強く飛んで真っ白なところ）には効果が出ないため、太陽や、ライトの写り込みには効果がないことが多いです。
また、下地が透けて見えていないときも同じで何も効果が出せません。
そのため、重箱の裏の様に黒一色でテクスチャ感のないものには効果が出ないという具合です。

上面の金の部分はテカテカでは無い（半艶）ので効果はありますが、光沢反射の場合には難しいかもしれません。
ガラスの様な透過する物であれば角度によっては地が透けるので有効ですが条件次第にはなるかと思います。
この辺の原理を知っていれば有効なものと、効果が出ないものは予測が可能になります。

結果

フォトグラメトリにて３D作成したものが以下になります。

今回の生成は反射削除にうまく行った上部を使い作成しております。
そのため下部はありません。

良い感じに反射削除できています。
しかし、見る人によっては暗く見えるかもしれません。
無反射状態にするということは、物の質感がなくなってしまい色情報のみになりますので金は黄土色になります。

総評

【メリット】
偏光撮影は撮影環境の構築自体が、そこそこ手間ですが、それがなくなる。
偏光撮影はストロボのパワーを要するため高価な機材が必要ですが、そのコストを下げることができる。
デベロップで反射加減を調整できる。

【デメリット】
同じ環境でも理想の感じに処理される場合と全く処理されない場合がある。
AI挟むことによって単純に計算時間がかかる。
欲しいディティールも巻き込んで消えている場合もある。

現状としては、まだまだ課題があるため実践導入とは難しそうです。
しかしまだまだβですし、これから進化すること考えると未来を感じますね。
より正確性が上がるのであれば、刀の撮影など、特に映り込みに十分な配慮が必要な撮影環境を作り込む手間が９割を占める、みたいなものに対して、AI機能を取り入れることで変わってきそうですね。

まとめ

今回の検証に限らないことですが、
最終的にどの様に見せる（コンテンツ化）かで撮影、現像処理段階から変わってくるので先に目的をはっきりしておくことが重要になります。

反射削除は図柄や形が重要なのであれば有効です。
3DCGとして表現するのであればマストな処理になります。要DCCツールでの質感設定やライティング）
しかし、撮影ままの質感や雰囲気が分かる状態の方が好ましい場合、ある程度の反射は生きていた方が良いことも多いです。
また、3D Gaussian Splattingで見せる様な場合には余計な処理にもなるということです。

新しいテクノロジーは機能に使わされるのでは無く、目的に応じて選択していくことが重要ですね。

SUPERSCANSTUDIOでは、より良いデジタルアーカイブを実現できるよう
新規技術の検証を行っておりますので是非、高評価・スキ　よろしくお願いいたします。