見出し画像

MetaHuman『皺』表現のカスタマイズ

3DスキャンモデルをMetaHuman creator / Metahuman identityでMetaHuman化(Mesh to Metahuman)することができますが、本人の肌テクスチャが再現できないために
「なんか微妙に似てない、、」と感じる方は多いのではないでしょうか?

3D scan データ → MetaHuman Creatorで形状はバッチリ!

形状は一致しているのに似ていない、、

左:3Dスキャンモデル
右:Mesh to Metahuman後

Meta Humanの仕様に合わせて本人のテクスチャを張り替えた場合は以下のようにグッと似てきます!

左:3Dスキャンモデル
右:Mesh to Metahuman + テクスチャ差し替え

この記事ではシワがある3Dスキャン素材をMeta Humanに追加する手法をご説明します。

[Neutral] Mesh to Metahuman →  テクスチャ差し替え
[CM-1/WM-1] Mesh to Metahuman →  テクスチャ差し替え→ 皺MAP追加
[CM-2/WM-2] Mesh to Metahuman →  テクスチャ差し替え→ 皺MAP追加
[CM-3/WM-3] Mesh to Metahuman →  テクスチャ差し替え→ 皺MAP追加




テクスチャの差し替え

Mesh to Meta humanは形状をメッシュに置き換えれますがテクスチャも差し替えるにはMetahumanのモデルにスキャンモデルを合わせる必要があります。
Wrap作業を行い、3DスキャンのオリジナルテクスチャをMetahumanメッシュ・UVへ転送します。

Wrapを行いUVを一致させテクスチャを転送します
UVが一致しているので Meta humanのテクスチャを3Dスキャン テクスチャに置き換えます

同様に肌の細かいディティール表現のためのNormal Mapも置き換えることが可能です。


シワ表現  - Meta human Wrinkle MAP

UEではブレンドシェイプの表情によっておでこのシワや、目や顎のシワといった各表情特有のシワが専用のMAPによって再現されます。
これらのノーマルマップやディフューズマップも同様にテクスチャを置き換えればシワのマップも本人のものにすることが可能です。

表情によって本来発生する「シワ」を再現することができます


UEでMeta Humanのマテリアルの中身を見てみると以下のテクスチャがアサインされていることが分かります。
このMAIN以外の3つのマップが表情を変化させた時にMAINのマップにブレンドしてシワが再現されます。

[CM1-CM3]
[WM1-3]

BaseColor、Normal共にMAINの画像があり、Colorの方にはCM1~3、Normalの方にはWM1~3があります。

デフォルトのMeta Humanではシワが発生する表情で「別人のシワ」が再現されてしまいます
これがいまいち本人に似てない原因になります。

ColorMapの影響範囲 [CM1-CM2-CM3] の確認

各CM1-3までのテクスチャを本人のシワ表情に置き換えたいと思いますが、どこが変化しているのか確認してみます。
表情を動かした時にどのテクスチャがどこにブレンドされているかをわかりやすくするためにCM1に赤を、CM2に緑、CM3に青色にしたMAPをいれて検証します。

CM1の範囲
CM2の範囲
CM3の範囲

検証した結果これらの異なるシワ情報をMetaHumanが自動的(+部分的)に使い分けているようです。
リアルなMeta Humanを作成する場合、上記の3種のエリアにシワが発生している3Dスキャンデータが追加で必要になります。

Meta Humanシワ用 [CM1-CM3/WM1-3] の表情

以下はあくまでirisが考えた場合の「Meta Humanシワ専用表情」です。
プロジェクトにスーパーバイザーがアサインされている場合は細かく表情の指示があることが多いです。

CM1 / WM1 のシワ表情
CM2 / WM2 のシワ表情
CM3 / WM3 のシワ表情
[CM1-CM3 / WM1-3]

3DスキャンモデルをベースにリアルなMeta Humanを作成したい場合、
無表情にプラスでシワ用の最低3表情が必要になります。

オリジナル  →  テクスチャ差し替え → ColorMap / WrinkleMap置き換え

表情の注意点

女性キャラクターや深いシワは不必要など、目的に応じてシワMAPの強度を調整する必要があります。
irisではフォトレタッチと同じようにお客様からの要望をお聞きして見た目をカスタマイズすることが可能です。

美肌処理、シワ・シミほくろ消しなど写真レタッチと同じように補正が可能です。

シワ表情の撮影のコツ

シワを出す表情の強弱をつけて撮影する(3段階ほど)

複雑な3Dスキャンデータにシワ起伏をレタッチするのは時間がかかり、表現的にもフェイク要素が出てきます。
本人の自然なシワを3Dスキャンする事によって違和感のないシワMAPを作成することができます。

【Meta Humanシワ追加撮影 内訳】
4~10表情

・無表情
・CM1(シワ強度 2-3段階)
・CM2(シワ強度 2-3段階)
・CM3(シワ強度 2-3段階)

どのシワ感が良いかは仕上げ作業を行いながら試行錯誤するのががベストです。
実際の業務ですとモデルの方のスケジュールは1日かつ数時間しか確保できない場合が多いです。シワ強度のバリエーションを確保しておくと制作時に後から調整することができます。

シワ要素を細かく分解する

場合によってはシワ要素を他のシワと被らないようにシワの独立性をもたせてスキャンする場合もあります。
担当レベルの熟練度や実装開発チーム側の要件・仕様に応じて対応することが可能です。



以上Meta Human追加シワMAPをご紹介いたしました。
お気軽にご相談ください。


#UE5 #METAHUMAN #MetaHumanCreator #UnrealEngine
#FACS3DSCAN #FACS #WRAP3D #フェイシャル3Dスキャン #3dスキャン #全身3dスキャン #3dスキャンサービス #レスパスビジョン


いいなと思ったら応援しよう!