見出し画像

Meshy AI|「マークダウン記法」により3D女性ポーズモデルの造形とテクスチャの生成を試みるストーリー

Meshyによる3D女性ポーズモデルの造形とテクスチャの生成の両方に「マークダウン記法」を取り入れたプロンプトで3Dモデルづくりを試したプロセスを、今回は試しに物語風に書いてみました。

マークダウン記法については、以下の動画などを参考にしてください。


プロローグ

ヒロのレオパレスルーム
https://leopalist-vr.com/2022/06/shin-hakodate-move-plan/

ヒロはいつものように朝の4時過ぎに目覚めた。71歳にもなると、トイレに行きたくなり、早朝に自然と目が覚めるのである。

トイレから戻ると寝直す日もあるが、今朝はパソコンで作業するアイデアが浮かんできたので、小さなダイニングテーブル兼パソコン机に向かった。

Chromebookを広げ、外部ディスプレイの電源を入れて、Meshy AIによる3Dモデルの制作に取り掛かかる。

外部ディスプレイではMeshyやSpline 3Dなどの3D関連のタブを開き、3Dモデルづくりの作業を進めつつ、Chromebookの画面ではそのプロセスをnote記事にリアルタイムに書き留めていくという同時並行スタイルである。

マウスとキーボードはワンセットだが、外部ディスプレイとChromebookの画面をマウスカーソルが言ったり来たりできるので、こういうスタイルの作業には都合が良い。

今日のテーマは「Meshyで3Dモデルの造形とテクスチャの生成を、マークダウン記法を用いたプロンプトで行う」である。

造形プロンプトのお手本を得るには

お手本の造形プロンプトモデル画像

今までは、造形を画像から生成していたので、プロンプトを用いた造形はほとんど経験が無い。

そこで、試しに「E'zGAL」という、Framerで構築中のギャラリーサイトのトップページで使っている女性ポーズモデルを、プロンプトで表現するとどうなるのか?について調べることにした。

Google Whiskで解析したプロンプト

Whiskの「モデル」にモデル画像をアップロード

Google Whisk の「モデル」にこのモデル画像をアップロードすると、Whisk(Gemini)がこの画像を解析し、その結果をプロンプトで見れるので参考にすることにした。

左下の編集アイコンをクリック

左下の編集アイコンをクリックすると、Whisk(Gemini)が解析した結果のプロンプトが表示された。

Whisk(Gemini)が解析したプロンプト

このプロンプトをコピーし、Googleドキュメントにとりあえず貼り付けて、分析と編集を始めることにした。
>>> PDFプロンプト集「1. Whisk(Gemini)が解析したお手本の女性ポーズモデルプロンプト:」

★ プロンプトの実体は、文末の「PDFプロンプト集」にまとめて収録しています。ダウンロードしてご利用ください。

PDFプロンプト集 トップページ スクリーンショット

Geminiに文字数を減らしてもらう

このままでは、Meshyの造形用プロンプトの文字数(800文字)の制限を超えてしまうので、Geminiに色や質感を除いた造形用プロンプトの生成をお願いした。
>>> PDFプロンプト集「2. Geminiで文字数を減らすプロンプト:」

Geminiから回答は得られたが・・・
>>> PDFプロンプト集「3. Geminiからの回答:」

それでもMeshyの800文字の制限を超えていたので、このままでは使えなかったのである。

そこで、これらのお手本プロンプトを参考にして、手作業で「マークダウン記法」を使ったプロンプトづくりを開始した。

Meshy用プロンプトのドラフト版

ここからは手作業である。

最初は英語のプロンプトの方がMeshyに理解されやすいと思ったが、日本語プロンプトでも実用上は問題ないことが作業しているとわかったので、日本語プロンプトを使うことにした。

試しに、Geminiの回答を参考にしつつ、「マークダウン記法」のスタイルで、箇条書き的なMeshy用プロンプトのドラフト版を作成してみることにした。
>>> PDFプロンプト集「4. 造形用マークダウン記法プロンプト(ドラフト版):」

朝食タイム

Google ImageFX

作業が一段落したので、朝食にする。

いつものように、トーストの周りをマヨネーズで囲い、中央にくぼみを指で押してへこませ、タマゴを割って乗せ、オーブントースターで焼く。

トーストを焼いている間に、個装のドリップタイプのコーヒーパックをカップに乗せ、ティファールのポットからお湯を注ぐ・・・

皿にキャベツの千切りを乗せて「味ぽん」をかけ、スライスハムを4枚乗せる。ちなみに、我が家の調味料はほぼこの「味ぽん」のみ・・・

NHKの朝ドラを観ながらの朝食タイムである。

ドラフト版プロンプトで造形テスト

とりあえずMeshyに「マークダウン記法」を試す造形用プロンプトのドラフト版を入力し、造形を試してみた。

「マークダウン記法」による造形プロンプト(ドラフト版)

造形自体は悪くはないが、スカートの丈を「ミディ丈」と指示したが、かなりのミニスカートになった。

左腕を「身体の左側面の腰の位置で肘を直角に曲げ、身体の前側で手の甲を上に向けたポーズ」と、かなり具体的に指示したが、まったく反映されていないなど、この先が思いやられる結果となったが・・・

Meshyの造形では、クレジットの消費無しに4回までやり直せる(無料再試行)ので、4回やり直して造形の傾向を見てみた。

無料再試行

★ 今回はドラフトプロンプトによるテストなので、ダウンロードは行わないが、使えそうなモデルはダウンロードしておくと良い。(再試行では履歴が残らないので)

ドラフトプロンプトによる再試行バリエーション

2回目の再試行で、今回のプロンプトの指示に近い結果が得られたが、このままではかなり造形のガチャ要素が多いことがわかった。

そこで、次に「**」でプロンプトの重要部分を挟んでみることにした。
>>> PDFプロンプト集「5. 重要部分を指定した造形用マークダウン記法プロンプト:」

重要部分指定プロンプトによる再試行バリエーション

テクスチャをプロンプトで指示して生成する場合は、この重要部分の指定がかなり有効であるが、造形の場合はあまり期待できないようである。

そこで、プロンプトの文章表現を工夫することにした。

造形用プロンプトの試行錯誤結果

Meshyのプロンプト窓内のプロンプトを直接手打ちで編集しながら試行錯誤した結果、以下の造形モデルに行き着く。

造形用プロンプトの試行錯誤結果
Meshy 3Dビュアー プレビュー - 1
Meshy 3Dビュアー プレビュー - 2

多少造形の粗さが散見されるが、全体的な形としては好ましい結果が得られたので、今回はこの造形モデルを採用することにした。
>>> PDFプロンプト集「6. マークダウンプロンプトの試行錯誤結果」

造形用マークダウン記法プロンプトモデル Spline 3Dプレビュー

Spline 3Dビュアーの操作方法:
・デスクトップ
>回転, ホイール>ズーム, >移動
・モバイル二本指>回転+ズーム, 三本指(親指含む)>移動

>>> 3Dデータダウンロード「Miz-Ez-MK-Shape-GLB-BLENDx2.zip」
・GLBファイル
>>> glTF Sample Viewerにドラッグ&ドロップしプレビュー
BLENDファイル >>> Meshyからダウンロードしたそのままの3Dデータ
Renderファイル >>> Blenderに読み込んでライトやカメラを追加し、Cycles(CPU)レンダリング用に設定し保存したBLENDファイル

ランチタイム

Google ImageFX

造形モデルができたので、一段落して昼食をとる。

冷凍庫を開けると、冷凍パスタ(ナポリタン)が目に入ったので、電子レンジでチンして食す。

昔に比べると、冷凍食品が美味いのには驚かさせる。茹でて作る方が安上がりではあるが、コスパは冷凍食品が勝るかもしれない・・・

テクスチャを生成

「テキスト入力」マークダウン記法プロンプトでテクスチャ生成

今までに「テキスト入力」によるテクスチャの生成に使っていたプロンプト(構造化)をマークダウン記法に変更し、造形モデルに合わせたプロンプトを作成し、テクスチャを生成。

>>> PDFプロンプト集「7. マークダウン記法によるテクスチャ生成プロンプト:」

テクスチャ生成マークダウン記法プロンプトモデル Spline 3Dプレビュー

3Dビュアーで拡大して見回すと、細かい部分でテクスチャのアラが散在しているのがわかる。

今日は疲れたので、これにて一件落着。

明日からは「テクスチャを編集する」を使った、テクスチャのアラを目立たなくさせるテクニックにチャレンジしたいと思う。

スカートの白色が、髪の栗色に引っ張られてアイボリーっぽくなっているなど、プロンプトのさらなる改善が必要なのかもしれない・・・

MeshyでBLEND形式でダウンロードしたBlenderファイルをWindowsのBlenderで開き、ライトやカメラを追加してCyclesでレンダリングしているところのスクリーンショットが以下。

テクスチャモデルをBlenderでCyclesレンダリング(約8秒)

レンダリングした結果は以下。

テクスチャモデルをBlenderでCyclesレンダリング(PNG 背景透明 531 KB 1000 × 1000 pix)

まとめ

Meshy AIで3D女性ポーズモデルを作成するのに、「マークダウン記法」を用いた造形とテクスチャの生成を試してみたので、そのプロセスを物語風に紹介しています。

従来の画像による造形と比べても、あまり優位性を感じませんでしたが、マークダウン記法を用いたプロンプトは、一覧性が高くわかりやすいので、比較的容易に部分的な変更が簡単にできるメリットがあります。

使いこなすには課題が多くありますが、現状の3D生成AIにはまだ画像生成や動画生成のレベルには至らないガチャ要素が多いので、今後の技術の進歩に期待したいと思います。

ダウンロード

記事内で用いた画像やPDFプロンプト集、MeshyやBlenderで作成した3Dコンテンツデータをダウンロード提供しています。

以下はスクリーンショットによるダウンロードコンテンツのプレビューです。

画像ダウンロード 2件
PDFプロンプト集
造形3Dモデルデータ 3件を一括ZIP圧縮
テクスチャ3Dモデルデータ 3件(アップロード容量の都合で個別)

ここからは有料エリアとなります。よろしくご購読をお願いいたします。

少しでもみなさまのお役に立てれば幸いです。


ここから先は

165字 / 7ファイル
この記事のみ ¥ 500
Amazon Payで支払うと最大2%還元のチャンス! 9/30まで

ご入会していただくと、DAZgen x AI すべての有料記事が読み放題になります。 また、3DCG…

DAZgen Unlimited

¥500 / 月

この記事が気に入ったらチップで応援してみませんか?