ControlNetのセグメントを駆使して異形のモンスター娘を創造してみる

　先日、コントロールネット（以下CN）のsegmentを紹介しました。
　segmentの強みは「形を簡単に指定できる」ことです。
　segmentで「塗った形」は、普通にプロンプトではでないようなものでも、ちゃんと再現してくれます。

　形の再現度はCNでのパラメータに左右され、weightやend stepが1に近いほど正確に再現し、小さくなるほどプロンプトの解釈やモデル本来の描写が優先されるようになります。

　上記はオーソドックスな例で、人の形を正しく取ったセグメントだと、その形にそって出力します。
　ちなみにパラメータ設定はweight0.9、Ending Stepは0.5です。

　で、この形をあまりに適当にとるとsegmentは形を出力できなくなります。同じプロンプトで下記の例を試してみましょう。

　棒状のモノを人と認識していい感じに塗ってくれないかなと期待しましたが、棒を人と理解できなかったようです。
　ただ人指定の色で塗っているため、塗った部分を「人の体の何か」と判断して、謎の靴と足を生成しています。
　さらにプロンプトの「2gilrs」「fighting」を満たすために、適当に正面に刀を持った女の子を配置したと思われます。

　適当すぎるのはダメですが、「そこそこ適当」だと、segmentは頑張って理解しようとしてくれます。

　ワケがわからないですね。
　でも、一応頭と手足があるので「人型」であることは分かります。
　こちらのセグメントで、同じプロンプトで出力すると下記になります。

　一応参照してくれているのは分かります。
　元絵が適当なので、できあがったイラストの構図もむちゃくちゃですが、重要なのは「そこそこの形を描けば、それなりに対応してくれる」ということです。
　つまり「ある程度の整合性がとれた形を描けばイラストとして成立する」ということになります。

　なお、この例はweight0.6のEndingStep0.6です。数値が小さい方が融通が利きやすいのですが、そうはいっても限度があるので、やはり元の絵をどう描くかが重要です。

　元絵の形がムチャクチャでもsegmentはその形を再現しようとするということは、逆に言うと「モデルとプロンプトだけでは出力できない形でも簡単に出力できる」ということです。

　というわけで試しに「異形系ヒューマノイド」、いわゆる「モンスター娘」「人外娘」を作ってみましょう。

以下、クモ女とブレードアーム女。
そしてそれらの作成で実際に使ったセグメント用の元絵とプロンプトです。