見出し画像

controlnet用統合モデル「ProMax」が超強力。セグメントも使える!

 「controlnet」は既存のイラストを使ってポーズを指定する強力なツールです。

 SD1.5時代に登場して一斉を風靡したのですが、SDXLへの移行時に対応が遅れたことや、ポニーやリアスはSD1.5よりもポーズの表現力があがったこともあり、SD1.5のときほどは使わなくなっていました。
 なにより、自分が一番よく使っていた「segment(セグメント)」がまともに使えなかったのが一番痛かった…

 で、使用率が減ったため、あまりトレンドを追いかけなくなったいたのですが、今回、記事でopenposeとdepthを取り上げようと思ってcontrolnet事情を調べていたら、いつのまにかセグメントが使えるようになっていました。けっこう前に同じモノを試したことがあったのですが、そのときはなぜかまともに動かなかったんですよね…。
 よく分からないけど、動くようになったからヨシ! すばらしい!

セグメントを使うと、このように2人の人物が重なったイラストの指定ができる。
とくに後ろから前に抱きついている腕の形を指定できるのが便利。

 今回取り上げるモデルはxinsirさん制作のcontrolnet-union-sdxlのProMaxというモデルです。
 入手は下記からどうぞ。「Files and versions」の「diffusion_pytorch_model_promax.safetensors」をダウンロードしてcontrolnetのモデルを置くフォルダに配置して使います。webui reForgeの場合は「\stable-diffusion-webui-reForge\models\Controlnet」です。

 このモデルはsegmentだけでなく、openposeからcannyまで、幅広いモードをサポートしたオールインワンモデルとなっています。
 controlnetを使う場合、とりあえずこれだけあれば大丈夫…というぐらいには高性能です。
(コントロールネットの使い方はかなり長くなるので、詳細を知りたい方はgoogleで解説ページを探してみてください。ちょっと古いかもしれませんが、詳しい解説ページがいくつかみつかるはずです)。

 なおreforgeで使う場合、controlnetのタイプ(cannyとかinpaintとか)を選択するとmodelに表示されないことがあります。
 そんなときはmodelのチェックボックス横の再読み込みボタンを押すと出てきます。
 それでもダメな場合はタイプを「ALL」にすれば選べるはずです。

 というわけで、まだ使っていない方にははげしくオススメです。
 下は1年以上前に書いたセグメントについての記事。内容が古い部分もありますが、基本的な使い方は同じです。

セグメントが便利なのは、指の形とか人のポージングをかなり細かく指定できるところ。
似たようなことができるopenposeやdepthと比べると、
「指定用の画像を作るのが遙かに簡単」「パーツの重なりを表現しやすい」
と言った特徴がある。
上の3枚の画像の「指の形」はセグメントで形状を指示したもので、
3枚とも一発で正しい形を出力できている。


 おまけ:セグメントについて。指の指定に使った画像の作り方

ここから先は

503字 / 4画像
この記事のみ ¥ 300
Amazon Payで支払うと最大2%還元のチャンス! 9/30まで

AIイラスト関連の記事を配信しています。 「頭の中のイメージをAIを利用してイラスト化する」ための手…

スタンダードプラン

¥500 / 月

ちょっぴりプラスプラン

¥1,000 / 月

この記事が気に入ったらチップで応援してみませんか?