controlnet用統合モデル「ProMax」が超強力。セグメントも使える!
「controlnet」は既存のイラストを使ってポーズを指定する強力なツールです。
SD1.5時代に登場して一斉を風靡したのですが、SDXLへの移行時に対応が遅れたことや、ポニーやリアスはSD1.5よりもポーズの表現力があがったこともあり、SD1.5のときほどは使わなくなっていました。
なにより、自分が一番よく使っていた「segment(セグメント)」がまともに使えなかったのが一番痛かった…
で、使用率が減ったため、あまりトレンドを追いかけなくなったいたのですが、今回、記事でopenposeとdepthを取り上げようと思ってcontrolnet事情を調べていたら、いつのまにかセグメントが使えるようになっていました。けっこう前に同じモノを試したことがあったのですが、そのときはなぜかまともに動かなかったんですよね…。
よく分からないけど、動くようになったからヨシ! すばらしい!

とくに後ろから前に抱きついている腕の形を指定できるのが便利。
今回取り上げるモデルはxinsirさん制作のcontrolnet-union-sdxlのProMaxというモデルです。
入手は下記からどうぞ。「Files and versions」の「diffusion_pytorch_model_promax.safetensors」をダウンロードしてcontrolnetのモデルを置くフォルダに配置して使います。webui reForgeの場合は「\stable-diffusion-webui-reForge\models\Controlnet」です。
このモデルはsegmentだけでなく、openposeからcannyまで、幅広いモードをサポートしたオールインワンモデルとなっています。
controlnetを使う場合、とりあえずこれだけあれば大丈夫…というぐらいには高性能です。
(コントロールネットの使い方はかなり長くなるので、詳細を知りたい方はgoogleで解説ページを探してみてください。ちょっと古いかもしれませんが、詳しい解説ページがいくつかみつかるはずです)。
なおreforgeで使う場合、controlnetのタイプ(cannyとかinpaintとか)を選択するとmodelに表示されないことがあります。
そんなときはmodelのチェックボックス横の再読み込みボタンを押すと出てきます。
それでもダメな場合はタイプを「ALL」にすれば選べるはずです。
というわけで、まだ使っていない方にははげしくオススメです。
下は1年以上前に書いたセグメントについての記事。内容が古い部分もありますが、基本的な使い方は同じです。



似たようなことができるopenposeやdepthと比べると、
「指定用の画像を作るのが遙かに簡単」「パーツの重なりを表現しやすい」
と言った特徴がある。
上の3枚の画像の「指の形」はセグメントで形状を指示したもので、
3枚とも一発で正しい形を出力できている。
おまけ:セグメントについて。指の指定に使った画像の作り方
ここから先は
この記事が気に入ったらチップで応援してみませんか?
