【ControlNet1.1】で出来ること！重要４モデルの導入と使い方【Stable Diffusion Web UI】
この記事では、Stable Diffusion Web UIにControlNetを導入する方法と使い方について解説します
ControlNetとは、Stable Diffusionで使える拡張機能で、参考にした画像と同様のポーズをとらせたり、顔を似せたまま様々な画像を生成したり、様々なことに活用できるとても便利な拡張機能です。
Youtubeでも解説しました
ControlNet便利機能４選
ControlNetにはいくつも機能がありますが、今回は特に使える以下の４つの機能について解説します。
Canny
Openpose
Reference_only
Tile_resample
Canny
Cannyは画像から線画を生成し、そこに色を塗ってイラストを生成するモデルです。
色を変えたい、実写系をそのままアニメ系に変換する際にとても有効なモデルです。
Openpose
ControlNetといえば、Openposeというぐらい代表的なモデルです。
openposeを使えば、簡単にポーズをとらせることができます。
reference_only
reference_onlyを使えば、以下のように首から上を固定したまま様々な画像を生成できるとても革新的なモデルです。
グラビア写真集などで実力を発揮しそうです。
Tile_resample
Tileは絵をより綺麗にアップスケール（高画質化）してくれる機能です。
左がオリジナルの画像で、右がTile_resampleを使って生成した画像になります。
オリジナルの画像でも十分綺麗ですが、右のほうが情報量が増してより綺麗にっていますよね。
高画質化する方法として、HiresやTile diffusionを使う方もいると思いまうが、以下のように手や制服、背景も少し変わってしまうことがあります。
Hiresを使うと手、制服、口などが大きく変わってしまっています。
ControlNetの導入方法
ControlNetを使用するには、拡張機能の追加とモデルの追加の２つ必要になります。
ControlNet拡張機能の追加
Web UIを起動し、「Extensions」タブ「installform URL」タブに移動し、以下URLを貼り付けて「install」ボタンをクリックします
https://github.com/Mikubill/sd-webui-controlnet
数秒すると「restart」と表示がでるので、「installed」タブに移動し、「Apply and restart UI」ボタンをクリックします
Web UIが再起動されます
すでにControlNetがインストールされている場合は、「Check for updates」をクリックしてアップデートしましょう。
以下画面のとおり、ControlNetの項目が追加されていれば成功です。
ControlNetモデルの追加
以下リンクからHaggingFaceのサイトを開きます
サイトが開いたら、必要なモデルをダウンロードしてください。
ファイル名にモデル名が書いています。
今回は「canny」「openpose」「reference_only」「tile」を使用します。
ファイルサイズが大きいので、使用するモデルだけダウンロードするほうがいいと思います。
※referenceのモデルはダウンロードする必要はありません。
必要なモデルにある下矢印をクリックしてダウンロードしてください。
ダウンロードしてきたモデルファイルを「stable-diffusion-webui」-「models」-「ControlNet」の中に入れましょう
ControlNetの使い方
ControlNetの項目をクリックして開きます
画像をドロップする
Enableにチェックを入れてControlNetを有効にします
Preprocessorを選ぶ
Modelを選ぶ
Control Weightで強さを調整しましょう。0.7から1.5ぐらいがおすすめ
Cannyの使い方
Cannyは、元にした画像から線画を生成し、その線画に色を塗ってイラストを生成するモデルです。
実写の写真から簡単にアニメ系のイラストに変換することもできます。
Openposeの使い方
Imageにとらせたいポーズの画像をドロップし、Preprocessorを「Openpose」にし、Modelを「Openpose」にします。
※棒人間からイラストを生成する場合はPreprocessorはnoneで大丈夫です。
実写系でもアニメ系でも、簡単に同じようなポーズをとらせることができます。
棒人間からイラストを生成する際はPreprocessorは不要なのでnoneを選びましょう。
Reference_onlyの使い方
お気に入りの顔写真をImageにいれ、Preprocessorを「reference_only」にします。
顔を似せて様々なスタイルの画像を簡単に生成することができます。
Tile_resampleの使い方
高解像度化したい画像をドロップし、Preprocessorを「tile_resample」にし、Modelを「Tile」に変更します。
Tile_resampleを使うと簡単に高解像度な綺麗なイラストにすることができます。
まとめ
今回は、ControlNetの導入と使い方について解説させていただきました。
その中でも特にこの「Canny」「Openpose」「reference_only」「Tile_resample」４つのモデルはよく使います。
ControlNetはまだまだ進化の途中で、これからも新しいモデルがどんどん追加されていくと思います。
また新しい情報がでたら解説したいと思います。
