ラーニング・AI画像#5 Stable Diffusion で ControlNet を使う

ControlNet のインストール

このページに書いてあるように、インストールできます。

このとき、合わせて、モデルも全部入れておくことをおすすめします(ぼくはデータサイズも考え、MEDIUM を全てダウンロードし、所定のフォルダに格納しました)。有効にするには、Stable Diffusion WebUI の再起動が必要です。

ぼくが使うと便利だと感じた機能について説明します。

OpenPose

作成する画像がアップロードしたサンプル画像のポーズと同じになります。

txt2img で ControlNet のタブを開き、Enable, Pixel Perfect にチェック、OpenPose, dw_openpose_full を選んだ上で、画像をアップロードし、💥をクリックします。するとアップロードした画像の横にスケルトンができます。

その上で、[Generate]ボタンを押すと、サンプルと同じ姿勢の画像が生成されます。

ReferenceOnly

画風やスタイルを似させる機能ですが、簡単に AIに似顔絵を描かせる方法でもあります。

使い方は上と同じような感じで、画像を読みこませ、Enable, Pixel Perfect にチェック、Reference, reference_only を選んだ上で、画像をアップロードし、💥をクリックします。するとアップロードした画像の横に準備画像ができます。

その上で、[Generate]ボタンを押すと、referenceOnly を適用した画像が生成されます。

Segmentation

これは人物や物の配置を似させる機能です。preprocessor の 5種のどれを選ぶかが問題になります。

使い方は上の 2つとほぼ同じなので省略します。