日本人が開発した「Regional Prompter」がなかなかすごい！

2024年1月15日 23:59

先日の年賀状クイズより。

さて問題です。ウサギとドラゴン、異なる性質をもったキャラクターを一度に生成するにはどのような技術を使えばよいでしょうか？
問題「キーになる技術 WebUIの Extensions の名前を当ててみてください」
ヒント：
・この技術は幅広い応用があります（たとえば某マッチングアプリの広告のような…）
・画像にプロンプトは埋め込まれていますがそれだけだとわからないかも
・ヒントは AICU 社の公開リポジトリにあるかもしれません

答えは「Regional Prompter」！

https://github.com/hako-mikan/sd-webui-regional-prompter

複数人物や領域を個別にプロンプト指定できる拡張機能です。

似たような目的では「Latent couple extention」がありましたが、その後継、日本人が開発した「Regional Prompter」がなかなかすごい！

flower garden background
AND a man, short brown hair, black suit, red tie, modelshoot style
AND beautiful cute woman, long black hair, white wedding dress

元々は「ashen-sensored/stable-diffusion-webui-two-shot」というプロジェクトからフォークしたプロジェクトで、ANDを使うことでプロンプトの有効範囲を区切ることができます。雰囲気を揃えながら異なる男女を同じ1枚の画像に収めることができています。

さて、「Latent couple extention」はプロンプトごとにU-Netの計算を行っていますが、今回紹介する「Regional Prompter」はU-Netの内部でプロンプトごとの計算を行います。

しかも作者が日本人で日本語マニュアルも完備されています。

https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/README.JP.md

使い方は簡単です。

まずはインストールは「Extentions」の「Install from URL」にこちらのURLを入れて「Install」。

https://github.com/hako-mikan/sd-webui-regional-prompter

特にエラーが出なければ「Installed」のタブから「Apply and quit」で一旦WebUIを終了させ、Google ColabやStability Matrixを再起動します。

例えばこんな画像のimage2imageを処理するとします。

例えばこの画像の左右を描き分けしたいと思った場合…
画像の下の方にある「Regional Prompter」を開いて
☑ Active
🔘Columns（縦に割る）
☑Use Base Prompt
さらに「Visualize and make template」として「Divide Ratio」（分割率）を確認します。この場合はちょうど 1:1 で中央から分割するイメージです。