[ComfyMaster28] 落書きが画像に！ControlNet Scribble入門 #ComfyUI

頭の中のイメージを、絵心がなくても、まるで魔法のように高品質な画像に変換できるとしたら？
最新のAI技術、ControlNetの「Scribble」がそれを可能にします！
シンプルな線画を描くだけで、あとはAIがあなたの意図を読み取り、驚くほどリアルで美しい画像を生成してくれるのです。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第28回目になります。
本記事では、この革新的なScribble機能の使い方を、具体的な手順と豊富な作例を交えて分かりやすく解説します。AIによる画像生成の世界を、あなたも体験してみませんか？

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー #ComfyUI

1. 概要

この記事では、ControlNetのScribble機能を使って、簡単な線画から高品質な画像を生成するワークフローを解説します。具体的な手順、使用したモデルやパラメータ、そして異なる強度設定による生成結果の違いなどを示し、Scribbleの効果と活用方法を理解することを目的とします。

以前の記事で解説したControlNetの基本設定を前提に、今回は「scribble_01.png」というサンプル線画を用いて、人物画像を生成する例を紹介します。生成にはSDXL、RealVisXlモデル、controlnet-union-sdxl-1.0モデルを使用し、プロンプトによる調整も行います。最終的には、ControlNetの強度パラメータを調整することで、線画の反映度合いを制御し、思い通りの画像生成を実現する方法を学びます。

2. ワークフローの使用準備

ControlNet

ControlNetの使用準備については、以下の記事をご覧ください。

今回は、ControlNetのScribbleを使用します。Scribbleは、線画を元に、画像の内容を推定し、その内容に沿った画像を生成します。

画像素材

今回は、以下の画像をScribbleに使用します。

画像ファイルは、以下よりダウンロードしてください。

• 画像ファイル (右クリックで保存)

3. ワークフロー解説

以下がワークフローの全体構成になります。

ワークフローのファイルは文末のリンクよりダウンロードしてください。
以下にワークフローの主要な部分とその機能を図示し、詳細に説明します。

1. 入力画像の読み込みと前処理

   • Load Image ノード: 「scribble_01.png」というスケッチ画像を読み込みます。

   • Scribble ノード: 入力スケッチを処理し、ControlNetに適した形式に変換します。

     • 出力解像度: 1024x1024

2. モデルとControlNetの読み込み

   • Load Checkpoint ノード: 「RealVisXl.safetensors」モデルを読み込みます。

   • Load ControlNet Model ノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。

3. プロンプト処理 (CLIP Text Encode (Prompt) ノード x2)

   • ポジティブプロンプト: 「realistic, photorealistic, 1girl, t-shirt, black_hair, long_hair,」

   • ネガティブプロンプト: 「bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality, nsfw, nude, naked,」

4. ControlNetの適用 (Apply ControlNet (Advanced) ノード)

   • 前処理されたスケッチ画像を使用してControlNetを適用します。

   • 強度: 0.4 (中程度の影響力)

5. 潜在画像の準備 (EmptyLatentImage ノード)

   • サイズ: 1024x1024

   • バッチサイズ: 1

6. 画像生成 (KSampler ノード)

   • Seed: 860227022998597

   • Steps: 20

   • CFG Scale: 7

   • Sampler: dpmpp_2m

   • Scheduler: karras

   • Denoise: 1.0 (完全に新しい画像を生成)

7. 画像のデコードと保存

   • VAEDecode ノード: 生成された潜在表現を実際の画像にデコードします。

   • SaveImage ノード: 最終的に生成された画像を「controlnet_scribble」という名前で保存します。

4. 生成結果

以下がScribbleの生成結果です。ControlNetの強度を0.10〜0.80まで変化させながら生成を行い、その違いを一覧化しました。

まず、0.10は、ほとんどScribbleが効いていないようです。0.20から少し効果が出てきているようで、0.30-0.40で良い具合で効いているように見えます。0.50からは、反対に効果が出過ぎていて、形状が崩れていっています。0.70からは落書きが強く反映されてしまっています。

強度を0.40にし、プロンプトを変更して色々と画像を生成してみました。

5. まとめ

Scribbleは、落書きやラフ絵をプロンプトで指定した画像に変換してくれる、特に絵を描きたい人に有効なControlNetです。今回は、私の適当な落書きで試しましたが、もう少ししっかりしたラフ絵であれば、より良い画像を生成できると思います。ぜひ色々なラフ絵でお試しください！

次回は、IPAdapterでの生成画像のコントロールの方法を紹介します。乞うご期待！

今後の連載は以下のような内容で続きます！

• 参照画像でAIをコントロール！IPAdapterの使い方

全リストはこちら

動画で学びたい方はこちら！

#ComfyMaster #ComfyUIマスター
#AI画像生成 #AIとやってみた

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

• メンバー限定の会員証が発行されます

• 活動期間に応じたバッジを表示

• メンバー限定掲示板を閲覧できます

• メンバー特典記事を閲覧できます

• メンバー特典マガジンを閲覧できます

• 動画資料やworkflowといった資料への優先アクセスも予定

【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

ワークフローのファイルは以下のリンクよりダウンロードしてください。