見出し画像

【悪用厳禁】非検閲AI × 顔の完全固定 × ポーズの完全制御!Krea 2 Edit × ControlNetで作る、英語プロンプト不要の最強ComfyUIワークフロー完全ガイド

どうも皆さん!最近サーキュレーターを買ったら、人生が一変しました。 葉加瀬あい(ハカセアイ) です!

ということで今回ご紹介するのは、生成AIの不確実性を完全に排除し、思い通りの構図とキャラクターの一貫性を両立させる技術、 「ControlNet対応 Krea 2 Edit 高精度ワークフロー」 です!  

これまでの画像編集AIは、プロンプトに言葉を盛り込みすぎると要素が無視されたり、混ざり合ったりして境界線が不自然になりがちでしたよね。

しかし、今回のワークフローでは、「キャラクターの顔(LoRA)」「構図やポーズの骨組み(ControlNet)」「世界観の自然な融合(Editモデル)」をそれぞれ独立して定義し、ベクトルレベルで統合します。

例えるなら、ControlNetで「骨組み」を作り、LoRAで「顔」を貼り付け、Editモデルで「全体の空気感」を整えるようなイメージです。これによって、光の当たり方や空気感を含め、最初からその場所で撮影されたかのような圧倒的な質感を出すことができるんです!

ということで今回お話しする内容はこんな感じです!

1.  顔もポーズも一切崩れない!Editモデル × ControlNet × LoRAの最強シナジー
2.  英語のプロンプトはもう不要!「VLM自動化」と「2パスサンプラー」の裏側
3.  実務で即戦力になる!モード切り替えを活用した超実践的ワークフロー解説

動画版はこちらからどうぞ!

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

それでは、本日もよろしくお願いします!


完璧な制御と一貫性:ControlNet×Krea 2 Editの技術全貌

ちょっと冒頭でお話ししたことを詳しく説明すると、今回やるのはズバリ 「AI画像生成の不確実性(ガチャ要素)」を完全に排除し、思い通りに操れる「プロの道具」へと昇華させるための多段パイプライン です!

このワークフローの最大の特徴にして最強の武器、それが潜在空間(Latent Space)レベルでの 「条件付けの結合(Conditioning Concat)」 です。少し難しい言葉ですが、例えるなら 「別々に用意したパズルのピースを、裏側で完璧な一枚の絵としてカチッと組み合わせる技術」 だと思ってください。  

これまでの画像編集AIって、プロンプトに「笑って」「コーヒーを持って」「背景はカフェで」と要素を盛り込みすぎると、AIが混乱して要素が無視されたり、キャラクターの顔が変わってしまったり、境界線が不自然になったりしがちでしたよね?

しかし、このワークフローでは、以下の3つの要素をそれぞれ完全に独立してAIに指示し、ベクトルレベルで統合します。

1.  キャラクターのアイデンティティ(前回の独自LoRA) :絶対に崩れない「顔」や「質感」
2.  構図・ポーズの構造(ControlNet Depth等) :「骨組み」と「奥行き」
3.  世界観の自然な融合(Krea 2 Editモデル) :全体の光や空気感を馴染ませる「魔法のコーティング」

これらを組み合わせることで、 「自分のキャラクターの顔を完全に保ったまま、指定したポーズで、背景の光や空気感に最初から存在していたかのように馴染ませる」 という、実写と見分けがつかない圧倒的な合成・編集が可能になります。


ワークフローの核心を握る「具体的な数値(パラメータ)」

そしてこの「絶対に崩れない高精度な編集」を支えているのは、数多くの検証から導き出された具体的な設定値です。皆さんが迷わないよう、ここだけはしっかり押さえておいてください!

詳しくはワークフローの方で自動化してやっていくんですけど、一覧にするとこんな感じになってます!


操作を劇的に変えるワークフローの重要ポイント

このワークフローを実際に触る上で、クリエイティブの幅をグッと広げる「3つの重要ギミック」を解説します。

1. キーボードの `Ctrl` + `B` による「モード瞬時切り替え」

ワークフローの中央部分には、用途に合わせて処理ルートを1秒で切り替えられるスイッチを仕込んでいます。該当するノードのグループを選択して、キーボードの `Ctrl` + `B` (バイパスのショートカット)を押すことで、上段と下段のモードを瞬時に切り替えられます!  

  • 上段(Editモデル有効):被写体維持モード
    最初に参照させた被写体(Image 1)の容姿や服装をベースに維持したまま、ControlNetから抽出したポーズや構図を反映させます。こちらの画像のように、「自社キャラに新しいアイテムを持たせたい」「服のテイストを残したままポーズだけ変えたい」という、強力なキャラクターフィックスが求められる画像編集に最適なモードです。  

  • 下段(Editモデル無効):プロンプト生成モード
    こちらは、最初の被写体画像(Image 1)の見た目を 完全に無視 します。ControlNetのアノテーション(骨格や深度の線画データ)だけを抽出し、そこに入力したテキストプロンプトを掛け合わせて、全く新しいキャラクターをゼロから生成します。「この画像のポーズや構図のテンプレートだけを再利用して、全然違うテイストの広告素材を作りたい!」という時は、こちらに切り替えてください。  

2. VLM(非検閲モデル)によるプロンプトの完全自動化

こんなに複雑なマルチリファレンス編集を行っているのに、 皆さんが長くて複雑な英語の呪文(プロンプト)を考える必要は一切ありません!

裏側で優秀なVLM(視覚言語モデル)が常に待機しており、入力欄に「カフェでコーヒーを飲んでる」といった簡単な日本語の指示を入れるだけでOK。VLMが参照画像と皆さんの指示を解析し、Krea 2のポテンシャルを120%引き出すための「完璧なカメラ設定やライティングを含む英語プロンプト」へと、全自動で翻訳・リファインしてくれます。これで英語の壁は完全消滅です!  

3. 圧倒的ディテールを引き出す「2パスサンプラーの魔法」

AI生成画像によくある「なんか全体的にのっぺりしてる…」「AI特有のプラスチック感が抜けない…」というお悩み、これで解決します。
このワークフローは、 Two-stage Sampling(二段階サンプリング) という手法を採用しています。

1パス目(1回目)でControlNetの構図に沿った大まかなベース画像を生成し、その潜在表現(Latent)の情報を保持したまま、2パス目(2回目)のアップスケーラー回路へと流し込みます。
この「粗い状態から細部を磨き上げる(Coarse-to-Fine)」アプローチにより、肌のリアルな毛穴やほくろ、服の微細なシワ、環境光の自然な反射まで、本物の写真と見分けがつかないレベルの超・高精細な質感で書き出されるんです!  


💡 葉加瀬あいの技術的アドバイスと注意点

最後に、この強力なワークフローを実務やビジネスで運用する上での、私からの大切なアドバイスです。

今回のワークフローに組み込まれているテキストエンコーダーやVLMには、クリエイターの表現の自由度を最大化するために、あえて 「非検閲モデル(Uncensored Model)」 を採用しています。

一応こんな感じのことに注意についてはしてください!

ということでここからは、その 圧倒的な編集ワークフロー を無料AIツールのComfyUIから簡単に使っていく方法について、ハンズオンで詳しく解説していきたいと思います!

今回もご自身のPCで動かすローカル環境や、

GPUを安価に借りられる Runpod などのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、「初心者だからComfyUIがちょっと難しそうで自信がないな…」という方のために、こちらでたった1クリックで使い始められる方法を解説しているので、よかったらぜひ参考にしてください!

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、 サクッと環境を作って最新技術の威力を体験 してみてください!  

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

それでは実際にこちらのワークフローを説明したり、必要なファイルをお配りしたりしていこうかと思います!

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」「ワークフローファイル」 の2つをダウンロードしてください!

  • ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

  • 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v36.ipynb」をセットでダウンロードしてください!

ここから先は

3,076字 / 19画像 / 3ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと5人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと8人募集中

この記事が参加している募集

この記事が気に入ったらチップで応援してみませんか?