見出し画像

【この AI やばい!】0円でこの再現度!非検閲VLM×Krea 2 Editの神連携で、キャラクターの高い一貫性を保ったまま理想のシチュエーションを爆速生成するComfyUI画像編集術

どうも皆さん! 葉加瀬あい(ハカセアイ) です!

ということで今回ご紹介するのは、複雑な制御なしで圧倒的な一貫性を保つ画像編集技術、 進化したKrea 2 Editモデルのパワーアップワークフロー です!  

今回は、ControlNetのような複雑なノードを使わずとも、

たった2つの画像をインプットするだけで、キャラクターのアイデンティティを驚くほど正確に維持したまま、自然な合成・編集を行ってくれる画期的な手法についてハンズオンで詳しく解説していきます!  

ということで今回お話しする内容はこんな感じです!

1.  ControlNet不要!2つの画像だけで一貫性を完全キープする魔法の仕組み
2.  VLM(Gemma 4)が全自動でプロンプトを構築する脱・呪文詠唱の裏側
3.  2パスサンプラーで「本物超え」のリアリティを叩き出す実践ワークフロー

動画版はこちらからどうぞ!

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

https://youtu.be/O-9OHDVreKA

それでは、本日もよろしくお願いします!



📌 【概要】一言で言うと何がすごいのか?

ズバリ、 Krea 2の潜在空間を完全制御し、「人物・衣装・背景」の独立した合成や、物理法則を無視した3k〜5kの超高解像度直接生成を、低スペックPC(VRAM 8GB)でもエラーなしで一撃量産可能にする異次元の画像編集・生成技術です。  

そして今回ご紹介するワークフローには、皆さんが驚くような要素を盛り込みました!

  • ControlNetのような複雑な制御ノード不要、2枚の画像だけでキャラクターの一貫性を保った自然な合成・編集ができる。

  • 画像サイズは自動で最適化され、カスタムする場合も16の倍数を守るだけでOK。

  • プロンプト(指示文)は日本語で書くだけで、Gemma 4(非検閲VLM)が最適な英語プロンプトを自動生成。

  • 2パス(Coarse-to-Fine)サンプラーで、肌や毛並みなどもリアルで高精細な仕上がりに!

前回 こちらの記事で紹介したControlNetを使った構成とは打って変わって、

https://note.com/ai_hakase/n/n276c4ec33335

今回は 「ControlNetなどの複雑な制御ノードをあえて追加せずとも、2つの画像をインプットするだけで圧倒的な一貫性を保ったまま編集ができる」 という、進化したKrea 2 Editモデル(パワーアップ版)の凄さを極限まで引き出す設計になっています!

複雑な設定はすべて「サブグラフ(緑の箱)」の裏側に隠してあるので、皆さんは「2つの画像を入れる」「日本語で指示を書く」「Runボタンを押す」の3ステップだけで、

この魔法のような画像編集を体験できます!  

🛠️ 技術的アーキテクチャとブレイクスルーの解説

1. コアコンポーネントとシステム構成

それで内部的な仕組みについてなんですけど、本システムは、12.9Bパラメータを持つシングルストリームMMDiT(Multi-Modal Diffusion Transformer)アーキテクチャの「Krea 2」を基盤に、以下の多段パイプラインで構築されています。

実は、2Passサンプリングを使った Krea2 の生成において、Wan 2.1 VAEがアップスケール段階で非常に有効だと言われているのも、このシステムコンポーネントに起因しています。

2. 技術的ブレイクスルー(なぜこの性能が出るのか?)

その他にもこんなにも高速で高い性能が出るには秘密があります!

ちょっと専門的な言葉が多いんですけど、簡単に説明するとこんな感じです。実際に使ってみるとかなり面白いです!

ということでここからは、その 進化したKrea 2 Editのパワーアップワークフロー を無料AIツールのComfyUIから簡単に使っていく方法についてハンズオンで解説していきたいと思います!

今回もローカル環境や

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください!

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、サクッと環境を作って、最新技術の威力を体験してみてください!  

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」「ワークフローファイル」 の2つをダウンロードしてください!

  • ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

  • 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v36.ipynb」をセットでダウンロードしてください!

ここから先は

3,642字 / 20画像 / 3ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと6人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと10人募集中

この記事が参加している募集

この記事が気に入ったらチップで応援してみませんか?