【Krea 2 × 画像編集】脱・AI感!不自然な画像はもう卒業。本物の写真レベルに化ける「ネオリアル画像編集」の全自動ワークフロー【ComfyUI】
どうも皆さん!PRANK PROJECTのソファはどこの店舗でもふかふかすぎて大好きです、 葉加瀬あい(ハカセアイ) です!
ということで今回ご紹介するのは、Krea 2 と Boogu Image を組み合わせた、まるで本物の写真のような 「ネオリアルな画像合成・編集技術」 です!

皆さんは、AIで生成したキャラクターやお手持ちの被写体画像を、「もっと自然に別の背景と合成したい」「プロ並みのクオリティに仕上げたい」と思ったことはありませんか?

今回は、圧倒的な表現力を持つ「Krea 2」と、超高速で高度な画像編集を可能にする「Boogu Image」を掛け合わせることで、従来のような泥臭い手作業での画像編集を一切することなく、高度なAI処理だけでプロレベルのネオリアルな画像合成をやり放題にしてしまう画期的な仕組みをご紹介します!

ということで今回お話しする内容はこんな感じです!
Krea 2 × Boogu Image がもたらす「ネオリアル画像編集」の衝撃と実利
VLMの使い分けとメモリ最適化が支える「超自動化」の裏側
完全初心者でもワンクリックで完結!実践ワークフローの徹底解説

動画版はこちらからどうぞ!
なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします!
それでは、本日もよろしくお願いします!
Krea 2 × Boogu Image が生み出す「ネオリアル画像合成」の新境地
さてということで、今回のメインテーマは、写真と見分けがつかないレベルを追求する 「ネオリアルな画像合成」 になります!
画像を選んだり素材を個別に生成して、それらを組み合わせることで、リアルな質感に徹底的に特化したビジュアルを作っていきます。

もちろん、プロンプトの工夫次第ではアニメ調の合成や特化表現も自由自在にできちゃいます!

最近、オープンソース(OSS)の技術で「最も綺麗に画像編集や合成を行える手法」として世界中でめちゃくちゃ注目を集めているのが、この Krea 2を画像編集として擬似的に運用するテクニック なんです。

通常、別々の画像から違和感のない合成写真を作ろうとすると、マスクを切ったりライティングを合わせたりと本当に面倒くさい工程が多いのですが、今回はそれを最新のVLM(視覚言語モデル)や自動化ノードを駆使して、 たったの3ステップ で完結させる方法を解説していきます!

「ComfyUIって難しそう…」と思っている完全初心者の方でも、Jupyter Notebookの自動スクリプトなんかを使って、できるだけワンクリックに近い形で環境構築や実行準備ができるようにワークフローを整えておきましたので、皆さんもリラックスして試してみてください!


ところで以前もこのKrea 2モデルについてはこちらの記事で詳しく解説させていただきましたが、

一言で言えば、綺麗なイラストはもちろん、現実の光の反射やアニメ調の表現のロジックが、内部で非常に計算し尽くされている最高のモデルなんです。

だからこそ、このKrea 2の圧倒的な表現力と、最新の画像編集エンジンを組み合わせると、 「個人環境なのにプロレベルの高度な編集が無料でやり放題」という、とんでもないクリエイティブの革命 が起きちゃうわけなんです!


今回のワークフローでは、Krea 2の内部機能を使って被写体や背景の素材をその場で用意させることもできますし、

もちろん皆さんが自分で撮影した写真や、お気に入りの好きな画像を選んで持ってきて、画像編集の参考(インプット)にしてもOKな設計にしています。

このように、好きな被写体の画像を選んで実行するだけで、例えばキャラクターと背景をピタッと合わせて、世界のどこか好きなところに旅行に行かせたような、ドラマチックな1枚が作れてしまいます。

割と実際の写真とも区別がつかないような編集がローカル環境でできてしまうのですが……それゆえに、フェイク画像の作成や悪意のある利用は 絶対厳禁 でお願いいたします!
SNSやネット上に作品をアップしたりするときは、各プラットフォームの規約やガイドラインをちゃんと守って、AI生成物であることを示すタグなどをしっかりつけて楽しんでください!

さらに、今回のワークフローを使いやすくするために、サイズ指定の自動化にもこだわりました!
画像生成AIって、縦横のピクセル数が「8の倍数」や「特定のモデルの制約」に合っていないと、画面の端に変なノイズが出たりエラーで止まっちゃったりするんです。これ、手動で浮動小数点数とかを計算して指定するのはめちゃくちゃ面倒くさいですよね。
そこで今回は、皆さんがキャンバス上で「長方形」「四角形」「正方形」「ポートレート画像」といった直感的な比率を選ぶだけで、裏側のロジックが自動的に最適なピクセル数に変換してくれる親切設計にしています!

それだけでなく、PCの処理を軽くするための「メモリの自動解放」や「VRAMのクリーンアップ」もパイプラインに取り入れつつ、最先端の VLMによるプロンプト自動リファイン(再構築) を実装しました。
基本的には、皆さんが入力欄に「こんな風に合成してほしいな」と簡単な日本語でプロンプトを書けば、それだけで裏側のLLMが、Krea 2が最も実力を発揮するベストプラクティスに沿った英語の長文プロンプトに拡張してくれます!

ここでプロの現場で役立つ重要な工夫として、 「LLM(VLM)のハイブリッド使い分け戦略」 を導入しています。
プロンプトを生成する処理のすべてに頭の良い巨大なモデルを使ってしまうと、待ち時間が長すぎて制作のテンポが悪くなってしまいます。そこで、全体のセットアップやスピード感が重視される部分には「処理の軽い爆速なVLM」を動かしてサクサク進め、合成の心臓部となる最も重要なプロンプトリファインのノードにだけ、時間をかけてでも「最高に頭の良い巨大なVLM」を通すように設計しました!これによって、作業の爆速なスピード感を担保しながら、より正確で破綻のない美しい編集を可能にしているんです。

もちろん、これだけ色々な処理を裏側で連動させると、グラフィックボードのメモリ使用量(VRAM)の管理や、クラッシュ対策といった面倒な問題が常に付きまとうわけですが、そこら辺もシステム側できちんとクリアできるようにワークフローの内部構造を徹底的に整えておきましたので、安心して使ってみてください!

💡 今回使用する中核技術
一応、後半のハンズオンをより深く理解できるように、今回組み合わせている2つの主役技術「Krea 2」と、新しく登場した「Boogu Image」の特徴について、サクッと軽くおさらいと説明をしておきます!

基盤となる圧倒的表現力:Krea 2(クレア 2)
120億(12B)という巨大なパラメータを持つ、次世代のオープンソースDiT(Diffusion Transformer)モデルです。

従来のモデルにありがちだった「いかにもAIが描いたような質感(SDXL look)」を完全に排除し、人間の解剖学的な正確さや、文字(タイポグラフィ)を化けずにクッキリ描く能力において、業界最高峰のポテンシャルを持っています。

年間売上1.5億円まで商用フリーというライセンスの手厚さも実務家に選ばれている理由ですね!

爆速画像編集の新星:Boogu Image(ブーグ イメージ)
https://github.com/boogu-project/Boogu-Image

190億(19.14B)パラメータという圧倒的な規模を持ちながら、高度な「知識蒸留(Knowledge Distillation)」技術によって、わずか 4ステップ という異次元の速度で画像編集を完了させてしまう最新の特化型モデルです。

商用利用に非常に寛容な「Apache 2.0ライセンス」で公開されているため、ビジネスの現場でも大注目されています。

さらに今回のワークフローでは、ComfyUIの最新安定版(v0.27.0)に実装された最新の最適化技術 「INT8-ConvRot」 というフォーマットを適用できるようにしています。
https://www.reddit.com/r/comfyui/comments/1uk6q5m/comfyui_v0270_now_officially_supports_convrot/

これにより、画質の劣化を極限まで抑えながら、従来のFP16形式に比べて 推論速度を最大で約2倍に爆速化 させ、VRAMが限られた低スペック環境でもサクサクと4K・2Kクオリティの編集が回せる、現時点で最も綺麗な最強のハイブリッド環境を構築しています!

ということでここからは、その Krea 2 と Boogu Image を組み合わせた「ネオリアルな画像合成・編集」を無料AIツールのComfyUIから簡単に使っていく方法について、ハンズオンで解説していきたいと思います!

今回もご自身のPCで動かすローカル環境や、

GPUを安価に借りられる Runpod などのクラウド環境、どちらでも動かせるようにやっていきたいと思います。

ちなみに、「初心者だからComfyUIの設定がちょっと難しそうで自信がないな…」という方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください!
https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、ご自身の環境でこの圧倒的なクオリティの画像編集を実際に体験してみてください!

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!
https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!
それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください!
ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。
【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v35.ipynb」をセットでダウンロードしてください!

ここから先は
この記事が参加している募集
この記事が気に入ったらチップで応援してみませんか?
