見出し画像

【LoRA作成に向けたFLUX.2 Klein完全攻略】爆速&高品質を両立する次世代エンジンの正体と、実写を超えたリアリズムを出す「黄金設定」|ComfyUIハンズオン

どうも皆さん!最近スーパーで九州〇〇みたいな感じのやつがあったら必ず買ってます、 葉加瀬あい(ハカセアイ) です!

今回は、LoRA作成に向けたFluxクライン解説ということで、画像生成AI界隈ではすっかりおなじみとなった 「FLUX.2 Klein」 について徹底解説します!  

「高画質なAIは重くて遅い…」「サクサク生成したいけど、クオリティは妥協したくない…」
そんな常識を覆す、 爆速かつ超高品質な次世代エンジン がついに登場しました!

さらに、最新のLoRAや編集技術との組み合わせで、その可能性は無限大に広がっています。

ということで、今回お話しする内容はこんな感じです!

1.  爆速&軽量化の秘密:FLUX.2 Kleinの技術的ブレークスルー
2.  実写を超えろ!ComfyUIで極限のリアリズムを出す「黄金設定」
3.  日本語でOK!最高品質を叩き出す神ワークフロー解説

この記事を読めば、皆さんはFLUX.2 Kleinを完全に使いこなし、プロ級の作品を量産できるようになります!

なお、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

https://www.youtube.com/%40AI-Hakase

また、今回の動画版はレンダリングが終了し次第、こちらにて公開していますので、動画派の方はぜひご覧ください!

それでは、本日もよろしくお願いします!


なぜ今、FLUX.2 Kleinなのか?

さて、「FLUX.2 Kleinって、少し前に出たモデルだよね?」
そう思った方もいるかもしれません。確かに登場して少し経ちますが、 「今だからこそ」 紹介したい理由があるんです!

最近、FLUX.2 Klein周りで様々な強化が行われ、使いやすさが劇的に向上しています。
さらに、 「Image Edit Model(画像編集モデル)」との連携 もスムーズになり、単なる生成だけでなく、高度な編集ワークフローにも組み込みやすくなりました。
https://tinyurl.com/252nwsho

そして何より大きいのが、 「LoRA学習」のハードルがめちゃくちゃ下がっている こと!
「Micro LoRA」などの面白い技術が出てきたおかげで、少ない画像枚数でも高品質な学習が可能になっているんです。

実は私、Z-Image BaseのLoRA学習についても解説しようと思っていたんですが…
現状、Z-Image Baseの学習は 「Lossが増えてしまう」「FP32での学習が必要」 など、技術的な難易度がちょっと高いんですよね。

https://is.gd/R0qZ61

そこで!
まずは 「FLUX.2 Klein」で画像生成とLoRA学習の基礎を固めていただくのが、最短ルート だと判断しました。

https://www.reddit.com/r/comfyui/comments/1qwayrh/50_flux_2_klein_lora_training_runs_dev_and_klein/

リアル系LoRAとの最強コンボ

FLUX.2 Kleinには、すでに超高品質なリアル系LoRAがたくさん公開されています。

これらを組み合わせることで、
「自分の好きなキャラクターを学習させ、そのキャラを固定したまま、超リアルな実写風画像を生成する」
なんてことが、誰でも簡単にできるようになるわけです!

Z-Image Turbo vs FLUX.2 Klein

「Z-Image Turboの方がいいんじゃないの?」という声もあるかと思いますが、実は生成のリアルさを比べると、 FLUX.2 Klein 9Bの方が一歩上手 な印象です。

https://is.gd/XrKKI4

  • Klein 9B : 最新のモダンアーキテクチャを採用しており、「生成」だけでなく「編集」にも強い。学習効率も極めて高い。

  • Z-Image Turbo : 高速ですが、どうしても「AIっぽさ」が残りやすい。写実性を出すにはネガティブプロンプトの調整などコツが必要。

なので、今回はまずFLUX.2 Kleinを使って、テキストから画像を作る(T2I)ところからスタートしていきましょう!

クオリティを底上げする「デファクトスタンダード」

FLUX.2 Kleinの情報はネット上に溢れていますが、実は 「こう設定すれば間違いない」というデファクトスタンダード(事実上の標準) が確立されつつあります。

例えば、 「Flux2Klein Enhancer」 のような専用ノードを使うことで、生成結果が劇的に改善されたり、よりリアルな質感に近づけたりできるんです。

https://github.com/capitan01R/ComfyUI-Flux2Klein-Enhancer

今回は、そういった便利なカスタムノードや、こだわりのサンプラー設定なども含めて、 「今、一番綺麗な画質が出る設定」 をハンズオン形式で徹底解説していきます!

爆速&軽量化の秘密:FLUX.2 Kleinの技術的ブレークスルー

ということでここからは、そんなFLUX.2 Kleinの技術的な部分ついて解説していきたいと思います!

「高画質なAIは重くて遅い…」そんな常識を、FLUX.2 Kleinは見事に覆しました。
その裏側には、 「蒸留(Distillation)」「最新アーキテクチャ」 という2つの魔法があります。

① 「蒸留技術」による知識の凝縮

まず1つ目は、「蒸留(Distillation)」技術です。
これは、通常の巨大なAIモデル(教師モデル)が持つ膨大な知識を、要点だけまとめた「最強の参考書」のように、より小さなモデル(生徒モデル)に効率よく教え込む技術です。

この効果は絶大です!
通常なら20〜50回必要な計算(ステップ数)を、なんと わずか4ステップ にまで短縮することに成功しました。

② 最新構造「Rectified Flow Transformer」の採用

2つ目は、画像生成の計算プロセスを最適化する最新構造「Rectified Flow Transformer」の採用です。

これは、ノイズ(砂嵐)から画像(完成品)へと変化する過程を、従来のモデルよりも「真っ直ぐ・効率的」に計算する仕組みです。
このおかげで、9B(90億)というSDXLを凌駕するリッチなパラメータ数を持ちながらも、 VRAM 8GB〜12GBといった一般的なPC環境でサクサク動く軽快さ を手に入れました。

③ 「生成」と「編集」の完全統合

そしてKleinのもう一つの大きな特徴は、単に画像を作るだけでなく、 「Inpainting(部分修正)」や「Edit(編集)」にも強い構造 を持っていることです。

https://www.reddit.com/r/comfyui/comments/1qh9sff/flux2_klein_performs_exceptionally_well/

「T2I(テキストからの生成)」はもちろん、「I2I(画像からの生成)」、「インペイント」、さらには「要素の置換・削除・スワップ」まで、すべてが1つの仕組みに統合されています。

さらに、FLUX.2 Kleinはオープンソースの強みを活かし、SAM3などを使った「自動マスク機能」や、プロンプトだけで「頭だけ変えて」「体だけ変えて」といった指示ができる「セグメント認識」など、様々なカスタムノードの恩恵を受けることができます。

https://www.reddit.com/r/comfyui/comments/1r28ls4/densepose_lora_for_klein_9b/

ですので、今回はまず、基本となる「テキストから画像を作る(T2I)」ところまでをハンズオンで解説していきますが、このモデルのポテンシャルは計り知れません。
まさに、「速度・画質・編集力」のバランスを極限まで高めた、実戦仕様の次世代エンジンなんです!

実写を超えろ!ComfyUIで極限のリアリズムを出す「黄金設定」

ここでは、FLUX.2 Kleinでリアリズムを叩き出すための「黄金設定」と「プロンプトの秘訣」を伝授します。

まず、プロンプトについて。
単に「美肌」とするだけでは不十分です。以下の 4つの要素 を意識して組み込むことで、AI特有の「ツルツル感」を脱却できます!

1.  Micro hairs(産毛)
2.  Subsurface scattering(表面下散乱) :肌の内側で光が拡散する現象
3.  Veins(透ける血管)
4.  Micro pores(毛穴)

これらを毎回考えるのは大変なので、LLM(大規模言語モデル)などを使って自動でプロンプトを生成する仕組みを作ってしまうのがおすすめです。

次に、 解像度とアップスケール の戦略です。
Kleinのようなモデルは、1MP(約100万画素)程度の低解像度だと、顔や体が崩れる「解剖学的なエラー」が起きやすくなります。

理想は 1088〜1152px の間で調整すること。これだけでキャラの破綻がグッと減ります。

さらにクオリティを上げるなら、

Latent Upscale(潜在空間での拡大)」 を1.5〜1.8倍でかけるのが鉄板です!

つまり、「Hires Fix」のような 2パス(2段階)サンプラー の手法を取るのがベストプラクティスと言えるでしょう。

そして、設定の肝となるのが 「CFGスケール」「サンプラー」 です。

通常、CFGスケールは高い方が指示に従いますが、リアルさを追求するなら あえて低め(0.8〜1.0) にするのがコツです。
ただし、最初から低くしすぎると構図が崩れてしまいます。

そこで推奨するのが、この黄金フローです!

1.  1パス目(構図決定) : CFGスケール「2」、ステップ数「4」で大枠を生成。
2.  2パス目(ディテールアップ) : CFGスケールを「0.8〜1.0」に下げ、特殊なサンプラー 「res_multistep」 を使って拡大・描き込み。

この組み合わせにより、構図を安定させつつ、AIっぽさを極限まで排除した「超リアル」な質感が手に入ります。

https://da.gd/0f7sD

日本語でOK!最高品質を叩き出す神ワークフロー解説

ということでここからは、そんなリアリズム特化型のFLUX.2 Kleinワークフローを誰でも簡単に使いこなせる方法について資料の配布とハンズオン解説を行います!  

今回のワークフローの目玉は、なんといっても 「日本語プロンプト対応」「自動化」 です。

日本語で指示を入れるだけで、内部でAIが最適な英語プロンプトに変換。さらにLLMを使った「超詳細プロンプト生成モード」も搭載しているので、簡単な言葉からでも驚くほどリッチな画像が生成できます。

また、画質を極めるための 「2パス・アップスケール」 も自動化しました。
低解像度でしっかりと構図を決め、高解像度で緻密なディテールを書き込むこの工程を、ワンクリックで実行可能です。

さらに、VRAMが少ない方向けの量子化モデルへの切り替えや、LoRAの活用方法まで完全網羅。

なお、今回もローカル環境や

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください!

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、 この爆速体験を皆さんのものにしてください!

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

まずは、この先に表示されるメンバーシップ限定エリアから、 「Jupyterノートブック」「ワークフローファイル」 の2つをダウンロードしてください!

  • ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

  • 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダウンロードしてください!

ここから先は

3,756字 / 23画像 / 2ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと5人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと8人募集中

この記事が気に入ったらチップで応援してみませんか?