SDXL x Flux2VAEという試み｜NoobAI-Flux2VAE-RectifiedFlow
まだ発展途上のモデルですが、SDXLの改良版の一つとして「NoobAI-Flux2VAE-RectifiedFlow」が公開されています。
このモデルは「CabalResearch/NoobAI-RectifiedFlow-Experimental · Hugging Face」をFLUX2 VAEで出力させるように追加学習をしているとのことです。
まずは、この「NoobAI-RectifiedFlow-Experimental」を理解しないと話が進まないので、こちらから解説します。
このモデルはSDXLに「Rectified Flow」と「EQ-VAE」を導入したものです。
RectifiedFlowとは？
従来のStable Diffusion（SDXLなど）は「拡散モデル」と呼ばれ、ノイズ除去の過程がランダムな要素を含む「酔っ払いのような千鳥足」で画像に到達するイメージです。これに対し、Rectified Flowは、ノイズと画像の間の移動を「可能な限り真っ直ぐな線」にする技術です。
NoobAI-RectifiedFlowにおける恩恵
生成ステップ数の削減: 軌跡が直線に近いため、従来のSDXLのように数十ステップかけずとも、少数のステップ（例えば10〜20ステップ、あるいはそれ以下）で高品質な画像に到達しやすくなります 。
一貫性の向上: ランダムな揺らぎが減るため、プロンプトに対する忠実度や構図の安定性が増す傾向があります。
EQ-VAEとは？
SDXLなどのモデルは、画像を「潜在空間（Latent Space）」という圧縮されたデータ形式に変換して処理しますが、従来のVAE（圧縮機）には弱点がありました。それは「画像の回転や拡大縮小（幾何学的変換）」を潜在空間が正しく理解していないことでした 。
EQ-VAEは、学習時の損失関数に工夫（正則化）を加えることで、潜在空間でも幾何学的な変換（回転やスケーリング）が成立するように強制します
EQ-SDXL-VAEにおける恩恵:
学習の高速化と性能向上: 潜在空間がシンプルになるため、画像生成AI（U-Net/Transformer部分）が学習しやすくなります。論文では、DiTモデルの学習において最大7倍の高速化と、生成品質（FIDスコア）の向上が確認されています 。
幾何学的な破綻の減少: 空間的な変換に強くなるため、NoobAIのようなイラスト生成モデルにおいては、複雑なポーズや構図の整合性が高まり、細部の崩れが減ることが期待できます。
以下が公式のワークフローです。VAEはすでに入っているためダウンロードは不要です。
フローを見ると分かりますが、「モデルサンプリングSD3」が追加されています。
NoobAI-Flux2VAE-RectifiedFlow
これは先ほどの「NoobAI-RectifiedFlow-Experimental」のVAEをFLUX2のVAEを使用するように学習を始めてみたというものです。
FLUX2VAEとは何か
通常、画像生成AIは「画像」をそのまま扱うとデータ量が大きすぎるため、「VAE」という圧縮機を使って「潜在空間（Latent Space）」と呼ばれるコンパクトなデータに変換してから学習します。
従来のSDXL VAE:
画像を4つのチャンネル（色の成分のようなもの）に圧縮していました。
FLUX2VAE
最新の画像生成AI「FLUX.2」で採用されたVAEです。このモデルでは、なんと32の複雑なチャンネル（complex channels）を使用していると説明されています。
つまり、「画像を圧縮する際のデータの『厚み』が、従来のSDXLに比べて圧倒的に分厚い」ということです。これにより、従来は圧縮時に切り捨てられていた細かい情報や色のニュアンスを、より正確に保持できる可能性を持っています。
NoobAI-Flux2VAE-RectifiedFlowのメリット
このモデルは、SDXLの脳みそ（U-Net）を改造し、FLUX.2の高性能な目（VAE）を移植した「キメラ」のような存在です。具体的なメリットは以下の通りです。
① 色彩表現の向上（最大のメリット）
モデルカードでは、このモデルの最大の恩恵として「色（Color）」を挙げています。
強烈で鮮やかな発色:
ネイティブなFlowモデルであることと、情報量の多いVAEのおかげで、色が「くすむ」ことなく、かといって「焼けつく（acidic）」ような不自然さもなく、強力な発色を実現しています。
従来のアニメモデルでありがちな「全体的に白っぽくなる」現象や「色が濁る」現象を回避できるポテンシャルがあります。
② 情報量の圧倒的な増加
4チャンネルから32チャンネルへの拡張は、AIが扱える情報量が桁違いに増えることを意味します。
理論上の詳細度: まだ学習不足（not fully converged）のためノイズが残るとされていますが、将来的には従来のSDXLでは表現しきれなかった「微細なディテール」や「質感」を表現できる新しいスタンダードになる可能性があります。
注意点と現状
ComfyUIで使おうとすると、エラーが出てしまいます・・・・
こちらのフォークしたComfyUIだと対応しているようです・・・・・
基本的には、先ほどと同様のフローで行うことが可能になっています。
ちょっと手が出しにくいですが、実際に試してみると色味はとても魅力的に見えます。
VAEはオリジナルだとPaperspaceでダウンロードしにくいため、下の方がダウンロードしやすいです。
black-forest-labs/FLUX.2-dev at main
CabalResearch/Flux2VAE-Anime-Decoder-Tune at main
Paperspaceだと以下のような感じでダウンロードしてリネームすることで、comfyuiの他のコマンドが使えます。
%cd /tmp
!git clone -q https://github.com/Anzhc/ComfyUI-sdxl-flux2vae-support.git
!pip install -q -r /tmp/ComfyUI-sdxl-flux2vae-support/requirements.txt
!rm -rf /tmp/ComfyUI
!mv /tmp/ComfyUI-sdxl-flux2vae-support /tmp/ComfyUI生成画像例：Civitaiからプロンプトを借りましたので、色調とかの参考になれば。
デフォルトのフローで、アップスケールとかなしのものです。
まだまだ学習が途上とのことで、完成品の質は非常に期待されます。
ただ、実行して気になったのは「生成速度」です。
ステップ数は多くなかったのですが通常生成よりは時間がかかっている印象でした。
