【ローカルAI】nunchaku版qwen-imageをComfyUIで試した話【最速生成】
はじめに
nunchaku版FLUX.1がとても高速なので、nunchaku版qwen-imageで確認してみた話です。
nunchakuとは？
主にFLUX.1モデルを高速化する手法ですが、Krita-ai-diffusionで採用されたので、いろいろ試しています。
（まだKritaでは利用できませんが）開発版nuchakuではqwen-imageにも対応しているので、動作確認をしてみました。
導入
まだ開発版で色々制約もあり、お世辞にも実用的とは言えませんが、dev版nunchakuを利用する事で、RTX 3060 12GB環境でnunchaku版qwen-imageを利用する事ができます。
【注意】GPUハードのメモリを低レベルで限界まで利用しようとするため、何度もフリーズしました
筆者環境（Linux）では、次のようにしました。
色々互換性の問題があるので、新しいComfyUIディレクトリとPython仮想環境を作ります。
# 新しい作業環境
cd ~/app/comfyui/test
# Anaconda仮想環境
conda create -n comfyui-nunchaku python=3.10
conda activate comfyui-nunchaku
# ComfyUI設定
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt
# ComfyUIマネージャ
cd custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager
# ComyUI-nunchaku
cd custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
# devブランチにしておく
cd nunchaku_nodes
git switch dev
cd ../..
# （linux C++標準ライブラリ）仮想環境内libstd++環境の更新
# nunchakuを利用する際は必要でした（linux mint 22.1）
conda install -c conda-forge libstdcxx-ng
# comfyui起動
python main.pynunchakuを利用するには、次の３つが必要です。
ComfyUI-nunchaku
nunchaku本体（pip等で導入）
nunchaku専用モデル
上記でComfyUI-nuchakuを設定したので、nunchaku本体を導入します。
nunchakuパッケージその他がないので色々エラーを吐きますが、GUI上の設定ツールを利用します。
※ pipでgithubのwheelバイナリを選択してもできるはずですが、pythonやcuda/pytorchバージョン/os指定バイナリなので、簡単にするためのGUIが用意されています。
上記（nunchaku-tech）公式サイトから、install_wheel.jsonをダウンロードし、nuchaku設定をします。
ComfyUI再起動後も、その他直接関係ないと思われるパッケージ（insightfaceなど）のエラーがでますが、それぞれ導入しておきます。
正常にComfyUIが起動すれば、githubのComfyUI-nunchakuページから、サンプルjsonファイルをダウンロードします。
nunchakuモデル「svdq-int4_r32-qwen-image.safetensors」その他のダウンロードが求められるので、それぞれを適切なフォルダへダウンロードします。
※ RTX 50xxではfp4版、それ以外（RTX20xx以上）はint4版という指示です
「RUN」で実行します。
※ 28日以前のバージョンでは12GB以下のGPUでは動作不可能でしたが、最新の対応版で、12GBギリギリの動作が可能になりました。
※ 通常ggufやfp8版であれば、数分必要です
生成
本当にGPUメモリ・ギリギリ＆（たぶん）メモリリークで、再生成するにはComfyUIを再起動しないと利用できないという状態です。VRAMが16GBあれば余裕でしょうが。
が、画像自体はちゃんと生成できます。
まとめ
まだ不安定すぎて実用的とは言えませんが、生成速度は驚異的なので、安定化に期待します。LoRAも対応中ということで、更に速く汎用的になるかもしれません。
Kritaからも利用できるようになれば、更に使いやすくなると思います。
ローカルAI画像生成において、（Google Imagenほどではありませんが）日本的な風景や服装をベースモデルのみで生成できるのはqwen-imageだけですので。
以下、関連する記事等の【PR】です。
