【Krita】①Flux.1-dev Kontextを使ってみた話【Ai-Diffusion】

はじめに

Krita-ai-diffusionでFlux.1-dev Kontextが利用可能になったので、試してみました。

FLUX.1 Kontextとは、Black Forest Lbas社が開発したAI画像編集モデルで、テキストと参照画像を利用したマルチモーダルなインプットを利用できます。

ダウンロード可能なFLUX.1 Kontext-devモデルが最近公開され、ComfyUI等のローカルで実行できるようになっていましたが、Krita-ai-diffusionも対応した形です。

（Krita-ai-diffusionの制作者）Acly氏のFlux Kontextの使い方はこちらです。この内容に沿って利用しました。

導入

動作環境

筆者の作業環境です。

• OS： Windows 11 Pro

• CPU： Ryzen5 3600 64GB システムメモリ

• GPU： RTX 3060 12GB VRAM

本体モデルのダウンロード

HuggingfaceComfy-Orgから入手

# flux1-dev-kontext_fp8_scaled.safetensors -> /models/diffusion_models
https://huggingface.co/Comfy-Org/flux1-kontext-dev_ComfyUI/resolve/main/split_files/diffusion_models/flux1-dev-kontext_fp8_scaled.safetensors

その他必要なファイル（通常のFlux.1と共通）

# ae.safetensors -> /models/vae
https://huggingface.co/Comfy-Org/Lumina_Image_2.0_Repackaged/blob/main/split_files/vae/ae.safetensors

# clip_l.safetensors -> /models/text_encoders
https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors

# t5xxl_fp8_e4m3fn_scaled.safetensors -> /models/text_encoders
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp8_e4m3fn_scaled.safetensors

設定

Krita-ai-diffusionの設定メニューを開き、Flux.1 Kontext用プリセットを作ります。

ステップ数やガイダンスの値は適当です。何が最適化どうかはまだわかりません。

動作テスト

テキストのみで指示する場合

Kontextは編集用のモデルなので、必ず入力画像が必要になります。「Change into a Japanese schoolgirl uniform」として制服に変わるか確認します。

テキスト＋画像で指示する場合

とりあえずの動作確認としては、悪くないと思います。

まとめ

テキストのみの指示はFlux.1-dev通常生成時とほとんど同じぐらいの時間でした。

しかし、画像参照はかなり遅いです。ローカルで動くだけでも凄いのですが、それなりの解像度で処理しようとすると、数分必要になります。

まだ最適な設定等が分からないので、もう少し調査してみたいと思います。

以下、関連する記事の【PR】です。