【Krita】②Flux.1-dev Kontextを使ってみた話【ローカルAI】

はじめに

前回のつづきです。

気づいた点など

Krita-ai-diffusionでは日本語→英語翻訳機能がついているので、日本語でプロンプト入力できますが、あまり精度が良くないようです。

FLUX.1 KontextはChatGPTのようにテキストエンコーダーが賢くないので、現状は正しい簡潔な英語で入力するしかなさそうです。

設定等の見直し

いくつか試してみましたが、サンプリングステップ数・CFGスケールはそのままで良さそうに思います。

Krita-ai-diffusionデフォルトのモデルでそのまま利用します。

※ 通常のfp8は精度を落としているだけですが、fp8_scaledモデルは（広義の）量子化モデルなので、軽量モデルとして良さそうに思います。ただ精度を落としただけではなく、スケール係数と共に保存する事で、FP8→FP32に戻す時の精度を上げる手法です

プリセットは前回と同じですが、スタイルプロンプトを削除しています

基本的なKontextの使い方確認

既にクラウド・サービスでは（より簡単に）利用できるので、ローカルAI＆Kritaを利用する利点はないかもしれませんが、Kontext基本の確認です。

画質を上げる・変換等

■ プロ写真のようにする
※ しかし胸の装飾が消えています

■ 証明写真風にする
※ 光が入ってますね

■ 正面と横
ChatGPTでは良く利用されている使い方だと思います。

画像編集

■ メガネをかける
※ まだクソコラ感はあります

■ 動作しないプロンプト
※ 現在着ている服装の微調整はできないようです。理由はわかりませんが、モデレーションかもしれません。別の服への変更は可能です。モデレーションなら特大う○こです。微調整できないなら役にたちません

• keep the character's face and identity but change skirt to mini-skirt.

• keep the character's face and identity but make the shirt longer.

• keep the character's face and identity but make the skirt longer.

■ 座らせる（ポーズ変更）

■ 服を変える
※ 別の服にできても微調整できないのは、あまり意味がないですね

背景の変更

■ ステージに変える

※ 光の方向を大きく変える指示はダメみたいですね。

※ 同様に、ライティングが異なる環境に変えると一気に劣化します

かなり崩れてしまっているので、インペイント手動修復します。

まとめ

確かに便利かもしれませんが、流石にChatGPTの汎用性やプロンプト追従性に比べると見劣りしてしまいます。また、服の微調整ができないのは致命的に残念です。

付録

大したものではありませんが、頑張った（ブロックと格闘し、意味なく時間だけを大量に費やしてしまった）Google Whiskプロンプトなので公開します。記事支援いただける場合はぜひお願いします。

※ 例によってImagen仕様はすぐに変わりますので悪しからず。

現在ほとんどブロックされませんが、単語を少し変えるだけでブロックされたりと良くわかりません。

※ チアの場合は魚がいてもいなくても目的の構図で生成しますが、他の場合は魚が重要になりました