【入門】Krita-ai-diffusion完全解説

はじめに

この記事では、オープンソースで開発されているフリーのペイントソフトKrita上で画像生成AIを利用できるプラグイン「Krita-ai-diffusion（Generative AI for Krita）」の使い方を入門として解説した記事です。

AI画像生成だけでなく、ペイントソフトKritaも含めて初めて利用する方を想定したものになります。

基本的な事

必要な環境

すべてローカルで実行する事を想定します。ローカルパソコンで利用するには、ペイントソフトKrita本体と画像生成AIソフトウェア（ComfyUI）を同時に起動させる必要があります。Kritaはそれほどリソースを消費しませんが、画像生成AIは大量のシステムメモリとGPUメモリを要求します。一般に、NVIDIA製GPUを搭載したミドルクラス以上のゲーミングPCが必要になります。

具体的には、Geforce RTXシリーズVRAM8GB以上、システムメモリも16GB以上が必須です。

筆者おすすめの構成

• ■ GPU

  • （筆者も利用している）RTX 3060(12GB)

  • 予算に余裕があればRTX 4060ti or 5060ti (16GB)

  • RTX以上で、GPUメモリ(VRAM)の大きさを最優先してください

• ■ システムメモリ

  • 32GB以上推奨

  • Flux.1を利用する場合は48GBや64GB

• ■ 必要なストレージ容量

  • 最低20GB程度ですが、様々なAIモデルを利用すると100〜200GBにすぐに到達します。SSD推奨（HDDでは辛いです）

  • （インストール以外は）ゲームと同じREAD ONLY用途なので、読み込み速度の速いだけの格安SSDで問題ありません。

• ■ あまりCPUに拘る必要はありません。GPU性能とメモリサイズ（VRAM）がすべてです。

• ■ Krita用のペンタブはあった方がより精度の高い編集が可能ですが、必須ではありません。ラフ画でOKな事が多いので、マウスだけでもかなりの事が可能です。

Kritaとは？

公式サイトはこちら、

Kritaは、オープンソースで開発されているフリーのペイントソフトウェアです。主に、漫画家、イラストレーター、コンセプトアーティストが利用しています。

画像加工に特化したAdobe PhotoshopやGimpよりも、よりイラスト制作向けの（クリスタ製）CLIP STUDIO PAINTと競合するソフトウェアとして捉えるとわかり易いと思います。

※ ただし、本記事で解説するのは「イラスト制作」ではなく、どちらかというとPhotoshopと競合するような写真等の画像加工での利用方法の解説になります。

Krita-ai-diffusionとは？

Kritaに画像生成AI「Stable Diffusion」を統合したプラグインです。Krita上で画像生成AIを利用できるようになります。

公式リポジトリはこちら、

画像生成AI界隈では、Stable Diffusionの実装としてwebUIやComfyUIが主に利用されています。

これらと比べてKrita-ai-diffusionの強みは、ペイントソフトウェアとしての画像編集機能が豊富であるため、プロンプト工夫とAIガチャに頼ってしまいがちな画像生成AIを、ペンやマウスの手書きによって、より人が考えるイメージに近い形で画像生成できます。

また、他のAIで生成した画像を修正する事にも優れています。

Stable Diffusionとは？

主にテキストから高品質な画像を生成するAI技術で、（ネット上のクラウドでなく）ローカルで画像生成を行う場合のデ・ファクト・スタンダードです。

開発元は、Stable AI社（主導）・ミュンヘン大学CompVis・Runway ML社ですが、モデルを含めたオープンソースとした事で、世界中の巨大なコミュティによって機能追加やAIモデル開発が継続されています。

2025年現在の最新バージョンは3.5となっていますが、Krita-ai-diffusionで利用する場合は、より初期の1.5とSDXL（バージョンで言えば2.0〜3.0の間）になります。

Kritaで利用する場合、Stable Diffusionのバージョンが低いからといって品質が悪くなる事はありません。むしろ古いバージョンは、AI内部で利用する自由度が低いため、手書き画像に素直に追従しやすくなります。翻訳AIで言えば「直訳」してくれる感じです。高度な意訳をして台無しにする事がありません。

※ 各Stable DiffusionバージョンやコミュニティのAIモデルでもライセンスがそれぞれ異なるので、利用の際はご確認ください。

画像生成AIの基本

画像生成AIを初めて利用する人向けの簡単な解説です。Krita-ai-diffusionだけを利用する場合は、これらの技術用語を過度に意識する必要はあまりありませんが、最低限の基本概念だけは紹介したいと思います。Stable Diffusionに限らず、多くの画像生成AIに共通するものです。

Krita-ai-diffusionでの作業は、これらの技術を組み合わせて利用する事になります。

Text to Image（t2i/txt2img）
プロンプト（テキスト）から画像を生成する機能です。例として「中世の城でたそがれる女性」のプロンプトで生成します。

※ Stable Diffusionは英語プロンプトしか理解できませんが、Krita-ai-diffusionには翻訳機能があり、日本語プロンプトを英語プロンプトに自動翻訳して利用できます。

シード（seed）
同じプロンプトであっても、画像生成用の乱数シードを変更する事で、別の画像を生成します。デフォルトでは生成毎に自動でランダムに変更されます。画像生成AIで良く利用されるシード・ガチャは、複数の画像をランダムに生成して、より良いものを選ぶという手法です。

Image to Image（i2i/img2img）
画像とプロンプトを入力に利用して、新たな画像を生成します。例では、上記で生成した画像を元に、プロンプトを「日本の城でたそがれる着物を着た女性」にして生成したものです。変更の強度（Denoising Strength）を調整する事で、どの程度新たなプロンプトに追従させるのかを指定できます。似た構図を保ったまま、着物と日本の城(?)に変更されています。

インペイント
範囲を指定したImage to Imageです。例として、顔に範囲を指定して「猫耳の若い女性」とします。インペイントはKrita-ai-diffusionの主作業になります。境界・陰影・色調などをAIが上手く合わせてくれます。

生成塗りつぶし
Photoshopがこの名称を利用しているため、Krita-ai-diffusionも追従しているようです。インペイントと異なり境界以外は元画像を全く参考にしない画像生成です。例では「大仏（The Great Buddha）」として背景の一部を変更します。※ 大仏では翻訳が上手くできなかったようです

ControlNet
AIはニューラルネットワークを利用しますが、そのネットワークを直接コントロールできるControlNetという技術があります。例では棒人間（ControlNet poseモデル）を利用して、ポーズに沿った画像を生成できます。他にも線画から画像生成等の様々なControlNetモデルが利用できます。

ライブ生成（リアルタイム生成）
高速に生成できるAIモデルを利用して、ラフ画を書きながらリアルタイムで更新するAI画像を生成できます。基本的にキューシステムであるComfyUIやStable Diffusion webUI等でのリアルタイム更新の利用は難しいので、画像編集機能が豊富なKrita独自の強みです。

※ リアルタイムと言っても、RTX 3060 では、512x512解像度で一枚あたり数秒の更新時間は必要です

チェックポイント（AI学習モデルファイル本体）
様々な画像データセットから学習されたAIモデルファイル本体の事を指します。Krita-ai-diffusionではSD1.5系のモデルとSDXL系のモデルを利用できます。（Flux.1モデルも基本機能で利用可能）

※ 新しいバージョンではFLUX.1モデルはデフォルトでnunchaku版の利用が可能です。nunchaku版とは、高度な高速化・省メモリ化を施したモデルです。8GB VRAM以下でのFLUX.1運用は、nunchaku版を強くおすすめします。

Krita-ai-diffusionデフォルト設定では、現在、以下のモデルがビルトイン・プリセットとして登録され利用できます。※ バージョンによってデフォルト設定が変わります

• 【SD1.5モデル】

  • Cinematic Photo・serenity_v21Safetensors（リアル系）

  • Digital Artwork・dreamshaper_8（イラスト系）

  • Comic & Anime・flat2DAnimerge_v45Sharp（コミック＆アニメ系）

• 【SDXLモデル】

  • Cinematic Photo・RealVisXL_V5.0_fp16（リアル系）

  • Digital Artwork・pixelwave_11（イラスト系）

• 【FLUXモデル（デフォルトのインストールはnunchaku版）】

  • Flux・svdq-int4_r32-flux.1-devまたはsvdq-int4_r32-flux.1-krea-dev

  • Flux kontext・svdq-int4_r32-flux.1-kontext-dev（画像編集AI）

それぞれのチェックポイントには学習内容による生成画像の「強み」があります。その他のモデルに関しては、HuggingfaceやCivitAI等のコミュニティから入手するのが一般的です。

● AI全般の世界最大コミュニティサイトHuggingFace

● 画像生成AIに特化した世界最大コミュニティサイトCivitAI

LoRA（追加学習・ファインチューニングモデル）
数学的手法からLow Rank Adaptationの略としてLoRAと言われますが、特定の画風や特徴を生成画像に適用させる事ができます。

特に画像生成の機械学習は、一般的な家庭用PCでは性能的に難しかったのですが、LoRA手法が開発されるようになってから簡単に利用できるようになりました。その結果、コミュニティが独自に学習したモデルを公開するようになり、爆発的人気の手法になりました。

Low Rank（行列の低次元成分）つまり、特徴の骨組みだけを学習して適用する手法です。

下記LoRAを利用しています。

インストールと設定

Krita本体のインストール

ペイントソフトKritaのインストールからはじめます。

公式ページの「ダウンロード」から「例：krita-x64-5.2.3-setup.exe」をダウンロードして起動します。通常のWindowsアプリですので、インストーラ経由で導入する事ができます。

本体のインストールが終了した後は、念の為に一回は起動しておきましょう。（※ 初期化時に設定のフォルダを作成します）

プラグインkrita-ai-diffusionのインストール

AI画像生成を可能にするkrita-ai-diffusionをインストールします。

krita-ai-diffusion公式リポジトリの右部にある Release から、最新バージョン「例：krita_ai_diffusion-1.19.0.zip」をダウンロードします。

【追記：2025年10月8日】
導入方法の説明が古くなってます。新しいバージョンでのより簡単な手法は、github releaseページより、zipファイル（例：krita_ai_diffusion-1.39.2.zip ）をダウンロードします。
「ツール」→「スクリプト」→「Pythonプラグインをファイルからインポート」でzipファイルを選択＆導入可能です。

ダウンロードしたファイルを「C:\Users\user01\AppData\Roaming\krita\pykrita」フォルダ下に解凍します。※ 元zipファイルは削除しても構いませんが、バージョン番号がすぐにわかって便利なので、同じディレクトリに保存しています。

Krita本体を起動し、メニュー「設定」→「Kritaの設定を変更」を選択します。

Pythonプラグインマネージャタブから、「AI Image Diffusion」をチェックします。チェック後、Krita本体を再起動します。

再起動後、「新しい画像」から適当なファイルを作成します。その後、メニュー「設定」→「ドッキングパネル」→「AI Image Generation」を選ぶと、右側にドックが表示されます。

歯車アイコンの設定をクリックすると、Krita-ai-diffusionの設定ができます。

Krita-ai-diffusionは、ComfyUIをAI画像生成のバックエンドとして利用しています。

すべてのAIモデルをダウンロードすることになりますので、数十GBのストレージ容量を専有しますが、基本的にすべてのオプションをクリックする事を推奨します。すべて選択して「Install」をクリックします。

既にComfyUIをローカルに導入済みの場合は、そちらを利用する事も可能ですが、少し設定が面倒です。公式ドキュメントのドキュメントにもやり方（英語）は記載されていますが、より具体的な手順を下記事に記載しています。

以上で、Krita-ai-diffusionの導入は終了です。

※ 最新のバージョンは、起動時にアップデートをチェックします。新しいバージョンが公開されると、確認と共にKritaの再起動を促すようになっています。

※ Kritaを起動した時にバックエンドとしてのComfyUIの起動が始まります。サーバーとしてアクセス可能になるまで時間がかかる場合があります。

AI機能Krita-ai-toolsのインストール

※ 【重要】名称がKrita-vision-toolsに変わり、インストール方法が以前と異なります。

画像生成ではありませんが、Krita-ai-diffusionと同じAcly氏が公開しているもうひとつのAIツールで、Krita本体にAIセグメント選択機能を追加します。対象をクリックするだけで、AIが自動で境界を検出します。

公式レポジトリはこちら。

これは通常のプラグインではなく、バイナリを直接書き換える必要があります。つまり、インストールは手動でプログラムのバイナリファイルを上書きする必要があります。

右側の「Release」より、「例：krita_segmentation_plugin-windows-x64-1.0.2.zip」をダウンロードします。zipファイルの中身、

をKrita本体のインストール先「C:\Program Files\Krita (x64)\」に上書きコピーします。

コピーが完了すれば終了です。

【追記：2025年10月8日】
上記のgithub releaseページより、zipファイル（例：krita_vision_tools-windows-x64-2.1.0.zip）をダウンロードします。ただし、Krita側のバージョンを合わせる必要があります。例のファイルでは、Krita 5.2.13が必要です。
krita-ai-diffusionと同様に、「ツール」→「スクリプト」→「Pythonプラグインをファイルからインポート」でzipファイルを選択＆導入可能です。

※ 既に旧バージョンのkrita-ai-toolsを導入済みの場合は、バイナリを元に戻すために、Kritaの上書き再インストールが必要です

Krita起動後に、選択ツールへ２つの新しいアイコンが追加されていれば成功です。左側はクリックでオブジェクトの境界をAI認識して選択します。右側は矩形領域内のオブジェクトをAI認識して選択します。