【Krea 2】究極のキャラ固定！最適化されたLoRA学習とマルチリファレンス編集で、顔を一切崩さず超自然な合成画像を作るComfyUIハンズオン

どうも皆さん！痛い思いした後、妙に開放的になってスッキリするタイプです。 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、圧倒的な表現力を持つ最新AI「Krea 2」を使って、自分のオリジナルキャラクターや特定の画風をAIに完璧に記憶させる「LoRA（ローラ）学習の完全自動化ワークフローと最適解」 です！

このLoRA学習がちゃんとできていると、前回お話ししたKrea 2での画像編集が、ものすごい一貫性を保ちながら自由自在に行えるようになります。

例えば、自社のブランドキャラクターやインフルエンサーの顔を完全に固定したまま、どんな服でも、どんな場所でも、一瞬で実写レベルの写真を量産できる未来が手に入るんです！すごいと思いませんか？　　

前回の記事でご紹介したKrea 2の画像編集と組み合わせることで、まさに最強のワークフローが完成しますので、

気になる方はぜひこちらの記事も合わせてチェックして、最先端の完璧な画像編集を体験してみてください！

https://note.com/ai_hakase/n/neb323e02f3c7

今回は「AI-Toolkit（Ostris Trainer）」を使用して、Krea 2のLoRA（キャラクター固定・スタイル学習）を成功させるための、最新の検証データに基づく最適なパラメータとワークフロー（自動キャプションと高一貫性の画像を編集）について詳しく解説していきます！　　

Runpodを使って解説していきますが、ローカルからでもほとんどやり方は一緒なので、自分の pc でやりたいっていう人もぜひ参考にしていってください！

ということで今回お話しする内容はこんな感じです！

• なぜ数枚の画像で顔が固定できるのか？Krea 2学習の圧倒的な技術の裏側

• ComfyUIでサクッと準備！面倒な「自動キャプション」作成ワークフロー

• OOM（メモリ不足）を回避！プロが導き出した「AI Toolkit」の最適パラメータ設定

動画版はこちらからどうぞ！

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

それでは、本日もよろしくお願いします！

圧倒的な学習効率！Krea 2の「Raw」と「Turbo」の使い分け

さて、具体的なワークフローに入る前に、今回のKrea 2の学習がこれまでのAIと何が違うのか、その本質的な部分を少しだけ解説しておきます！

Krea 2のLoRA学習は、わずか数枚から数十枚の画像データから、特定のキャラクターや画風のアイデンティティを高精度に抽出し、それを爆速で生成させるという、品質とスピードのトレードオフを完全に破壊する技術です。これにより、高額な撮影コストや外注費をかけずに、自社専用のAIモデル（タレントやブランド素材など）をローカル環境で圧倒的な低コストで量産・固定化できる未来をもたらしてくれます！

Krea 2最大の強みは、モデルの役割が明確に分かれていることです。
例えるなら、知識をグングン吸収する「スポンジ」と、その知識を使って爆速で走る「スポーツカー」が別々に用意されているようなものです！

LoRAの学習（トレーニング）には、知識を柔軟に吸収できる未蒸留の 「Krea 2 Raw」 を必ず使用します。そして、実際の画像生成（推論）の際には、その学習したLoRAを超高速な 「Krea 2 Turbo」 に乗せて走らせます。
この「Rawで育てて、Turboで走らせる」というハイブリッド運用こそが、学習の正確さと生成スピードを両立する最大の秘訣なんです！

極少データで顔を完全固定するデータ戦略

Krea 2の学習において一番驚くべきポイントは、その 圧倒的な学習効率 です。
冒頭でもお話ししましたが、従来のAIモデルのように、何百枚も画像を集めて必死に学習させる必要はありません。顔の固定（Identity）であれば 「25枚前後」 、極端な検証ではなんと 「たった4枚」 の写真からでも、高品質なLoRAが作成可能なんです！少しのデータでもスポンジのように特徴を吸収してくれるのは本当に頼もしいですよね。　　

その他の注意するべきデータセットの準備としてはこんな感じになります！

AI Toolkitでの学習環境構築（Runpod編）

ということで、まずはAI Toolkitを使った学習環境の起動からやっていきましょう！

https://github.com/ostris/ai-toolkit

今回はクラウドGPUサービスの Runpod でやっていければと思っているんですけど、Runpodから行う場合はこちらのAI ToolkitのDockerイメージを使っていければなと思います。
Runpodにサインインをしている状態で以下のリンクにアクセスしますと、こちらのような画面になります。

https://console.runpod.io/deploy?template=0fqzfjy6f3&ref=kfjgyi26

普通にレコメンドされているGPUの中から選んでいただいて大丈夫なんですが、個人的にはレコメンドされているもの以外にも、RTX 5090だったり、RTX 3090、RTX 4090あたりを選ぶのがおすすめです！　　

ランポッドの詳しい使い方などについては、私もこちらの記事でよく解説をしているので、そちらを見ていただければと思います！

https://note.com/ai_hakase/n/n9eb2265f98f7

ということで、そんな感じでまずはGPUマシンを選んでもらったら、こちらの「Deploy」ボタンを押していきましょう！そうすると、RunpodでAI Toolkitが立ち上がります。

今回私はRTX 3090で実行してるんですけど、こんな感じで立ち上がったら、こちらの「HTTP Service」というボタンをクリックしてください。そうすると、こちらのようにAI Toolkitの画面が開かれます！　　

本当に一回も立ち上げたことがない初回起動時は、こちらの部分に「password」という文字を入力してロックを開ける必要があるので注意してください！

起動したらこんな感じの画面になります。

ちなみに起動したら、絶対に忘れないでほしいのが Hugging Face Token の設定です。こちらのように「Settings」の部分からトークンを入力して「Save Settings」を念のためやっておいてください！

Hugging Face Tokenの取得の仕方はこんな感じです。基本的には以下のURLからアクセストークンの欄に行って「Create New Token」から「Read」権限でトークンを作成します。この値をコピーして先ほどの欄に貼り付けてください。なお、トークンはパスワードと同じなので絶対に誰にも見せてはいけませんよ！

https://huggingface.co/settings/tokens

少ないデータで顔を完全固定！データセット準備とキャプション戦略

はい、それではセーブができたら、まずは学習の要となる「データセットの作成」からやっていきましょう！

実践！データセットの登録とキャプション作成

やり方はとても直感的です。データセットのタブから「New Dataset」をクリックして、適当な名前を付けてから「Create」を押します。　　

そうすると、こちらのようにアップロードする画面が表示されます。

この画面が表示されましたら、今回学習させたい画像をこのようにドラッグ＆ドロップでアップロードしていきます。　　

一応、トリガーワードは自分で作ってもいいですし、ここの部分にある「Auto Caption」機能をクリックしてもらえれば自動でキャプションをつけることも可能です。　　

このようにRunpodに直接画像だけをドラッグ＆ドロップして、Qwen3-VL 8Bモデルを使った自動キャプションをサクッとやることもできるのですが……個人的には少し注意が必要だと思っています。
自動ツール任せにすると、不要な情報が学習されてしまってLoRAの生成結果にノイズが乗ったり、そもそも学習前の画像の正規化やサイズ調整が面倒だったりするんですよね。

ですので、基本的にはComfyUIが使える環境であれば、Gemma 4などの優秀なモデルを使って、そちらでキャプション付けと画像処理を一括で行うのが最も確実です！

ComfyUIを使ったキャプションファイルの作り方については後ほど詳しく解説しますが、結論から言うと、 「画像のファイル名」と「テキスト（.txt）のキャプションファイル名」を同じにしてセットで用意しておく だけで、それが学習に正しく紐付いて使われるようになります。

ComfyUI等で用意した「キャプションファイルと画像のセット」をアップロードする場合は、先ほどと同じ要領でデータセットに名前をつけて、そのセットをドラッグ＆ドロップして登録すればOKです。　　

登録が終わると、こんな感じになります。

一覧画面で、画像とお好みで付けたキャプションがしっかり紐付いているのを確認できると思います。ここまでできたらデータセットの準備は完了です！

私の推奨の方法とQwen3-VL 8Bモデルを使った方法、どっちの方法でやっても大丈夫なので、ご自身にあった方法でやってみてください！　　

さらに一歩先へ！複雑なパラメータと自動化の壁を越える

ここまでできたら、あとはデフォルトのセッティングのままKrea 2のモデルを選んで、データセットを読み込ませて「Create Job」を押せば、とりあえずそれっぽいLoRAを作ることは可能です。

ただ、実際に高品質なものを安定して作ろうとすると、ハードウェアの要件をクリアするための工夫や、最適化されたトレーニングパラメータの調整など、諸々の難しい情報や壁が存在します。

設定を間違えるとOOM（メモリ不足）で落ちてしまったり、クオリティが上がらなかったりするので、ここからはさらに踏み込んで、絶対に失敗しないための詳しい設定のお話をしていければと思います。
色々と複雑な設定をするんですが、皆さんが楽をできるように、全部コピペで使えるYAMLファイルもご用意しておきました！

また、先ほどお話しした「キャプションファイルを作るときのノイズ問題（余分な洋服や背景情報が混ざってしまう問題）」をクリアするために、ComfyUIを使った 自動LLMキャプション生成ワークフロー についても解説していきます。画像の正規化やリサイズも一緒に、ワンクリックで全自動で処理できる方法です！　　

このLoRAの学習がちゃんとできていると、前回お話ししたKrea 2での画像生成や画像編集が、すごい一貫性を保ちながら行えるようになりますので、気になる方はぜひ続きを見て、今最先端のKrea 2の完璧な画像編集を体験してみてください。

ちなみにクラウド環境の場合はちょっとこの作ったLoRAを使う際に破損してしまうトラブルとかがあるみたいなんですけど、そこの対応方法とかも一緒に詳しく解説していきます！　　

ということで、ここからはそこら辺の詳しいお話を私のNoteメンバーシップ「 あいらぼ（Ai-Lab） 」の入門者さん限定でやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

今回もローカル環境や、

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください！

https://note.com/ai_hakase/n/n9eb2265f98f7

ちなみにメンバーシップについては 人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

https://note.com/ai_hakase/membership

それでは実際に、こちらのワークフローを説明したり、必要なファイルをお配りしたりしていこうかと思います！

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！

• ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

• 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v35.ipynb」をセットでダウンロードしてください！