Krea AI|Realtime編集用Trainで学習したキャラで画像生成&リアルタイム編集を試す
画像生成用Lora学習で作ったキャラはリアルタイム編集では使えなかったので、今回はFlux RealtimeでTrainしたキャラを用いて画像生成や編集を行ってみたので紹介します。
Stable Diffusionなどで使える「ControlNet > OpenPose」などと同様のことがフリーハンドのブラシツールによるお絵描きで実現???


Train Lora
学習準備

すでに、「EG-Kin」でDg WebGPU PlayerのDAZポージングモデルのLora学習を行っていますが、Realtime画像生成&編集では学習したキャラクターの顔にはならなかったので、Realtime用の学習ができるかを試します。
「Train new Lora」をクリック。

「Next Step」をクリック。

「Upload images 0/50」をクリックし、前回で作成した学習用キャラクター画像3枚をアップロード。

Realtime用Lora学習開始
「Name」は「EG-Kin for Realtime Edit」とし、「Model」は「Flex Realtime」を選択。


「Trigger Word」をデフォールトの「krea」から「EG-Kin-RT」に変更。
「Train Realtime」をクリックしLora学習を開始。


Realtime用学習 失敗例

約3分ほどで終了しましたが「Failed」となり、失敗・・・

マウスカーソルをサムネイル上に移動し「Retry」をクリック。
失敗の原因が不明なので、とりあえず「Optimize for」を「Default」のままとし、「Trigger Word」を「eg-kin」とシンプルにして再挑戦してみましたが、やはり失敗。
そこで、「Number of Images」が3枚では「Poor」と赤字になっているので、Lora学習用画像を7枚ほど追加し合計10枚にします。

追加用画像をEnhance 2xで高画質化しておきます。

Train Realtimeに戻り、追加の7枚のLora学習用画像をアップロード。


Trigger wordを今回は「eg-kin」とシンプルに変え「Train Realtime」をクリックしましたが、やはり失敗。

Realtime用学習 成功例
「Steps」を最小の「25」で学習したことで成功しました。
Train Loraの開始画面で「Flux Realtime」「Private」「Showing Hidden」をセットし「Train new Lora」をクリック。


「Steps」を最小値の「25」に変更し「Train Realtime」をクリック。(28 CUと消費量が少ない)

Stepsを25にすることでLora学習が成功。Stepsをどこまで増やすと良いか?は現状では不明ですが、このままRealtime編集をしてみます。
Realtime編集を試す

サムネイル上にマウスカーソルを移動し「Generate」をクリック。

前回のプロンプトがそのまま残っているので、トリガーワードが「krea」のままですが、それ以外のプロンプトや背景は右の画像に反映されています。
トリガーワードを、Realtime FluxでのLora学習時に設定した「EGKin」に変更してみましたが、右の画像には変化がありませんでした。

プロンプト右下のLora影響度を「0.02」と「1」で試しましたが、右側の画像の顔には影響はありませんでした。


Realtime編集を最初からやり直す
プロンプト
以下の記事の作例に使ったプロンプトのトリガーワードを「krea」から「EGKin」に変更して使用します。

EGKin, a young Japanese woman wearing a winter sailor uniform with pleated skirt, is standing straight and looking directly at the camera with a neutral expression, doing nothing. The image is photorealistic with a solid gray background. Soft and neutral studio lighting illuminates her. The camera angle captures her full body.
ブラシで描画

ブラシでとりあえず顔と髪をシンプルに描いてみると、それなりの画像が表示されました。Lora学習したキャラクターが概ね適用されていると思われます。
★ 「インターネット通信の状況が悪い」とかメッセージが表示され右側の画像が更新されないので、FAST.comで通信速度を計測すると250Mbps出ていたので、ブラウザーの再読み込みボタンをクリックすると、上記の表示になりましたが・・・


脚を長く描いたつもりでも、右側の画像には反映されないので、プロンプトを以下のように変えて初期化。
EGKin, a young Japanese woman of average height, wearing a knee-length winter sailor uniform with a pleated skirt, stands facing the camera in a natural pose, facing forward at a 45-degree angle. The image has a photorealistic finish against a monochromatic gray background. Soft, neutral studio lighting illuminates her, and the camera angle captures her entire body. 4K, high quality, precise cinematic lighting.
(平均的な身長の若い日本人女性、EGKinさんは、膝丈のプリーツスカート付き冬用セーラー服を着て、自然なポーズでカメラに向かって45度の角度で立っています。モノクロのグレーの背景に、フォトリアリスティックな仕上がりになっています。柔らかくニュートラルなスタジオ照明が彼女を照らし、カメラアングルは彼女の全身を捉えています。4K、高品質、精密なシネマライティング。)

Lora学習した顔と異なるので、いったんTrain Loraに戻ると、Previewが変化していました。

「Use Lora」を試す
今回は、右下の「Use Lora」をクリック。

横を向いているのでプロンプトに忠実ではありませんが、顔立ちはLora学習したキャラクターに近づきました。
プロンプトをシンプルに変えてみます。
EGKin, a young Japanese woman wearing a knee-length winter sailor uniform with a pleated skirt, stands in a natural pose, looking at the camera. Photorealistic. Light gray background. Soft, neutral studio lighting. Camera angle captures her entire body. 4K, high quality.
(膝丈でプリーツスカートの冬用セーラー服を着た若い日本人女性、EGKinは、自然なポーズでカメラを見ながら立っている。フォトリアリスティック。背景は明るいグレー。柔らかくニュートラルなスタジオ照明。彼女の全身が写るカメラアングル。4K、高画質。)

プロンプト右下の「Seed」を何回かクリック。

Lora学習はされているようであり、キャラクターの一貫性は保たれています。
Lora学習の影響度を最小の「0.02」にしてみると、若年化しましたが・・・

今度は最大の「1」にしてみると・・・

この顔がLora学習の結果とみなせます。
「Seed」をいくつか変えてみます。





試行錯誤の結果
プロンプトをシンプルにしてみます。
EGKin, a young Japanese woman wearing a knee-length winter sailor uniform with a pleated skirt. Photorealistic. Light gray background. Soft, neutral studio lighting. Camera angle captures her entire body. 4K, high quality. #1kmu1os3q


「Canvas Background > Photos」から背景を選び、「Model > Flux Realtime」「AI Strength > 0」に変更。

「AI Strengh」を徐々に上げていくと・・・





「AI Strengh > 90」でLora影響度を0.71にして「Seed」を数回クリック。

Enhance 2x を行います。


ダウンロードした画像は以下です。

今回はここまでとします。

クレジットの残りは「3,018」なので、まだ余裕がありますが・・・
まとめ
Realtime編集用のLora学習したキャラクターを使ってリアルタイム画像生成と編集を試したので紹介しています。
今回は10枚の元画像を使い、「Steps」を最小の「25」で学習したことで成功しました。Stepsの値をもっと大きくして学習すると、Realtime編集で生成されるキャラクターの顔立ちがさらに改善されるのか?が今後の課題です。
参考リンク
★ Krea AIを商用利用(YouTube広告収益なども含む)したいと考えている方は、この記事をよく読んで、リスクを理解した上で利用することをオススメします。
