見出し画像

Krea AI|Realtime編集用Trainで学習したキャラで画像生成&リアルタイム編集を試す

画像生成用Lora学習で作ったキャラはリアルタイム編集では使えなかったので、今回はFlux RealtimeでTrainしたキャラを用いて画像生成や編集を行ってみたので紹介します。

Stable Diffusionなどで使える「ControlNet > OpenPose」などと同様のことがフリーハンドのブラシツールによるお絵描きで実現???

Realtime Edit 中
Enhance 2x 後

Train Lora

学習準備

Train Lora

すでに、「EG-Kin」でDg WebGPU PlayerのDAZポージングモデルのLora学習を行っていますが、Realtime画像生成&編集では学習したキャラクターの顔にはならなかったので、Realtime用の学習ができるかを試します。

Train new Lora」をクリック。

Train new Lora 画面 > 「Next Step」

Next Step」をクリック。

Upload images 0/50

Upload images 0/50」をクリックし、前回で作成した学習用キャラクター画像3枚をアップロード。

EG-Kin for Realtime Edit

Realtime用Lora学習開始

Name」は「EG-Kin for Realtime Edit」とし、「Model」は「Flex Realtime」を選択。

Model > Flux Realtime
Trigger Word > EG-Kin-RT

Trigger Word」をデフォールトの「krea」から「EG-Kin-RT」に変更。

Train Realtime」をクリックしLora学習を開始。

EG-Kin for Realtime Edit Lora学習開始 > Pending
EG-Kin for Realtime Edit Lora学習開始 > Training

Realtime用学習 失敗例

EG-Kin for Realtime Edit Lora学習終了 > Failed

約3分ほどで終了しましたが「Failed」となり、失敗・・・

EG-Kin for Realtime Edit Lora学習結果 > Retry

マウスカーソルをサムネイル上に移動し「Retry」をクリック。

失敗の原因が不明なので、とりあえず「Optimize for」を「Default」のままとし、「Trigger Word」を「eg-kin」とシンプルにして再挑戦してみましたが、やはり失敗。

そこで、「Number of Images」が3枚では「Poor」と赤字になっているので、Lora学習用画像を7枚ほど追加し合計10枚にします。

Number of Images > Poor

追加用画像をEnhance 2xで高画質化しておきます。

追加の7枚のLora学習用画像をEnhance 2x

Train Realtimeに戻り、追加の7枚のLora学習用画像をアップロード。

追加の7枚のLora学習用画像をアップロード > Number of Images > Good
Trigger Word > eg-kin

Trigger wordを今回は「eg-kin」とシンプルに変え「Train Realtime」をクリックしましたが、やはり失敗。

10枚のLora学習用画像でTrain > 失敗

Realtime用学習 成功例

Steps」を最小の「25」で学習したことで成功しました。

Train Loraの開始画面で「Flux Realtime」「Private」「Showing Hidden」をセットし「Train new Lora」をクリック。

Train new Lora
Steps > 25

Steps」を最小値の「25」に変更し「Train Realtime」をクリック。(28 CUと消費量が少ない)

Steps > 25 > 学習成功

Stepsを25にすることでLora学習が成功。Stepsをどこまで増やすと良いか?は現状では不明ですが、このままRealtime編集をしてみます。

Realtime編集を試す

Generate

サムネイル上にマウスカーソルを移動し「Generate」をクリック。

Trigger Word > kreaのまま

前回のプロンプトがそのまま残っているので、トリガーワードが「krea」のままですが、それ以外のプロンプトや背景は右の画像に反映されています。

トリガーワードを、Realtime FluxでのLora学習時に設定した「EGKin」に変更してみましたが、右の画像には変化がありませんでした。

Trigger Word > EGKin

プロンプト右下のLora影響度を「0.02」と「1」で試しましたが、右側の画像の顔には影響はありませんでした。

影響度 > 0.02
影響度 > 1

Realtime編集を最初からやり直す

プロンプト

以下の記事の作例に使ったプロンプトのトリガーワードを「krea」から「EGKin」に変更して使用します。

PNG image 4.11 MB 1536 × 2752 pix

EGKin, a young Japanese woman wearing a winter sailor uniform with pleated skirt, is standing straight and looking directly at the camera with a neutral expression, doing nothing. The image is photorealistic with a solid gray background. Soft and neutral studio lighting illuminates her. The camera angle captures her full body.

ブラシで描画

Realtime編集 > ブラシで顔と髪を描いたリアルタイム編集結果

ブラシでとりあえず顔と髪をシンプルに描いてみると、それなりの画像が表示されました。Lora学習したキャラクターが概ね適用されていると思われます。

★ 「インターネット通信の状況が悪い」とかメッセージが表示され右側の画像が更新されないので、FAST.comで通信速度を計測すると250Mbps出ていたので、ブラウザーの再読み込みボタンをクリックすると、上記の表示になりましたが・・・

Realtime編集 > ブラシでセーラー服を追加
Realtime編集 > ブラシで腕と脚と靴を追加

脚を長く描いたつもりでも、右側の画像には反映されないので、プロンプトを以下のように変えて初期化。

EGKin, a young Japanese woman of average height, wearing a knee-length winter sailor uniform with a pleated skirt, stands facing the camera in a natural pose, facing forward at a 45-degree angle. The image has a photorealistic finish against a monochromatic gray background. Soft, neutral studio lighting illuminates her, and the camera angle captures her entire body. 4K, high quality, precise cinematic lighting.
(平均的な身長の若い日本人女性、EGKinさんは、膝丈のプリーツスカート付き冬用セーラー服を着て、自然なポーズでカメラに向かって45度の角度で立っています。モノクロのグレーの背景に、フォトリアリスティックな仕上がりになっています。柔らかくニュートラルなスタジオ照明が彼女を照らし、カメラアングルは彼女の全身を捉えています。4K、高品質、精密なシネマライティング。)

プロンプトを変えて初期化

Lora学習した顔と異なるので、いったんTrain Loraに戻ると、Previewが変化していました。

Train Loraに戻る

「Use Lora」を試す

今回は、右下の「Use Lora」をクリック。

Train Lora > Use Lora

横を向いているのでプロンプトに忠実ではありませんが、顔立ちはLora学習したキャラクターに近づきました。

プロンプトをシンプルに変えてみます。

EGKin, a young Japanese woman wearing a knee-length winter sailor uniform with a pleated skirt, stands in a natural pose, looking at the camera. Photorealistic. Light gray background. Soft, neutral studio lighting. Camera angle captures her entire body. 4K, high quality.
(膝丈でプリーツスカートの冬用セーラー服を着た若い日本人女性、EGKinは、自然なポーズでカメラを見ながら立っている。フォトリアリスティック。背景は明るいグレー。柔らかくニュートラルなスタジオ照明。彼女の全身が写るカメラアングル。4K、高画質。)

Model > Flex Realtime

プロンプト右下の「Seed」を何回かクリック。

Seedをクリック

Lora学習はされているようであり、キャラクターの一貫性は保たれています。

Lora学習の影響度を最小の「0.02」にしてみると、若年化しましたが・・・

Lora 影響度 > 0.02

今度は最大の「1」にしてみると・・・

Lora 影響度 > 1

この顔がLora学習の結果とみなせます。

Seed」をいくつか変えてみます。

Seedを何回かクリック 作例 - 1
Seedを何回かクリック 作例 - 2
Seedを何回かクリック 作例 - 3
Quick Enhance
Quick Enhance結果

試行錯誤の結果

プロンプトをシンプルにしてみます。

EGKin, a young Japanese woman wearing a knee-length winter sailor uniform with a pleated skirt. Photorealistic. Light gray background. Soft, neutral studio lighting. Camera angle captures her entire body. 4K, high quality. #1kmu1os3q

プロンプト > ブラシで描く

Canvas Background > Photos」から背景を選び、「Model > Flux Realtime」「AI Strength > 0」に変更。

Model > Flux Realtime, AI Strenght > 0

AI Strengh」を徐々に上げていくと・・・

AI Strength > 63
AI Strength > 70
AI Strength > 79
AI Strength > 90
AI Strength > 100

AI Strengh > 90」でLora影響度を0.71にして「Seed」を数回クリック。

AI Strength > 90, Lora影響度 > 0.71

Enhance 2x を行います。

Enhance 2x
Enhance後

ダウンロードした画像は以下です。

PNG image 4.32 MB 1664 × 2432 pix

今回はここまでとします。

残りのクレジット > 3,018

クレジットの残りは「3,018」なので、まだ余裕がありますが・・・

まとめ

Realtime編集用のLora学習したキャラクターを使ってリアルタイム画像生成と編集を試したので紹介しています。

今回は10枚の元画像を使い、「Steps」を最小の「25」で学習したことで成功しました。Stepsの値をもっと大きくして学習すると、Realtime編集で生成されるキャラクターの顔立ちがさらに改善されるのか?が今後の課題です。

参考リンク

★ Krea AIを商用利用(YouTube広告収益なども含む)したいと考えている方は、この記事をよく読んで、リスクを理解した上で利用することをオススメします。


いいなと思ったら応援しよう!