見出し画像

Krea AI|AI Face Swapで作った元画像を動画生成用LoRAの学習に使ってみた

Flux Realtime用キャラクターのLoRA学習に使った、DAZモデル動画から抽出した10枚のフレーム画像を、AI Face Swapで別のキャラクターに変えてLoRA学習し動画生成してみたので紹介します。

Krea LoRA Train > Miz Video

AI Face Swap

私の場合は、Pixlrを有料サブスクで使っているので、以下のAI Face Swapを使い、DAZモデル「EG Kin」の顔画像10枚を別のキャラクターに変更。

今回は、以下の記事などで紹介しているDAZモデル「Mizkey」をVideo用Lora学習キャラクターとして使いました。

Mizkey Face Transfer Shape 2 作例
Pixlr AI Face Swap
EGKin x Mizkey > Miz-Video

動画生成用 Train Lora

準備

Train Lora

Train new Lora」をクリック。

Video > Next Step

今回は「Video」を選択し、「Next Step」をクリック。

Upload images & videos 0/50

Upload images & videos 0/50」をクリック。

Wan 2.1 > Character > Steps: 200(min.) > Trigger Word: Miz

VideoのLora学習は「Wan 2.1」のみでした。

失敗事例

Optimize for」は「Character」、「Steps」は最小の「200」、「Trigger Word」は「Miz」とし、「Train Video」をクリック。(226 CUを消費)

Pending > 約12分
Faild

約12分で「Failed」となり、VideoのLora学習は失敗しました。

Learning Rate: 0.0001 > Trigger Word: miz

Name」を変更し忘れていたので「Miz Video」に変更し、「Steps」は「200」のままで、「Learning Rate」を最小の「0.0001」に変更し、「Trigger Word」を「miz」に変更して「Train Video」をクリック。
226 CUを消費)

すぐにFailed

数秒で「Failed」となり失敗。

成功事例

Steps: 500 > Learning Rate: 0.0006

デフォールトの「Steps > 500」「Learning Rate > 0.0006」のままで「Train Video」をクリック。(565 CUを消費)

Pending > Training: 約5分
Training > 学習完了 約5分

Pending」状態が約5分、「Training」状態が約5分で、学習時間は全体で約10分かかりましたが、一応成功しました。

動画生成事例(Lora学習キャラクター)

デフォールト & テスト用プロンプト

Use Lora

右下の「Use Lora」をクリック。

Video with Lora: miz

今回は開始フレームを使わず、プロンプトはテスト用に以下を使いました。

Video of a woman in miz character, she is a young Japanese woman standing in a natural pose wearing a winter sailor uniform with a knee-length pleated skirt, white knee-high socks, and black loafers. She sits on a living room sofa in the background, relaxing on it. Photorealistic. Soft, neutral studio lighting. Full-body frontal camera angle. 4K, cinematic.
mizというキャラクターの女性の動画。彼女は若い日本人女性で、膝丈のプリーツスカート、白いニーハイソックス、黒のローファーを履いた冬用のセーラー服を着て、自然なポーズで立っています。背景にあるリビングルームのソファに座り、くつろいでいます。フォトリアリスティックな映像です。柔らかくニュートラルなスタジオ照明。全身を正面から捉えたカメラアングル。4K、シネマティック。)

プロンプト > Lora影響度: 0.8(デフォールト)

プロンプトをコピーし、デフォールト(Lora影響度は「0.8」)のままで右下の「Generate」をクリック。

動画生成中
動画生成完了
生成動画を再生中

Lora影響度がデフォールトの「0.8」では、プロンプトで指示した「ソファーに座る」動作が反映されませんでした。

残りクレジット:2,249

この時点での残りクレジットが 2,249 と、やはりVideoのLoRA学習や動画生成にはかなりのクレジット(CU)が消費されるようです。

LoRA影響度: 0.02(最小値)

LoRA影響度: 0.02 > 動画生成中
LoRA影響度: 0.02 > 動画生成完了

今回はプロンプトに忠実に「ソファーに座る」が反映されていますが、LoRA学習の影響度は最小の0.02なので、キャラクターはほとんど反映されていません。

LoRA影響度: 0.5

LoRA影響度: 0.5 > 動画生成中
LoRA影響度: 0.5 > 動画生成完了

ソファーに座る」動作がスローモーションになっているせいか、完全に座る途中で動画が切れてしまいました。

LoRA影響度: 0.63

LoRA影響度: 0.63 > 動画生成中
LoRA影響度: 0.63 > 動画生成完了

LoRAキャラクターMizの顔立ちが反映されているようですが、動画としては微妙・・・

LoRA影響度を「0.7」まで上げると、「ソファーに座る」が反映されなくなり、立ったままになりました。

LoRA影響度の限界

LoRA影響度: 0.65 > 動画生成完了

0.65」まで下げてもソファーには座らなかったので、「0.63」が「ソファーに座る」限界のようです。

動画生成の場合はクレジットを大きく消費するので、テストしているうちにほとんどすべてのクレジット(月に5,000 CU)を消費してしまいました。

残りクレジット: 290CU / 5,000 CU/月

残りクレジットが 290 CU になったので、テストを中止しました。

まとめ

画像生成用LoRA学習に使った10枚の顔画像をAI Face Swapで別のキャラクターに変更し、それを用いて動画生成用LoRA学習を行い、LoRAキャラクターによる動画生成を試してみたので紹介しています。

今回の半日で、動画用LoRA学習と動画生成に多くのクレジット(約3,000 CU)を消費してしまい、Basicプラン(月額9ドル)で使えるクレジットをほぼすべて使い切りました。

画像生成は高速でクレジットの消費が少なく、ノードやLoRA学習が使えるのと、私のレベルでは必要十分な画質と意図に沿った画像が得られるので、コスパが高いと満足していました。

しかし、今回検証した動画生成では、それほどコスパが高いとは感じられず、使い勝手では現在実用的に使っているGoogle AIツールなどの方が使いやすいと感じています。

そこで、プランをアップグレードするのは止めて、現在のBasicプランもキャンセルしました。

今後は、今回体験し高速性と低コストかつ必要十分なFluxなどが使えるサービス(Flux Playgroundなど)や、Higgsfieldなどの動画生成もサポートしたサービスを試そうかと考えています。

参考リンク


いいなと思ったら応援しよう!