見出し画像

Krea AI|Train機能でDAZモデル動画から一貫性のあるキャラを学習し画像生成

一般的なLoRA学習では多くの画像や手間とPCリソースが必要ですが、今回はKrea AIのTrain機能を使い、動画から抜き出した3枚の画像フレームで学習し、一貫性のあるキャラ画像を生成してみたので紹介します。

学習したキャラによる生成画像例

元画像を動画フレームから用意

今回は以前の以下の記事で紹介している、Krea AIのリップシンクで生成したDAZモデルの動画から3フレームを抜き出しました。

Krea AI Train用 動画フレーム

画像を高画質化

3枚の動画フレーム画像をKrea AIの「Enhancer」機能で高画質化します。

Home > Enhancer
Enhancer > Upload

Upload」をクリックし、3枚の画像をアップロード。

Ehhancerに3枚の画像をアップロード

Prompt」には、日本語プロンプトをGoogle翻訳で英訳したものをコピーし、「Describe」をクリックして画像の特徴を追加。

Describe前

Facial images for character learning with Krea AI's Train
(Krea AIのTrainでキャラクターを学習するための顔画像)

Describe後

Facial images for character learning with Krea AI's Train. The image depicts a person with long, dark hair holding an object near their face, wearing a white shirt against a plain, neutral background.
(Krea AIのTrainを使ったキャラクター学習用の顔画像。この画像は、無地のニュートラルな背景に、長い黒髪の人物が白いシャツを着て、顔の近くに何かを持っている様子を描いています。)

object」を「iPhone」に書き換えました。

Facial images for character learning with Krea AI's Train. The image depicts a person with long, dark hair holding an iPhone near their face, wearing a white shirt against a plain, neutral background.
(Krea AIのTrainを使ったキャラクター学習用の顔画像。この画像は、無地のニュートラルな背景に、長い黒髪の人物が白いシャツを着て、顔の近くにiPhoneを持っている様子を描いています。)

Enhance」をクリックすると、10秒程度で完了。

Enhance後

画像の中央のスライダーを左右に移動すると、左側の高画質化前と右側の後との違いを確認できます。

高画質化 前

高画質化 前

左右を比較

左右を比較

高画質化 後

高画質化 後

実際にTrainで学習に使った後で、Enhanceのパラメーターについて検討しようかと思います。今回は、他の2枚の画像も同じプロンプトとパラメーターで行いました。

キャラクターを学習

Home > Train

Train」に移動します。

Train > 「Train a new model」

Train a new model」をクリック。

Imageを選択した状態で「Next Step」

Next Step」をクリック。

「Upload images 0/50」をクリック

Upload images 0/50」をクリック。

Train Image

Name」は「EG-Kin」とし、「Model」は「Flux」のままで、「Optimize for」は「Chraracter」に変更し、他はとりあえずデフォールトのままで「Train Image」をクリック。(246 CUを消費予定)

Train中

2分ほどで完了。

Train完了

学習キャラクターによる画像生成

デフォールトスタイル

「Generate」

マウスカーソルを左の学習画像の上に移動し「Generate」をクリック。

このまま右下のGenerateボタンをクリック

とりあえず、デフォールトのスタイル(プロンプト)のまま、右下のGenerateボタンをクリックしてみました。

4枚の画像生成結果

数秒で4枚の画像が生成されました。

生成画像

ちなみに、この時のプロンプトは以下です。

A young woman with short black hair, sitting on top of an eagles wing in the style of Rembrandt lighting, with detailed costumes in dark red and light gold, black background, digital illustration, minimalist realism, baroque lighting, chiaroscuro, flat background, hyperreal, dutch master influence, cinematic shadowplay, painterly realism, deep chiaroscuro folds, muted palette, staged formality, matte surface aesthetics
(レンブラントの照明スタイルで鷲の翼の上に座っている黒髪ショートの若い女性、濃い赤と明るい金色の詳細な衣装、黒の背景、デジタルイラスト、ミニマリストリアリズム、バロック照明、明暗法、フラットな背景、ハイパーリアリズム、オランダの巨匠の影響、映画の影絵、絵画的なリアリズム、深い明暗法の襞、落ち着いた色調、演出された形式、マットな表面の美学)

PNG image 1.26 MB 1024 × 1024 pix
PNG image 1.24 MB 1024 × 1024 pix
WEBP image 255 KB 1024 × 1024 pix
PNG image 1.22 MB 1024 × 1024 pix

数秒で4枚の画像が生成されたにしては十分な画質とキャラクターの一貫性を感じます。3枚の画像による数分の学習ですが、こだわらなければ、これで必要十分だと思います。

セーラー服の日本人女性(Flux.1 Krea)

以下の記事でKrea AIのノードを用いたワークフローでFlux.1 Kreaで生成した画像は以下です。

WEBP image 32.5 KB 768 × 1376 pix

トリガーワードによる画像生成(Flux)

これと同じプロンプトに「krea」というトリガーワードを指定して、プリーツスカートであることを明示し、以下のプロンプトとしました。

krea, a young Japanese woman wearing a winter sailor uniform with pleated skirt, is standing straight and looking directly at the camera with a neutral expression, doing nothing. The image is photorealistic with a solid gray background. Soft and neutral studio lighting illuminates her. The camera angle captures her full body.
プリーツスカートの冬用セーラー服を着た若い日本人女性、クレアは、まっすぐに立って、無表情でカメラを見つめ、何もしていない。この画像は、単色のグレーの背景を背景に、フォトリアリスティックな印象を与えている。柔らかくニュートラルなスタジオ照明が彼女を照らし、カメラアングルは彼女の全身を捉えている。

トリガーワード(Trigger Word)は、Trainで学習したキャラクターをプロンプト中で呼び出すためのもので、Trainページの「EG-Kin」を開くとわかります。(今回は「krea」)

Trigger Word > krea

左下の「Use with Flux」をクリックし、上記の英語プロンプトを貼り付けて、Fluxモデルで画像生成してみます。

Train > Use with Flux

サムネイル画像にマウスカーソルを移動すると下に表示される「Download all」をクリックしてZIPファイルをダウンロードし展開します。

PNG image 802 KB 768 × 1376 pix
PNG image 749 KB 768 × 1376 pix
PNG image 685 KB 768 × 1376 pix
PNG image 702 KB 768 × 1376 pix

スタイルの適用度を変更(Flux)

スタイルの適用度は80%なので、試しに50%に下げて試してみました。

スタイルの適用度 > 80%
スタイルの適用度 > 50%
スタイルの適用度 > 50%
PNG image 809 KB 768 × 1376 pix
PNG image 731 KB 768 × 1376 pix
PNG image 782 KB 768 × 1376 pix
PNG image 763 KB 768 × 1376 pix

適用度による変化は感じられませんでしたが、右手にスマートフォンを持っているような仕草が感じられる画像も含まれているので、学習した画像のポーズの影響も多少は現れるようです。

フォトリアルな画像生成

従来のプロンプトの末尾に「2k. high quality. detailed. cinematic lighting.」を追加し、画像生成してみました。

krea, a young Japanese woman wearing a winter sailor uniform with pleated skirt, is standing straight and looking directly at the camera with a neutral expression, doing nothing. The image is photorealistic with a solid gray background. Soft and neutral studio lighting illuminates her. The camera angle captures her full body. 2k. high quality. detailed. cinematic lighting.

Enhance x2

Enhanceの2xで高画質化した画像が以下です。

PNG image 4.11 MB 1536 × 2752 pix

トップスのシャツの襟が、学習に使ったモデルの襟周りとセーラー服の襟が重なっていたり、ソックスと靴が不自然だったりしていますが、Flux.1 Kontextなどで部分的に修正できるかを今後試したいと思います。

まとめ

Krea AIのTrainによるキャラクターの学習を、Dg WebGPU PlayerのDAZサンプルポージングモデルである「EG-Kin」のリップシンク動画から3枚ほどフレームをピックアップして試してみたので紹介しています。

3枚と最小限の枚数の画像から学習したキャラクターでも、こだわらなければ十分に実用的だと感じました。

今後は、Realtimeページで、Stable Defusionなどの「ControlNet」のようなポージング機能などを試してみたいと思います。

参考リンク


いいなと思ったら応援しよう!