見出し画像

ComfyUIでLTX-2.3のV2VAで動画延長を試してみた

音声付きの動画をインプットに、その動画を延長する動画生成です。

以下のワークフローをLTX-2.3向けに修正しました。

一応、これまでのLTX-2.3関連の記事も載せておきます。

I2V

FLF2V

I+A2V

V2V(ControlNet LoRA)

V2V(Colorizer LoRA)+追加モデル

動画でも解説してます。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のカスタムノードをインストールして、ComfyUIを最新化してください。


モデル

ltx-2.3-22b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置

ltx-2.3-spatial-upscaler-x2-1.1.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置
ltx-2.3-22b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

gemma_3_12B_it_fp4_mixed.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置


ワークフロー

ワークフローは以下です。

ここで、解像度とインプットにする動画のフレーム数を指定します。
544×960にすると、1つ目の動画(ワークフローの真ん中に表示されている動画)で540×960の動画、2つ目の動画(ワークフローの右下に表示されている動画)で1088×1920の動画が生成されます。

ここで最終的な動画の秒数を指定します。

右下のワークフローは、なくしてもよいですが、upscale的な処理をしています。


生成結果

生成結果は以下です。
生成時間は1つ目の動画生成の時点で5分、2つ目の動画生成時点で21分です。

CPUメモリ:83GB
GPUメモリ(1つ目の動画):28.9GB(VRAM22.2GB+共有メモリ6.7GB)
GPUメモリ(2つ目の動画):38.4GB(VRAM17.1GB+共有メモリ21.3GB)

1つ目の動画

2つ目の動画

ちなみに16秒から10秒に変更すると、12分で生成されました。


感想

日本語はひらがなである必要はありそうですね。
声も一応延長できてますし。

ワークフローについて理解できていないところもあるので、もう少し理解ができたら他のワークフローも試せるかもですねぇ。
いやぁ、汎用性が高い。

いいなと思ったら応援しよう!