見出し画像

ComfyUIでLTX-2のAudio + Image 2 Videoを試してみた

LTX-2で音声と画像をインプットに動画を生成するワークフローが公開されてました。
大した理由ではないですが、機材的に音声系はモチベーションが湧かず、少し前のワークフローになります。

https://www.reddit.com/r/StableDiffusion/comments/1q627xi/kijai_made_a_ltxv2_audio_image_to_video_workflow/

LTX-2は、プロンプトやモデル、ワークフローが難解で、ローカル動画生成というものの難易度の高さを感じさせられる代物です。

これまで、I2Vについてはかなり改良を重ねており、見た目についてはかなり安定した動画生成が可能になっていますので、以下の記事も興味があればご覧ください。

↑の記事で紹介している対策は、以下の4つです。

ltx-2-19b-distilled-lora-384.safetensorsは必ずを使う。
②安定しない時は、LTX-2-Image2Vid-Adapter.safetensorsを使う。
➂大きい動きの場合は、LTX-2-19b-IC-LoRA-Detailerを使う。
④プロンプトを改善する。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のコマンドでインストールして、ComfyUIを再起動してください。


モデル

ltx-2-19b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置

gemma_3_12B_it.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ltx-2-19b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

LTX-2-Image2Vid-Adapter.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ltx-2-19b-ic-lora-detailer.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

MelBandRoformer_fp32.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置


ワークフロー

ワークフローは以下です。

ここで、解像度とフレーム数を指定できます。

ここのdurationで、インプットの音声から利用する音声の長さを指定し、動画のどのフレームから音声を開始するかを、start_timeで指定します。


生成結果

GPUメモリは29GB(VRAM23GB+共有メモリ6GB)で、生成時間は400秒でした。

リップシンクのタイミングは制御が難しいです。
また日本語だと、口の動きと音声がバッチリあってる気がしないですね。

(2026/02/10追記)

LoRAはdistill LoRAのみの方がよさそうです。
0.2とかよりも、0.6ぐらいの方が安定している気がします。


感想

リップシンク用途で使えるか、もう少し研究したいですねぇ。
とりあえず、LTX-2関連のワークフローはできるだけ漁ろうと思っています。

いいなと思ったら応援しよう!