見出し画像

ComfyUIでLTX-2.3のI+A2Vを試してみた

LTX-2.3の音声付きI2Vですね。

一応、これまでに紹介したI2VとFLF2Vの記事も載せておきます。

動画でも解説してます。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のカスタムノードをインストールして、ComfyUIを最新化してください。


モデル

ltx-2.3-22b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置

ltx-2.3-spatial-upscaler-x2-1.0.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置
ltx-2.3-22b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

gemma_3_12B_it_fp4_mixed.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensorsをダウンロードして「ComfyUI\models\loras」に配置


ワークフロー

ワークフローは以下です。


生成結果

生成結果は以下です。

生成時間は242秒。
CPUメモリ:73GB
GPUメモリ:29.3GB(VRAM22.3GB+共有メモリ7.0GB)

一応リップシンクできていますね。

LoRAを使ってわざわざプロンプト補間をしているので、少しコントロールが難しいです。


ワークフロー②

別のワークフローとして、以下の記事で使っているMelBandRoformer_fp32.safetensorsを使ったワークフローも作ってみました。

このワークフローは、↑のワークフローで使っているLoRAでプロンプト補間せず、MelBandRoformer_fp32.safetensorsの機能でリップしています。

MelBandRoformer_fp32.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

ワークフローは以下です。

生成時間は326秒。
CPUメモリ:73GB
GPUメモリ:29.3GB(VRAM22.3GB+共有メモリ7.0GB)

こちらもちゃんとリップシンクされてますね。


感想

1個の目のワークフローはなぜリップシンクできてるんだ。。。
最初1個目のワークフローが安定しない気がしたので、2個目のワークフローを作成しましたが、リップシンクできている。。。
なぜ。。。

いいなと思ったら応援しよう!