見出し画像

ComfyUIでLTX-2.3のI+A2V用LoRA(ID-LoRA)を試してみた

画像と音声をインプットにした動画生成用のLoRAがリリースされました。

今回は2つのLoRAがリリースされており、それぞれの使い分けは以下です。ちなみにモデル名に記載されている3kですが、トレーニングを3,000step実施しているという意味みたいですね。

ltx-2.3-id-lora-celebvhq-3k.safetensors:ある程度動きにも対応している傾向にあるため、基本的にはこちらを使う。

ltx-2.3-id-lora-talkvid-3k.safetensors:AI Avater的な感じの用途の場合はこちらを使う。


また、ワークフローについては以下にあります。

ただ、以下のモデルを使う前提になっていて、「ComfyUI\models\text_encoders」で「git clone https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized」を実行して、モデルをダウンロードする必要があります。

普段使いのgemma-3-12bを使いたいので、今回は以下の記事で紹介したワークフローにLoRAを追加します。

一応、これまでのLTX-2.3関連の記事も載せておきます。

I2V

FLF2V

I+A2V

V2V(ControlNet LoRA)

V2V(Colorizer LoRA)+追加モデル

V2VA(動画延長)

動画でも解説してます。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

ComfyUIを最新化してください。


モデル

ltx-2.3-22b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置

ltx-2.3-spatial-upscaler-x2-1.0.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置
ltx-2.3-22b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

gemma_3_12B_it_fp4_mixed.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

gemma-3-12b-it-abliterated_lora_rank64_bf16.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ltx-2.3-id-lora-celebvhq-3k.safetensorsltx-2.3-id-lora-talkvid-3k.safetensorsをダウンロードして「ComfyUI\models\loras」に配置


ワークフロー

ワークフローは以下です。

LoRAを切り替える場合は、このノードのモデルを変更します。


生成結果

生成結果は以下です。生成時間は約5分です。
CPUメモリ:70GB
GPUメモリ:29.3GB(VRAM22.3GB+共有メモリ7.0GB)


CelebVHQ


TalkVid


LoRAなし


感想

LoRAがあることで、一貫性と自然さが向上してますね。
AI Avater系の動画であれば今回のLoRAを使うのがよさそうです。


いいなと思ったら応援しよう!