見出し画像

ComfyUIでLTX-2のA+I2Vの専用LoRA(ltx-2-19b-ic-lora-lipdubbing)で高品質化

こちらの記事の改良版です。

↑の記事で触れていますが、LTX-2のI2V以下の対策をすることで、品質が向上すると考えています。

ltx-2-19b-distilled-lora-384.safetensorsは必ずを使う。
②安定しない時は、LTX-2-Image2Vid-Adapter.safetensorsを使う。
➂大きい動きの場合は、LTX-2-19b-IC-LoRA-Detailerを使う。
④プロンプトを改善する。

ただ、A+I2Vになると、②と③の対策はリップシンクの性能を劣化させることがわかりました。

今回、②と③の代替えとなるようなLoRAがリリースされたので、試してみます。

また、前回のワークフローだと、動画の延長部分が劣化していたので、こちらのワークフローを使うことで改善します。
(ワークフローの見た目は変わりますが、実際はltx-2-spatial-upscaler-x2-1.0.safetensorsが使っているという違いがメインです。)

https://www.reddit.com/r/comfyui/comments/1r09pt3/ltx2_full_si2v_lipsync_video_local_generations/

動画でも解説してます。


構築手順

以下のカスタムノードをインストールして、ComfyUIを再起動してください。


モデル

ltx-2-19b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置
ltx-2-spatial-upscaler-x2-1.0.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置

gemma_3_12B_it.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ltx-2-19b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ltx-2-19b-ic-lora-lipdubbing.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

MelBandRoformer_fp32.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置


ワークフロー

ワークフローは以下です。

この辺りで、インプットや設定値を設定します。

このLoRA達が重要です。
強度は記載のパラメータぐらいがいいと思います。


生成結果

生成結果は以下です。
VRAMは23.5GB、CPUメモリは86GB、生成時間は366秒でした。


感想

やっとこさ、LTX-2の生成を安定させながら、ローカルだとLTX-2にしかできない動画生成が整ってきた感がありますね。

何度も繰り返してしまってますが、めちゃくちゃ難易度が高いですね。


いいなと思ったら応援しよう!