見出し画像

ComfyUIでLTX-2.3のTransition LoRAを試してみた

LTX-2.3用のシーン切替のような動画向けのLoRAがリリースされました。
T2V / I2V / FlF2Vなどで利用できます。

ワークフローは以下にありま。

ただ、もともと試していたFLF2Vのワークフローが、最初と最後のフレームが大きく違うと、あまりいい感じに動いていなかったので、そのワークフローにLoRAを追加する形で検証します。

一応、これまでのLTX-2.3関連の記事も載せておきます。

I2V

FLF2V

I+A2V

I+A2V(ID-LoRA)

V2V(ControlNet LoRA)

V2V(Colorizer LoRA)+追加モデル

V2VA(動画延長)

動画でも解説してます。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のカスタムノードをインストールして、ComfyUIを最新化してください。


モデル

ltx-2.3-22b-dev.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置
ltx-2.3-spatial-upscaler-x2-1.0.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置
ltx-2.3-22b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

gemma_3_12B_it_fp4_mixed.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ltx2.3-transition.safetensorsをダウンロードして「ComfyUI\models\loras」に配置


ワークフロー

ワークフローは以下です。


生成結果

生成結果は以下です。
生成時間は4分。
CPUメモリ:94GB
GPUメモリ:50GB(VRAM21GB+共有メモリ29GB)
でした。


LoRAあり(upscale前:ワークフローの画像の右側の動画)


LoRAあり(upscale後:ワークフローの画像の左側の動画)


LoRAなし


LoRAなしだと、画面の切り替えというよりは、2枚の画像が順番に表示されるだけの映像になっています。

LoRAありだと少し動きのある映像になっています。
ただ、upscaleについては、最初の画像の影響を受けているのか、少し後半の映像の絵柄がおかしくなっている気がします。
upscaleはない方がいいですね。

また、動画の最後の方に崩れたフレームが数フレーム生成されていますが、こちらは生成後に削る方が早いと思います。


感想

シーン切り替えが必要な場合は、このLoRAは必須と思います。
この点に課題をもってLoRAを作っている開発者がすごいですね。

いいなと思ったら応援しよう!