見出し画像

ComfyUIでLTX-2.3のTTM IC-LoRAを試してみた

背景画像と人物画像を用意して、人物画像の移動の流れをノードに設定すると、人物が移動しながら、いい感じに人物が動く動画を生成できるLoRAがリリースされました。

Wan2.2 I2V 14B TimeToMoveを参考にしているみたいで、インプットは少しことなりますが、実現しようとしているのは同じです。


一応、これまでのLTX-2.3関連の記事も載せておきます。

I2V

I2V(VBVR LoRA)

FLF2V

FLF2V(Transition LoRA)

I+A2V

I+A2V(ID-LoRA)

V2V(ControlNet LoRA)

V2V(Colorizer LoRA)+追加モデル

V2V(cameraman LoRA)

V2VA(動画延長)

V+V2VA(動画結合)


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のカスタムノードをインストールして、ComfyUIを最新化してください。


モデル

ltx-2.3-22b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置

gemma_3_12B_it_fp4_mixed.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

TTM_IC-lora_ltx2.3.safetensorsをダウンロードして「ComfyUI\models\loras」に配置


ワークフロー

ワークフローは以下です。

以下のノードでインプットの画像と解像度・フレーム数を指定します。

以下のノードで人物の起動を指定します。
(正直コントロールするのがかなり大変です。おそらく本来あるべき機能が幾つか欠けています。)



生成結果

生成結果は以下です。
生成時間は約2分。
CPUメモリ:73GB
GPUメモリ:38.3GB=VRAM23.0GB+共有メモリ15.3GB

プロンプトが適当すぎて微妙ですね。
一応、動こうとはしてくれてますね。


感想

設定がかなり大変なので、そこが改善されれば、移動を強制したい動画生成には使えそうです。
個人的にはWan2.2のワークフローの方が使いやすく感じます。

いいなと思ったら応援しよう!