LTX-2のI2Vのアウトプットぐちゃぐちゃ問題

LTX-2がオープンソースとしてリリースされて時間が経ちました。
当時の構築手順は以下です。

ついでに、最初と最後のフレームを指定したワークフローも紹介してます。

とはいえ、LTX-2で動画生成すると、静止画やズームのみ、以下のようにぐちゃぐちゃになることがよくあります。

この問題について、完璧ではないですが、対応策を調査しました。

主に参考にした記事はこちらです。

https://www.reddit.com/r/StableDiffusion/comments/1q8590s/thx_to_kijai_ltx2_ggufs_are_now_up_even_q6_is/

ちなみに、このredditのページでは、T2Vのワークフロー（https://files.catbox.moe/flkpez.json）が紹介されていますが、こちらは試していません。

動画でも解説してます。

対応策

基本的には、以下の３つの対策になります。
①ltx-2-19b-distilled-lora-384.safetensorsは必ずを使う。
②大きい動きの場合は、LTX-2-19b-IC-LoRA-Detailerを使う。
➂プロンプトを改善する。

①ltx-2-19b-distilled-lora-384.safetensorsは必ずを使う。

distill loraは蒸留モデルのステップ数を削減しても、生成結果の劣化を抑えるのに利用しますが、今回の場合はシンプルに品質があがります。

これを使うと、かなりよくなります。
モデルの強度は0.2にしています。

強度を1.0にすると別の動画になります。

②大きい動きの場合は、LTX-2-19b-IC-LoRA-Detailerを使う。

品質向上用LoRAで、調べた感じだと、他のフレームを参考にして、上書きをするような補正をしてくれてるみたいです。

基本は非活性にしておいて、動画の動きが大きい時とかに使うのがいいのかもと思っています。

1とかにしたら、見た目はかなり固定されてる気がしますね。

➂プロンプトを改善する。

プロンプトによって、かなり生成結果が変わります。
①②のLoRAを使った調整をしても、まともに動かない場合は、プロンプトを見直してみてください。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

構築手順

以下のコマンドでインストールして、ComfyUIを再起動してください。

モデル

ltx-2-19b-dev-fp8.safetensorsをダウンロードして「ComfyUI\models\checkpoints」に配置
ltx-2-spatial-upscaler-x2-1.0.safetensorsをダウンロードして「ComfyUI\models\latent_upscale_models」に配置

gemma_3_12B_it.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ltx-2-19b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ltx-2-19b-distilled-lora-384.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ltx-2-19b-ic-lora-detailer.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ワークフロー

ワークフローは以下です。

生成結果

GPUメモリは、
サンプリング処理は28GB（VRAM23GB + 共有メモリ5GB）で、
VAE処理は37GB（VRAM17GB + 20GB）。
生成時間は、200秒でした。

プロンプトを改良しても、インプットがだめなパターンもあります。

gpt-image-1.5の絵柄だと、だいぶコントロールしやすいです。

A long silver-haired anime girl in gray casual shirt kneels by tranquil lakeside with one hand extended touching the water surface and other hand resting on her thigh gazing down at her reflection, she swiftly lifts her hand from water with fingers trailing water droplets, watches the droplets fall creating gentle ripples, then her lifted hand moves to brush through her long flowing silver hair bringing strands elegantly over her shoulder with natural feminine grace, fingers combing through hair near her face, simultaneously her other hand rises smoothly from her thigh to rest at her chest in tender gesture, head slowly lifting from looking down to turning toward camera with eyes shifting from watching water to making warm gentle eye contact, soft peaceful smile gradually spreading across her lips with serene contentment, knees adjusting position naturally, upper body straightening slightly, long silver hair catching golden sunset light reflecting off lake surface with brilliant shimmer and photorealistic individual strand detail, gray shirt maintaining soft casual fabric texture with realistic weave and natural wrinkle detail throughout motion, lakeside grass moving gently in breeze, photorealistic rendering preserved, tranquil sunset lakeside atmosphere

A long silver-haired anime girl in white button-up shirt and black skirt stands indoors with arms crossed over chest and eyes looking aside with cool composed expression near potted plant, she slowly unfolds her arms letting them fall naturally to her sides, right hand moving to rest at her hip with confident gesture while left hand rises to touch near her collar adjusting her white shirt with delicate feminine gesture, weight shifting naturally to one hip with body creating subtle elegant curve, knees drawing slightly closer together, head turning from aside to toward camera with eyes shifting from cool aside gaze to making warm inviting direct eye contact, soft knowing smile gradually forming across her lips with playful charm and hint of invitation, upper body leaning forward subtly toward camera with alluring gesture, fingers of left hand trailing from collar down slightly, long silver hair flowing over her shoulders catching soft natural window light filtering through with beautiful shimmer and photorealistic individual strand detail, white shirt maintaining crisp fabric texture with realistic button and collar detail throughout motion, black skirt fabric adjusting naturally maintaining form and realistic movement, photorealistic rendering preserved, soft indoor atmosphere with green plant leaves creating natural dappled shadows

どちらも、distill lora:0.2です。

感想

非常に難易度が高いモデルですね。
Wan2.1/2.2が出始めた時は、もう少し正解がわかりやすかったんですけど、プロンプトやインプット、設定でここまでブレるモデルは、やはり難しいです。