【実用解説】キャラシート1枚で背景ごと動かす！LTX-Video 2.3 × Multi-IC-LoRAで、自然なポーズトレースを行う実践ワークフロー【ComfyUI / DWPose（Union Control） / IC-LoRA (Ingredients) 】

どうも皆さん！最近LUSHで買ったポムポムプリンのボディソープがお気に入りです！ 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、LTX-Video 2.3の潜在空間で「キャラクターの容姿・服装・背景」と「緻密なポーズ制御」を同時に支配する、次世代の動画生成ワークフローです！　　

動画生成において、これまでは「顔を固定しようとすると動きが硬くなる」「複雑な動きをさせようとすると服や顔が別人に変わってしまう」といったジレンマがありましたよね。

ですが、今回の技術はそんな常識を根底から覆します！　　

なんと、たった1枚のキャラクターシートと、動きの元となる骨格データ（DWPose）を組み合わせるだけで、思い通りの人物を、思い通りの場所で、思い通りに動かすことが可能になっちゃうんです！　　

ということで、今回お話しする内容はこんな感じです！

• たった1枚の画像（キャラクターシート）で全てを固定する「Ingredients IC-LoRA」の威力

• ControlNet（Union Control）との悪魔的融合による完全ポーズトレース

• 4K解像度でもVRAMを爆発させない「Chunk Feed-Forward」の超最適化

動画版はこちらからどうぞ！

なお、Youtube では note の記事内容をわかりやすい動画に変換して公開しています！まだの方はぜひ noteのフォロー や YouTubeのチャンネル登録 もよろしくお願いします！

それでは、本日もよろしくお願いします！

LTX-Video 2.3の潜在空間で「キャラクターの容姿・服装・背景」と「緻密なポーズ制御」を同時に支配する、次世代の動画生成ワークフローです！

• 1.　たった1枚の画像（キャラクターシート）で全てを固定！　　

`LTX-2.3-22b-IC-LoRA-Ingredients` を活用し、顔のアップ、衣装、プロップ（小道具）、背景などを1枚の画像（リファレンスシート）にまとめて入力するだけで、AIがその要素を完璧に記憶してくれます！　　

動画内で激しく動いても、服のデザインや顔が別人に変わってしまう現象（ドリフト）を完全に防いでくれるんです。　　

ただし、注意点もあります！VRAM節約のためにGGUF形式で量子化の度合いを大きくしすぎると、どうしても情報の欠落があって一貫性が保てなくなる限界があります。

お使いのGPUスペックにもよりますが、できればGGUFでも品質の高い Q8モデルやFP8モデル以上 を使うことを強くオススメします！

また、LTX-2.3の学習データの特徴として、アジア人顔よりも外国人顔の方が綺麗に安定しやすい傾向があります。アジア人っぽい顔立ちに寄せたい場合は、別途アジア人顔に特化したLoRAを併用するとうまくいきます！　　

• 2.　ControlNet（Union Control）との悪魔的融合
  通常の動画生成では、リファレンス画像を入れると「元の画像のポーズ」に引っ張られてしまいがちですよね。ですが、`LTX-2.3-22b-IC-LoRA-Union-Control`（DWPose連携）を同時適用することで、「動きだけを別動画から完全にトレースする」という魔法のような制御が可能になります！　　

• 3.　4K解像度でもVRAMを爆発させない超最適化
  高解像度動画の生成は通常VRAMが足りずクラッシュしてしまいますが、`Chunk Feed-Forward`（バッチ分割処理）と `Tiled VAEDecode`（タイル状の分割デコード）を組み合わせることで、ミドルスペックPCでもVRAMを溢れさせずに、実務レベルの4K高品質動画を出力できるんです！

🛠️技術的アーキテクチャとブレイクスルーの解説

1.　コアコンポーネントとシステム構成

今回のシステムは、22B（220億）パラメータを持つ強力な動画モデル LTX-Video 2.3 に対して、役割の違う2つの IC-LoRA（Image-Conditioned LoRA） を同時にぶつけ、潜在空間（Latent Space）上でノイズをブレンドさせる高度なパイプラインになっています！

詳しいデータの流れとしてはこんな感じになります。

2.　技術的ブレイクスルー（なぜこの性能が出るのか？）

ここで、なぜこんなすごいことができるのか、簡単な説明をしておきます！こちらもスライドにまとめやすいように整理しました。

こんな感じでいろんな技術が使われてるんですね！

ということでここからは、その 「LTX-Video 2.3 キャラクター合成＆ポーズ完全トレースエディター」 を無料AIツールのComfyUIから簡単に使っていく方法について、ハンズオンで解説していきたいと思います！

今回もローカル環境や、

Runpodなどのクラウド環境のどちらでも動かせるようにやっていきたいと思います！

ちなみに、初心者の方や、「ComfyUIがちょっと難しそうで自信がないな…」という方のために、こちらでたった1クリックで使い始められる方法を解説していますので、よかったらぜひ参考にしてみてください！

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、1枚のキャラクター画像と動きの元になる動画を用意して、魔法のようなアニメーション制作を体験してみてください！　　

ということで、ここからは私のNoteコミュニティ「 あいらぼ（Ai-Lab） 」の入門者の方向けにやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

それでは実際に、こちらのワークフローを解説したり、ファイルをお配りしたりしていこうかと思います！

まずは、この先に表示されるNoteの専用リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！

• ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてみてください。

• 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v37.ipynb」をセットでダウンロードしてください！