LTX-2とQwen3-TTSでリップシンク動画を作るテスト

はじめに

LTX-2は軽量で高速な動画生成モデルですが、生成速度以上に魅力的なのは映像に加えて音声も生成されるところだと思います。
正直なところ、いくら音声がついてもカタコトの日本語だし、映像もWanVideoと比べるとあんまり綺麗に動かない印象もありますが、てっとり早くリップシンク（口パク）作りたい場合には意外と便利なのでは？と思って今回試してみました。

LTX-2の準備

準備と言っても大したことはありません。ComfyUI公式テンプレートに「LTX-2画像からビデオ」というワークフローがあるのでこれをクリックするだけです。

ワークフロー開いた際に足りないモデルがあればダウンロードを促されるため素直にダウンロードボタンを押せばOK。
ダウンロードしたファイルはそれぞれ、ComfyUI/models 以下の checkpoints / text_encoders / loras / latent_upscale_models ディレクトリに置けば良いだけです。

動画の元となる静止画は Z-Image Turbo で生成しました。Promptは「Anime illustration. A girl wearing a bear costume. She is waving hands.」

LTX-2のPromptは詳細に書かないと全然動いてくれないので、ChatGPTに相談して作ってもらいました。

A medium shot of an anime girl speaking to the camera.
She says in Japanese: "これはLTXのリップシンクテストですよー".
Accurate lip sync.
She is gently moving her upper body while speaking.
She naturally moves her shoulders and tilts her head.
Her hands are slightly gesturing in front of her.
Visible breathing motion in the chest.
Natural conversational body movement.
She is waving hands.
Static camera.

Qwen3-TTSの準備

LTX-2の音質が悪いことはわかりきっているので、合成音声も準備しておきます。いくつか選択肢がありますが、今回はDarioFT氏のComfyUI-Qwen3-TTSカスタムノードを使用。なんか、ComfyUIアップデートしたら1038lab氏とかのノード使えなくなっちゃったんですよね。なので、今回のテストで初めてこちらのカスタムノードを使いました。

インストール方法は上述のページに書いてあるとおりですが、うちはWindowsなので下記のような感じです。

.\venv\scripts\activate
cd ComfyUI\custom_nodes
git clone https://github.com/DarioFT/ComfyUI-Qwen3-TTS.git
pip install -r ComfyUI-Qwen3-TTS\requirements.txt

ワークフローは同ページにある voice_design.json を使わせて頂きました。

左のテキストボックスに台詞と声質の説明を入れるだけですね。
今回の台詞は「これはLTXのリップシンクテストですよー」で、声質は「落ち着いた少女のアニメ声。声は高すぎず、落ち着いた知的で、クールな印象。日本語を流暢に話す日本人。」としました。

右にある Qwen3-TTS Save Prompt ノードは声質を使いまわせるようにモデル化してくれるみたいです。
ComfyUI/models/Qwen3-TTS/prompts ディレクトリの下に自動で safetensor が作成されていました。

LTX-2の音声とQwen3-TTSの音声を合わせる

当然、LTX-2とQwen3-TTSで生成した音声はそれぞれ話す速度やイントネーションが異なるため、そのまま入れ替えてもリップシンクになりません。
そのため、Shotcutのタイムラインで音声波形を見ながらQwen3-TTS側の音声をカットしておおよその位置調整しました。

結果

左がLTX-2で素のままの音声。右がQwen3-TTSで合成した音声です。

ここまでやっといて何ですが、実用的かと言われるとウーンどうだろう。

先述のとおり、そもそもLTX-2の動画はWanVideoに比べるとちょっと動きが悪いなぁと感じるんですよね。今回作った動画でも手の指が一部欠けたりしてますよね。プロンプトを練れば安定するのだろうか？

速度はとても魅力的なんです。RTX 4070で、1280x780の4秒動画が、わずか140秒ほどで生成できます。これで動きが良ければ文句なしなんですけどね。現時点では、Wan2.2 S2Vで作ったほうが綺麗なリップシンクになるんじゃないかなぁと感じました。

V2Vだとまた違うのかな？　そのへんも試してみたいですね。