【完全自動化】画像と音声だけで本人が喋り出す！LTX-2.3『ID-LoRA』+ 非検閲Qwen 3.5 VLM プロンプト ＋ Qwen ASR で行う、究極のリップシンク神ワークフロー配布｜ComfyUI
どうも皆さん！最近人生で初めて夜桜に課金しました。 葉加瀬あい（ハカセアイ） です！
今回は、先日ご紹介して大反響だった「ID-LoRA」を、
https://note.com/ai_hakase/n/n7fed4f1863a1
誰でも簡単に、しかも最高品質で使いこなすための、 LTX-2.3『ID-LoRA』+ 非検閲Qwen 3.5 VLM プロンプト ＋ Qwen ASR を組み合わせた特製ワークフローをご紹介します！
「画像から喋る動画を作りたいけど、設定が難しそう…」
「英語のプロンプトを考えるのが面倒…」
そんな悩みを、このワークフローが 一発で解決 します！
また、SFWもNSFWも許可された非検閲版のQwen 3.5モデルを使用することで、AIによる安全フィルターが一切かからなくなります。
正直個人的にはあまりおすすめできない部分もございますが、その分「上着を脱がせる」「特定の体のパーツにフォーカスする」など、今までギリギリできなかったことも再現できるようになっていますよ！
ということで、今回お話しする内容はこんな感じです！
1. たった3つの入力で完結！超シンプルな基本操作
2. AIがプロンプトを自動最適化！VLM連携の秘密
3. ボーカル抽出から無音対応まで！魔法の1クリック実行ワークフロー徹底解説
（LTX-2.3『ID-LoRA』+ 非検閲Qwen 3.5 VLM プロンプト ＋ Qwen ASR）
この記事を読めば、皆さんは今日から「自分の分身」を自由自在に操れるようになります！
なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！
https://www.youtube.com/%40AI-Hakase
また、今回の動画版はレンダリングが終了し次第、こちらにて公開していますので、動画派の方はぜひご覧ください！
（すみません、これちょっと最後の方に声入っちゃってました🥲 今度最アプします。）
それでは、本日もよろしくお願いします！
前回の振り返り：「声は似てるけど、誰？」問題を解決したID-LoRAの衝撃
さて、具体的なワークフローの解説に入る前に、まずは前回お伝えした 『ID-LoRA』 という技術の凄さについて、サクッとおさらいしておきましょう！
https://note.com/ai_hakase/n/n7fed4f1863a1
前回の記事では、ついにLTX-2.3が一貫性を手に入れたということで、この最新技術がリリースされたその日に最速解説をしました。覚えていらっしゃいますか？
この技術は単なるマイナーアップデートではなく、AIアバター動画制作の パラダイムシフト でした。
その核となるポイントは以下の3つです。
1. 映像と音声の「完全同期」が生むアイデンティティ
これまでのように「映像を作るAI」と「声を作るAI」を別々に使うのではなく、LTX-2.3という一つのモデルの中で、 「この顔（参照画像）」と「この声（参考音声）」をガッチリと結びつけたまま同時に生成 します。
これにより、動画が進むにつれて別人に変わっていく…といったキャラクター崩壊が極限まで抑えられます。
2. 追加学習ゼロ（ゼロショット）の魔法
特定の人物の動画を何十本も用意して、何時間もかけてAIに学習させる必要はありません。
たった1枚の画像と、数秒の音声クリップを読み込ませるだけ で、
即座にその人のアイデンティティを反映した動画が作れてしまいます。
3. 商用トップレベルを凌駕する「声」の再現性
単に声質が似ているだけでなく、「話し方のスタイル（感情やトーン）」や「環境音（背景の音）」まで、指定したプロンプト通りに映像の動きとリンクして生成されます。
これは商用最高峰の「Kling 2.6 Pro」を凌駕するほどの圧倒的クオリティでした。
一言で言えば、ID-LoRAは 「偶然に頼るツール」から「皆さん自身の分身を意図通りに作り出すプロのエンジン」 へと進化したんです！
今回のアップデート：もっと簡単に、もっと安全に！
前回の記事は「最速解説」ということもあり、実験版の要素が強く、ID-LoRAを導入するためには「Transformersのバージョンを4.5.6に固定する」など、少し複雑な環境構築が必要でした。
そのせいで、 「ComfyUIの環境が壊れちゃった…」 という方や、 「以前紹介したQwen3.5のVLMプロンプトが使えなくなった😭」 という事態が起きてしまっていました。
https://note.com/ai_hakase/n/n7fed4f1863a1#313940a4-4bd8-4104-b191-ad5de593f076
しかも、要求されるVRAMは「少なくとも24GB、できれば48GB推奨」という、かなりハードルの高いものでしたよね。
そこで今回は、その強力なエンジンを大改造しました！
皆さんのいつものComfyUI環境を壊さずに使える！
たった16GB~24GB以上のVRAMから実行できる！
つまり、ライブラリの変更で生じてしまっていた「他の便利なカスタムノードが使えない」というデメリットを解消し、ComfyUI独自の画期的で使える技術を組み合わせてワークフローを自動化できるように補強したんです！
「ID-LoRA」のポテンシャルを極限まで引き出す理由
ID-LoRA単体でも、被写体の一貫性を保ちながらLTX-2.3の音声付きHD動画が生成できる素晴らしい技術です。
しかし、その真価を発揮するには、適切なプロンプト（指示出し）と、複雑な解像度・フレーム計算が必要でした。
今回のワークフローは、他の補強パーツ（Qwen3.5 VLMプロンプトやASRなど）を組み合わせることで、 面倒な作業をすべてAIに肩代わり させました。
これにより、ユーザーは「誰に」「何を喋らせるか」というクリエイティブな部分にだけ集中できるようになるんです！
具体的にどう進化したのか、3つのポイントをご紹介します。
1. VLMプロンプトによる「超・自動化」の証明
「英語のプロンプトを考えるのが面倒…」という最大の壁を取り払う機能です。
皆さんは 『画像』と『日本語の簡単な指示』を入れるだけ 。
あとは裏側で高性能AI（VLM）が働き、LTX-2.3が最も得意とする『物語性のある叙述的な英語プロンプト』を勝手に書き上げてくれます。もはや人間がプロンプトの呪文を考える必要はありません！
2. LTX-2.3特有の「面倒な計算」を全自動化
LTX-2.3は高画質ですが、設定が少し特殊でエラーが起きやすいという弱点があります。
「縦横のサイズは32で割って1を足した値」「フレーム数は8で割って1を足した値」にしないとエラーが出る…というマニアックなルールがあるのをご存知ですか？
今回は、その面倒な計算を 全てComfyUIのプログラムに肩代わり させました！
皆さんは好きな秒数を選ぶだけで、絶対にエラーにならない最適な数値を自動で弾き出してくれます！
3. Qwen ASRとVocal Only Optionによる「日本語口パクの最適化」
実は、LTX-2.3は英語のゼロショットTTS（音声合成）は得意なんですが、
日本語だと発話や口の動きがチグハグになりやすい という問題がありました。
これを解決するために、今回は 「Qwen ASR（音声認識）」 という技術を使って、アップロードした音声ファイルの内容を自動で文字起こしし、それをVLMプロンプトに組み込むというアプローチを取っています。
これにより、「このセリフの通りに喋ってね」とAIに正確に指示を出すことができ、日本語でも自然なリップシンクが実現します！
さらに！ミュージックビデオの制作などに使えるよう、 『アップロードした音楽からボーカル（歌声）だけを抽出してリップシンクさせる』 という神機能もオプションで組み込みました。これで、背景の楽器音に口が反応してしまう…という失敗もなくなります！
前回の知識を「知っている」状態から、今日で「誰もが使いこなせる最強の武器」に変えていきましょう！
本人が喋り出す！1クリック実行ワークフロー解説
お待たせしました！
理論とメリットはもうバッチリです！
ここからは、その革新的な技術である 『LTX-2.3 ID-LoRA』 を、
無料AIツールのComfyUIから簡単に使っていく方法について、ハンズオンで解説していきたいと思います！
今回私が特別にご用意した特製ワークフローは、 ローカル環境 はもちろん、
Runpod などのクラウド環境でも、どちらでも動かせるように調整してあります！
「ComfyUIって難しそう…」「環境構築でいつも挫折しちゃう…」
そんな初心者の方でも、こちらの記事で、たった1クリックで全ての準備が完了する魔法のような方法を解説しているので、自信がない方はぜひ参考にしてください！
https://note.com/ai_hakase/n/n9eb2265f98f7
ぜひ、皆さんもこの完璧な「デジタル分身」を作る感動を味わってみてください！
…ということで！
ここからは、私のNoteメンバーシップ 「あいらぼ（Ai-Lab）」 の入門者さん限定でやっていきたいと思います！
https://note.com/ai_hakase/n/ncdcda4208fd7
人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！
ワークフローのセットアップ手順
それでは実際に、こちらの特製ワークフローを説明したりお配りしたりしていこうかと思います！
まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！
ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、後述する「ipynb」ファイルを参考にセットアップを進めてください。
【推奨】Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダウンロードしてください！
ここから先は
この記事が気に入ったらチップで応援してみませんか？
