見出し画像

【神ワークフロー】LTX-Video 2.3で動画の一貫性を完全支配!Prompt Relayとマルチレフで意図通りの演出を作るハンズオン解説

どうも皆さん!最近暇があれば常に布団乾燥機をつけてます、 葉加瀬あい(ハカセアイ) です!

ちょっと最近、事業所の移転とか新規事業の準備とか、色々忙しいタスクが重なっちゃってて…なかなか更新できてなくてすみません💦
最近はワークフローの作りだめとかもしているので、5月後半はテンポよくやっていければと思います!

ということで、今回ご紹介するのは、 LTX-Video 2.3の「Prompt Relay(プロンプトリレー)」 になります!

https://gordonchen19.github.io/Prompt-Relay/  

AIで動画を作っていて、「カットごとにキャラの顔が変わっちゃう…」「背景が別の場所にワープした!」なんて一貫性の問題に悩まされたことはありませんか?
LTX 2.3のプロンプトリレー自体はちょっと前に登場した技術なんですけど、今回はただの紹介じゃありません!

今回はこんな感じで、複数の画像フレームを使って、

プロンプトリレーと一緒にフレームの指定をやったり、裏側でLLMを使ってリファインしたプロンプトで、 実際にどんな動画が作られているかをリアルタイムで確認 して、「あ、これダメなプロンプトだな」とすぐ気づけるような、究極の時短テクニックをお話ししていければと思います!  

まるで映画監督のように動画の展開をコントロールできる、超・実践的なワークフローをお届けします!  

ということで、今回お話しする内容はこんな感じです!

1.  動画の一貫性を完全支配する!Prompt Relayの衝撃的な仕組み
2.  複数フレームの制御と自動化!魔法の1クリック実行ワークフロー解説
3.  失敗を秒で防ぐ!リアルタイムプレビューと最適化の時短術

この記事を読めば、皆さんの動画制作は「運任せ」から完全に脱却します!

動画版はこちらからどうぞ!

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

https://www.youtube.com/%40AI-Hakase

それでは、本日もよろしくお願いします!


動画の「一貫性」を完全支配する!Prompt Relayの衝撃的な仕組み

さて、具体的なワークフローの解説に入る前に、今回の主役である 「Prompt Relay(プロンプトリレー)」 が一体どんな魔法を使っているのか、その凄さについてサクッと解説しておきます!

これまでAIで動画を作っていて、「カットが変わるたびにキャラの顔が別人になる…」「背景が急に別の場所にワープした!」なんて悔しい思い、皆さん一度は経験されたことがあるのではないでしょうか?実際、これまでのAI動画制作は、良くも悪くも“運任せ”な部分がとても大きかったんです。

でも、そんな課題を一瞬でかつ劇的に解決してくれるのが、この Prompt Relay技術 なんです!

なんといっても、 映画監督さながらにタイムライン(時間軸)に沿って、皆さんの意図通りの演出をコントロール できるんです!

実際、LTX-Video 2.3やWan 2.1/2.2など最新の動画生成AI界隈では、「動画の一貫性(コンシステンシー)」と「ストーリー展開の制御」を別次元に引き上げる、ものすごい仕組みとして使われています。


💡 核心技術①:最強の「二層構造プロンプト」

Prompt Relayの最大の魅力は、“AIへの指示文(プロンプト)を「全体」と「局所」の2つのレイヤーで管理する”という点にあります!

  • Global Prompt(全体指示):
    キャラクターの外見や服装、全体の照明や画風(シネマティック・アニメ調など)など、ビジュアルの軸となる要素をガッチリ定めます。これが動画の 「強靭な背骨」 となり、最初から最後まで一貫したビジュアルがずっと維持されます。

  • Local Prompts(局所指示):
    タイムライン上で、「歩く」「微笑む」「振り返る」といった具体的なアクションを、“このフレームで発生”と指示できます。

これにより、長大なプロンプトを入れるとAIが混ぜこぜになってしまう「時間の絡まり(Temporal Entanglement)」問題も解消!
特定のタイミングで特定の動きを、狙いどおりズバッと発生させることができるんです!


ここまで聞いて、ちょっとテキストだけだと分かりづらいと思われた方もいるかと思うのですが、具体的に実際のComfyUIの画面で見るとこんな感じになります。
「どの画像の時に、どんなプロンプトを、どのくらいの長さで入れるのか」といったことを、カスタムノードを使って視覚的に制御していく流れになります。  


💡 核心技術②:繋ぎ目を消す「時間的制御」と「ペナルティ処理」

「でも、途中で指示を変えたら、そこで動画が不自然に途切れたりしませんか?」
こう思われた方も、きっといらっしゃると思います! そこを解決するのが、以下の多層的な制御技術です。

  • Temporal Control(時間的制御):
    「いつ」「どのくらい長く」「どの順番で」イベント発生させるかをミリ単位でコントロールできます。

  • Boundary Attention Decay (Gaussian Penalties):
    動画の切り替え部(セグメント境界)でありがちなノイズやジャンプカットを、ガウス関数ペナルティでしっかり抑え、プロ級の自然なつながりを実現!

  • Cross-Attention Temporal Routing:
    時間経過に合わせて、AIが注目する特徴(アテンション)をスマートにバトンタッチ(ルーティング)!シームレスで滑らかな動きと物理挙動を維持したまま、次のアクションに移行できます。

まさにプロ編集マンが間を滑らかに繋いでくれたかのような、自然な仕上がりになるんです!  


💡 核心技術③:LLM連携による「プロンプトリレーの全自動化」

さらに、通常は「ここはこのプロンプト」「この画像にはこの動きを…」と手動で指定する必要があって、なかなか大変だったこのワークフローですが、  

今回の手法では裏側でLLM(大規模言語モデル)を動かし、面倒な設定工程を全自動化!

つまり、皆さんは複数の画像をポイポイっと入れて「どれを何秒表示したいか」だけ決めればOK。
AIがその流れを読み取って、パイプラインでプロンプト部分を作成し、完璧なリレー構成を自動で組み立ててくれます!  

手動で行っていた細かい手順もぜ〜んぶ自動化なので、圧倒的な時短と効率化が図れます!


💡 核心技術④:失敗を秒で防ぐ「リアルタイムプレビュー」

そして、ここが私的に一番嬉しい時短ポイント!
Logic部分に「サンプリングプレビュー」を搭載しています。

動画生成って時間もコストもかかるのに、出来上がりを見て「え、全然イメージと違う…」ってガッカリすること、あるあるですよね。

今回のワークフローだと、リレープロンプトの定義+サンプリングプレビューで、 生成途中の時点から今どんな動画になっているかをリアルタイムでチェック できちゃいます!  

なので、「あれ、このプロンプトちょっと違うな」「動きが想像と違うな」と思ったら、
その場で“×ボタン”で即キャンセル!
RunPodのクレジットや電気代、そして皆さんの貴重な時間も無駄にしません!


運任せから「意図した演出」へ!広がる活用シーン

「最初の3秒はこれ」「次の2秒はこれ」といった細やかな指示も、映画監督みたいに付けられることで、
ショートドラマや高品質な広告、さらにシネマティックPVなど、
コンテンツ制作の幅が一気に広がります!  

  • ショートドラマ制作: キャラを固定したまま、一連のストーリーを破綻なく描く

  • 高品質な動画広告: 音楽のビートに合わせて、特定タイミングで動きを変化

  • シネマティックPV: 複雑なカメラワークと一貫した世界観を両立

こうした技術を今のうちに習得すると、映像制作の効率やクオリティが段違い!
ライバルたちとの圧倒的な差別化につながります!  

実践解説:複数フレームの制御と自動化ワークフロー

ということでここからは、その 意図通りの演出を可能にする最強の「Prompt Relay」技術 を無料AIツールのComfyUIから簡単に使っていく方法について、ハンズオンで解説していきたいと思います!  

ここまでお話ししてきたように、何よりも、手動で行うと非常に複雑で面倒なPrompt Relayの設定を、LLM(大規模言語モデル)を組み込むことでパイプラインごと全自動化しました!  

複数の画像(マルチレフ)を読み込んで「どの画像を何秒表示するか」を指定するだけで、面倒なフレーム計算をAIが自動で行ってくれます。  

一貫性を保ちながらスムーズに繋がる動画を生成する手順を、ステップバイステップで分かりやすく紹介していきます!  

今回もローカル環境や、

Runpod などのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください!

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、皆さんもこの魔法のようなワークフローを体験して、自由自在な動画制作を楽しんでみてください!

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」「ワークフローファイル」 の2つをダウンロードしてください!

  •   ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です!ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

  •   【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v〇〇.ipynb」をセットでダウンロードしてください!

ここから先は

3,224字 / 24画像 / 4ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと8人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと10人募集中

この記事が気に入ったらチップで応援してみませんか?