【話題沸騰】一気にプロ級のAI動画になる！？いま世界中が驚愕している「LTX-Video 2.3 CrossView」のヤバい視点変更機能とComfyUIでの使い方を完全解説！

どうも皆さん！ 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、既存の動画のカメラアングルを自由自在に後付けで変更できる画期的な技術、 「LTX-Video 2.3 CrossView編集」 です！　　

これまでの動画生成AIでは、一度生成した動画の「視点」だけを変えるのは至難の業でした。しかし今回の技術を使えば、元の動画の被写体や背景を90〜95%維持したまま、「もっと右から」「下から煽って」といったカメラワークを自然言語のプロンプトだけでコントロールできるようになります。　　

例えるなら、撮影済みの映像の中に後からバーチャルなカメラマンを送り込んで、別アングルから撮り直してもらうような魔法の技術ですね！

ということで今回お話しする内容はこんな感じです！

1.　 2パス処理による「2K品質」超解像アップスケールと、全自動リサイズ＆フレーム計算の秘密
2.　 VRAM爆発を防ぐフレーム制限と、シーン切り替えに対応する「ターゲットフレームシステム」
3.　 英語の呪文は不要！Gemma 12B非検閲VLMによる「完全自動プロンプト」の仕組み

動画版はこちらからどうぞ！

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

それでは、本日もよろしくお願いします！

📌 一言で言うと何がすごいのか？

それで、まずは結局は何がすごいのかということについてなんですけども、一言で言うと、 LTX-Video 2.3 (22B) のポテンシャルを極限まで解放し、既存の動画素材の被写体や背景を90〜95%維持したまま、自然言語のプロンプトだけで「もっと右から」「下から煽って」といったカメラアングルを自由自在に後付け変更できる、革命的なAI視点制御技術 だということですね！

これまでは、アングルを変えるために素材から再生成（リテイク）する必要がありましたが、これからはAI上の後処理だけで、まるでバーチャルなカメラマンを配置したかのように映像制作の常識を覆すことができます！

🛠️ 技術的アーキテクチャとブレイクスルーの解説

一応、「なぜこんな魔法のような視点変更が破綻なく可能なのか？」という技術の裏側を深掘りしますと、まずはシステムコンポーネント構成が結構逸材な感じになっています。

1.　コアコンポーネントとシステム構成

本システムは、22B（220億）パラメータを持つ大規模ビデオ生成トランスフォーマー LTX-Video 2.3 を基盤モデルとし、テキストエンコーダーに Gemma 3 12B IT 、そして視点制御の心臓部となる IC-LoRA (Image-Conditioned Low-Rank Adaptation) を組み合わせた高度なVid2Vidパイプラインです。

2.　なぜこの性能が出るのか？

それでなぜこんな性能が出るのかについてなのですが、実際には大きく分けて2つの特徴があります。

その理由としてはこんな感じになってるんですけど、つまりは「元の映像の特徴を本当にしっかりと固定したまま、カメラの向き・距離などだけをAIがうまく切り替えてくれる」ということになります。

3.　性能評価・ベンチマーク

なので性能評価やベンチマークとしてもかなり優秀です。

🎬 圧倒的な視点制御を可能にするワークフローのポイント

それで、今回はそんな魔法のような技術を誰でも簡単に扱えるように、私が構築した実践的なワークフローのポイントを解説していきます！　　

今回のワークフローの実務に向けた6つの重要なポイントはこちらです！

具体的には、まず2パス処理で2K品質まで引き上げるアップスケール、面倒な計算を自動化するリサイズ＆フレーム計算、そしてVRAM爆発を防ぐフレーム制限——実務でつまずきやすい3つのポイントを押さえていこうと思います。

そしてその次に、日本語だけでカメラ制御ができる自動プロンプト、狙った場面だけを動かす部分適用システム、そして表現をさらに広げるI2Vやフレーム補間といった、より直感的で高度なコントロールを可能にする3つのポイントについて解説していきたいと思います。

ということでここからは、その LTX-Video 2.3 CrossView編集 を無料AIツールのComfyUIから簡単に使っていく方法についてハンズオンで解説していきたいと思います！

今回もローカル環境や

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います。

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください！

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、最高峰の映像制御環境をサクッと作って、次元の違うカメラワークの面白さを体験 してみてください！　　

ということで、ここからは私のNoteメンバーシップ「 あいらぼ（Ai-Lab） 」の入門者さん限定でやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います！

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！

• ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

• 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v36.ipynb」をセットでダウンロードしてください！