【初心者向け】Hunyuan VideoのI2V入門！必要なもの、モデル導入、プロンプト設定まで😊ComfyUIでImage-to-Videoを実現👍
どうも皆さん！「今度飲みに行きましょう！」って言って、その後LINEを送るタイミングを永遠に逃し続ける、 葉加瀬あい（ハカセアイ） です！
今回は、HunyuanVideoを使って、テキストや画像から高品質な動画を生成する方法について解説します！
動画生成って、難しそうだし、時間もかかりそう…と思いますよね？高画質な動画を作ろうとすると、高性能なPCが必要だったり、設定が複雑だったり…。そもそも、どんなモデルを使えばいいのか分からない！とお悩みの方もいるのではないでしょうか？
実は、HunyuanVideoとComfyUIを組み合わせることで、誰でも簡単に、しかも高品質な動画を作成できるんです！
参考: https://tinyurl.com/28pd4n3g
さらに、今回は低スペックのPCでも動画生成を可能にする方法も紹介します！
ということで今回お話しする内容はこんな感じです！
① HunyuanVideoとは？他のAI動画モデルとの違いや、得意・不得意なこと、基本的な使い方を徹底解説！
② Image-to-Video機能は使える？LeapFusionやLTX Videoとの連携方法と、注意点を紹介！
③ 低スペックPCでも大丈夫！GGUFモデルロードを使って、ComfyUIでHunyuanVideoを動かす方法を大公開！
それで、私の メンバーシップ に入門されている方は、いつものように記事内容を 『動画』 で見ることができます！
動画版は、こちらのURLからご覧ください！
https://note.com/ai_hakase/n/nef287fd05043
それから、Noteのメンバーシップ の入門者さんには 質問対応 なども行っていますので、感想や質問などありましたら、できれば Xのリプライ で教えてください！
XのDM や Noteのコメント でも構いません🙆♀️
※ 質疑応答の際は 『NoteのID + 質問したいNote記事のURL』 を添えてください。
それでは、本日もよろしくお願いします！
Hunyuan Videoとは？
ということでちょっと知らない方もいるかもしれないんですけど、そもそも、Hunyuan Videoは、テキストによるプロンプトに基づいて動画を生成するAIモデルです。
130億のパラメータを持つモデルを使用し、テキストの説明を24フレーム/秒の動画シーケンスに変換します⋯！
最大1024x576ピクセルの解像度で動画を生成でき、VRAMの容量に応じて画質を調整できるとのことです。カメラアングルの調整、シーン構成の設定、照明の強度制御、背景の変更など、シーンを制御する機能も備わっているのはすごいですよね。
Hunyuan Videoは、自然言語を効果的に処理し、シーンの説明に基づいて正確な照明、影、反射を生成します。
ただ、今までテキストからしかこういった動画が生成できない（Image-to-Video機能がなかった）のが課題でした。
詳しくはこちらの記事で解説をしておりますので、よかったら見てみてください。
https://note.com/ai_hakase/n/n6ad43ba02768?magazine_key=ma5812eb86d3b&from=membership-magazine
Hunyuan Image-to-Video
それで、今回ご紹介するHunyuan VideoのImage-to-Video機能に関してですが、公式のモデルやワークフローは現在のところまだ出ていないようです。
そのため、ユーザーが既存の技術を組み合わせたり、企業が非公式にリリースしたものなど、サードパーティー製のワークフローやモデルを利用することになります。今回は、その中でも特に注目されているLeapFusionとLTX Videoをご紹介します。
LeapFusionとLTX Videoの比較
LeapFusionとLTX Videoのどちらが クリーンな動画を生成できるか 、という点についてですが、結論から言うと、 LeapFusionとHunyuan Videoを組み合わせた方が良い結果になる ようです。それぞれの特徴を見ていきましょう。
1. LeapFusion + Hunyuan Video (i2v)
LeapFusionは画像から滑らかな動画を生成でき、安定した品質が期待できます。Hunyuan Videoとの組み合わせでは、 クリーンな動画生成に優れている とのことです。
参考: https://tinyurl.com/28pd4n3g
ただし、LeapFusionはパラメーターの調整が比較的必要になるようです。
このメソッドでは、拡散プロセス中に潜在情報を注入するために「LeapfusionHunyuanI2V Patcher」ノードを使用します。
index、start_percent、end_percent、strengthなどのパラメータを調整して、潜在情報の注入とアーティファクトのバランスを制御できます。
2. LTX Video + Hunyuan Video (i2v)
LTX Videoは低フレームレートでの動作が不安定で、10秒程度の動画生成時にも安定せず、品質が劣る場合があるとのことです。
Hunyuan VideoはI2V（画像から動画）に正式対応しておらず、実験的なワークフローが作られている段階です。
最近の研究では、LTX VideoとHunyuan Videoを組み合わせた実験的I2Vワークフローが報告されていますが、Hunyuan VideoはI2Vへの正式サポートを持っていないため、 期待通りの結果を得ることが難しい状況 のようです。
このアプローチは、テキストから動画を生成するためにLTX VideoとHunyuan Videoを組み合わせます。
ユーザーの報告によると、LTXとHunyuanを並行して実行することは可能ですが、理想的ではありません。主な問題は、LTXが低フレームレートを上手く処理できないのに対し、Hunyuanは12-15 FPSでより良いパフォーマンスを発揮することです。
結論 : LeapFusionの方が安定感があり、クリーンな動画を生成する可能性が高いです。ComfyUIで適切なパラメータ調整を行いながらHunyuan Video (i2v)のみを使用する方が、LTX Videoと組み合わせるよりもクリーンで安定した動画出力が得られる可能性が高いでしょう。
ということで、今回はLeapFusionの方をメインに解説をしていきたいと思います。
Hunyuan Videoの制限事項
Hunyuan Videoには、いくつかの制限事項がありますので、留意しておきましょう。
Hunyuanは、複雑なキャラクターのインタラクション、詳細な顔の表情、テンポの速いアクションシーン、複数のキャラクターが登場するシーンで課題があるとのことです。
動画の長さは16秒に制限されており、より長い動画を作成するには複数の生成が必要になります。また、フレームごとの編集、直接的なカメラパスの制御、オーディオの生成、リアルタイムのプレビュー調整にも制限があります。
Hunyuan Videoは8GB VRAMのNVIDIA GPUでも動作すると報告されていますが、主にRTX4090（24GB VRAM）でテストされています。生成時間は848x480の73フレームの動画で、RTX4090で約4.5分、Google Colab（L4）で約11分です。
今回の生成に関しては、 VRAM12GB以上のミドルスペックのPCをお持ちでない方 は、基本的にはGoogle Colab、Paperspace、Runpod、Mimic PCなどの クラウドサービスを利用する のがよろしいかと思います。
ワークフローのご紹介
私が作成したワークフローがあるので、基本的にはこれを使用して動画生成をやっていきたいと思います。
Hunyuan Videoの動画生成でキャラクターを作る場合は、Reactorノードといってフェイススワップを行った方が顔の一貫性が保たれやすいのですが、今回はReactorノードの追加は特にやっていません。
最近Reactorノードの開発コードが少し不安定なので、今後ご要望などがあれば追加していきたいと思います。
Leapfusion Hunyuan Image-to-Videoとは？
それでは、これについて少しだけ補足させていただきます！
Leapfusion Hunyuan Image-to-Videoは、Hunyuan Videoを基に、Leapfusionという企業が開発した Image-to-Videoモデル です。
Hunyuan Image-to-Videoは、従来のText-to-VideoモデルやVAEでは動作しないことがあるようです。
そのため、 対応しているモデルを別途用意する 必要があります。
モデルのダウンロード方法などにつきましては、後ほどご説明いたします！
ComfyUIのご紹介
今回は、 ComfyUI という画面を使って画像の生成を行います。
ComfyUIの詳しい使い方について
もしComfyUIの使い方などがよくわからない場合は、こちらの記事で詳しく解説していますので、ぜひご覧ください！
https://note.com/ai_hakase/n/n5486e3a98997
クラウド環境でのComfyUI利用について
先ほどもお話ししたように、今回は、VRAM 12GB程度のミドルスペックのPCで動作することを想定しています。
ですが、高性能なPCをお持ちでない方でも大丈夫です！ クラウド環境 で、しかも 無料 で使う方法をこちらの記事で解説していますので、ぜひチェックしてみてください！
https://note.com/ai_hakase/n/ne08c4daf6971
AI初心者さん向け情報のご案内
AI初心者さん向けに 「AIはじめましてセット」 というマガジンリストも作成しています！
「まず1から始めてみたい！」という方は、こちらの記事もチェックしていただけると嬉しいです！
ComfyUIの起動
ComfyUIを、先ほどご紹介したURLなどを参考に、立ち上げておいてください！
もしComfyUIをすでにダウンロード済みの方は、そのまま起動していただけると助かります…！
ローカル環境でのComfyUI活用術：Stability Matrixのご紹介
それで今回、私は Stability Matrix を使用してローカル環境、つまりご自身のPCからComfyUIを利用していきます。
クラウド環境からComfyUIを使う方もいらっしゃるかもしれませんが、基本的には、皆様と画面の挙動などは同じかと思います。
もし何かエラーなどが発生した場合は、Noteのメンバーシップにご加入いただいている方限定で質問対応を承っております。お気軽にXのDMやNoteのコメント欄でお知らせいただけると幸いです…！
ComfyUIのバージョンについて
ComfyUIは 最新版にアップデート しておいてください。
本来はGit pullなどでバージョンを最新にする必要があるんですが、私の使っているStability Matrixの場合は、更新ボタンを押すだけで最新版にアップデートすることができます。ご自身の環境に合った方法でアップデートをしていただけますと幸いです。
クラウド環境からの利用方法の場合の、ワンクリックでのアップデート方法はこちらに掲載されています。
https://note.com/ai_hakase/n/ne08c4daf6971
各種モデルのインストール
それでは、まずはモデルのインストールの部分からやっていきましょう。モデルにつきましては、こちらのURLからダウンロードしてください。
Videoモデル
ダウンロードしたモデルは、 ComfyUI/models/diffusion_models に配置してください。
こちらのモデルは、こちらの Video Model Loader の部分で使用します。
ちなみに、GGUFモデルが使えるのかどうかということについてですが、kijai様曰く、どうやらサポートする予定はないとのことです。詳細はこちらに載っています。
Clipモデル
次に、Clipモデルになります…！Clipモデルに関しましては、一応自動でダウンロードされるようになっているんですが、そのダウンロードに結構時間がかかります。あまり時間をかけたくない方は、こちらからダウンロードをお願いいたします。
llava_llama3_fp8_scaled.safetensors を ComfyUI/models/text_encoders に配置してください。
Clipモデルはこちらからもダウンロードできます。
ComfyUI/models/text_encoders に配置してください。
なお、こちらに関しても、こちらのノードで 使用 していきます。
VAE の配置
次に、VAE (Variational Autoencoder) です！こちらは以下のURLからダウンロードしてください。
VAE： hunyuan_video_vae_bf16.safetensors をダウンロードしてください。
ダウンロードしたファイルは、 ComfyUI/models/vae に配置をお願いします。
こちらも後で、以下の部分で適用していきます。
LoRA の配置
そして、LoRA (Low-Rank Adaptation) です。Image to Image を行う際に必要になるので、こちらも忘れずにダウンロードしてください！
ダウンロードしたファイルは、 ComfyUI/models/lora に配置してください。
こちらも、後ほど適用していきますので⋯！
ワークフローのインストールと適用方法
ファイルの準備ができたら、早速ワークフローをインストールして、実際に動かしてみましょう！
ワークフローのダウンロード
今回のワークフローはこちらからダウンロードできます。
ここから先は
この記事が気に入ったらチップで応援してみませんか？
