【動画生成AI】話題のFramePackを使ってみる！Gradio&ComfyUI

最近新しい技術を試せていないのですが、FramePackがすごい話題になっているのでこれだけは触らなきゃ！と思い試してみました。

既にいろいろな方が解説していますが、一応動かすことができたので私なりに紹介します。

✅メンバーシップの紹介

当メンバーシップは、最新のAI技術や情報を取り入れ、マネタイズや業務効率化につなげることが目的です。
インターネット上には膨大な情報がありますが、必要な情報を見つけて実行するには多くの時間と労力がかかります。
また、それらの情報が数万円で販売されていることも少なくありません。
その調査の手間を省き、厳選した情報を低価格で提供しています。
なお、私自身専門的な知識があるわけではないため、一緒に成長していけたらというスタンスです。
メンバーシップ（月額500円）に加入すると、一部の有料記事が読み放題です。最新のAI技術を素早くキャッチし、実践したい方はぜひご検討ください。

FramePackとは？

forgeなどをリリースしているlllyasvielさんが新しく開発した動画生成AI用のリポジトリです。
既にComfyUIのカスタムノードもリリースされて、そちらで使用することもできます。

こんな動画が作れます。

主な特徴は以下の通りです。

• 画像から動画生成

  • 1枚の画像をアップロードし、簡単なプロンプトを入力するだけ。

• 操作も簡単

  • パラメータもシンプルで初心者でも分かりやすい

• 最大120秒（2分）の動画が作成可能

• インストールも簡単

  • batファイルを実行するだけでインストールも起動も可能

• 低スペックPCでも動く

  • 最低6GBあれば動くとのこと

使われている技術について詳細はわかりませんが、次フレーム予測することで動きが滑らかになるそうです。
実際に5秒の動画を生成すると1秒ごとに処理されており、秒数ごとに動画も保存されます。

また動画の情報を圧縮してメモリの使用量を抑えており、これが6GBメモリでも動かせる理由になっているとのことです。

FramePackのインストール方法

Windows用のパッケージが配布されているので、Githubのリンクからダウンロードします。

https://github.com/lllyasviel/FramePack?tab=readme-ov-file#installation

※解凍には7-Zipが必要です。
https://7-zip.opensource.jp/

任意の場所に解凍してフォルダ内のupdate.batを実行してからrun.batを実行します。
先にupdate.batを行うのが重要と書かれているため、注意してください。

run.batを実行すると自動的にモデルなどがダウンロードされます。
※30GBほどあるそうです。

最後のgradioが起動すればインストール完了です。

FramePackの使い方

基本は画像取り込んで、プロンプトを入力するだけです。

大体5秒の動画で約20分くらいでした。

設定できるパラメータはそれぞれ以下の通りです。

・Use TeaCache：
チェックを入れると生成速度が上がるが、手や指が少し悪くなるそうです。

・Seed：動画のランダム性を制御

・Total Video Length (Seconds)：動画の長さ（秒数）

・Steps：何ステップで動画を生成するか
こちらは変更しないことが推奨されています。

・Distilled CFG Scale：プロンプトへの忠実度
こちらは変更しないことが推奨されています。

・GPU Inference Preserved Memory (GB) (larger means slower)
GPUメモリをどれだけ確保するか。ただし大きくすると生成速度が下がる。

・MP4 Compression
圧縮レベルを調整するパラメータ。低いほど高品質。0は非圧縮。
黒く出力される場合は16推奨。

ComfyUIでFramePackを使う方法

既にkijai氏がカスタムノードをリリースしており、ComfyUI上でFramePackが実行できます。

事前にComfyUIやモデルの準備が必要ですが、wan2.1でもアップスケールとか動画ぬるぬるにするやつとか組んでる人がいたので、他に必要な処理を一括で行いたいって場合はComfyUIの方が自由度は高いかもしれません。

インストールがまだの方はこちらを参考にしてください。
あとComfyUIは最新版にアップデートしておいてください。

・ComfyUI

・ComfyUIManager

ComfyUI-FramePackWrapperのインストール

Managerから検索してインストールか、

検索で出るのはkijai氏のではなく別の方のものでした。一応FramePackを使うカスタムノードではあるみたいですが、kijai氏のカスタムノードを使う場合はクローンしてください。

ComfyUI\custom_nodesにクローンします。

git clone https://github.com/kijai/ComfyUI-FramePackWrapper.git

クローン後はComfyUIを起動してアップデート、またはpython_embededに移動してから依存関係をインストールします。
※パスを自身の環境に合わせてください。

cd ComfyUI_windows_portable\python_embeded
python.exe -m pip install -r ..\..\custom_nodes\ComfyUI-FramePackWrapper\requirements.txt

・モデルの用意

CLIP

・clip_l.safetensors

・llava_llama3_fp8_scaled.safetensors

パス

ComfyUI\models\clip

CLIP_VISION

・sigclip_vision_patch14_384.safetensors

パス

ComfyUI\models\clip_vision

VAE

・hunyuan_video_vae_bf16.safetensors

パス

ComfyUI\models\vae

transformer model

ここは実行時に自動ダウンロードできます。事前に手動でセットも可能です。

・FramePackI2V_HY_fp8_e4m3fn.safetensors

・FramePackI2V_HY_bf16.safetensors

パス

ComfyUI\models\diffusion_models

サンプルワークフローもカスタムノード内に入っています。

ComfyUI\custom_nodes\ComfyUI-FramePackWrapper\example_workflows

Githubからダウンロードも可能です。

https://github.com/kijai/ComfyUI-FramePackWrapper/blob/main/example_workflows/framepack_hv_example.json

ComfyUIを起動してワークフローをD&Dすれば読み込めます。
もし赤いノードがあったらManager→Install Missing Custom Nodesで対象のカスタムノードをインストールしてください。

ノードの設定&実行

・Load Image

動画の元にする画像を取り込みます。

・CLIP Text Encode (Prompt)

どう動かしたいかプロンプトを入力します。

・Load CLIP Vision

sigclip_vision_patch14_384.safetensorsを指定します。

・DualCLIPLoader

clip_l.safetensorsとllava_llama3_fp8_scaled.safetensorsを指定します。

・Load FramePackModel

手動でダウンロードしたモデルを使う場合は、transformer modelのところでダウンロードしたものを指定します。

処理時に自動でモデルをダウンロードして使う場合は、(Down)Load FramePackModelをON（Ctrl+B）にしてFramePackSamplerにつなぎます。

Load VAE

hunyuan_video_vae_bf16.safetensorsを指定します。

Find Nearest Bucket/Image Resize

おそらく画像サイズはここで変えられます。ただどういう処理になるのかちょっとわかりませんでした。

FramePackSampler

その他のパラメータを調整できます。
動画の長さはtotal_second_lengthで指定した秒数分の動画になります

Video Combine

フレームレートとか保存設定をいじれます。
動画はノード上で右クリック→save previewで保存可能ですが、outputに自動保存したい場合はsave outputをtrueにしてください。

実行

これで実行すれば処理が開始されます。
Gradioの方とSTEP数などは違いますが、大体1秒約4分程度で処理時間はほぼ同じでした。
あとTeaCache使ってないからか指はこっちの方が綺麗かもです。

以上FramePackの使い方をご紹介しました。

当サークルではこのようなAIに関するさまざまな情報を発信しています。
メンバーシップに加入して頂くと一部の有料記事は読み放題です。
AI技術の向上、マネタイズ方法などに興味がある方は、ぜひご検討ください。

もしこの記事が少しでも役に立った場合は、いいねやフォローして頂けると励みになります。
最後まで読んでいただき、ありがとうございました。