Gradio - FramePack による動画生成を試してみました。

2025/04/22（火）の午前中、いつも当方の記事にコメントを頂いている
sunset 様の記事を拝見して、Gradio - FramePack を当方も試してみました。

（有益情報の公開に感謝します）

その記事の中に導入方法に関して詳しい記事を紹介されているとの
AI愛create 様の記事を検索して拝見しに行き、それに沿って導入を
しました。ComfyUI での導入は現存の環境に手を入れたくないため
記事前半の Gradio 環境下で動くものだけ試してみました。

手順が丁寧に紹介されているので、導入をされる方はこの記事をご参考
に為さってください。（有益情報の公開に感謝します）

ちょうど Pinokio - CogStudio のような構造のようです。
ダウンロードしたものを解凍のうえ、まず update.bat を実行してから
run.bat を実行しました。 

かなり時間を要しましたが、 gradio が無事起動しました。
（次回起動時はやっぱり run.bat で良いのかな？…良いみたいでした。）

当方の動画生成用基準画の一つをロードして、その下にプリセット
されていたプロンプトを Prompt 欄にドラッグして Start Generation を
押しました。

The girl dances gracefully, with clear movements, full of charm.
（少女は優雅に、澄んだ動きで、魅力たっぷりに踊る。）

GPU VRAM 6 GB を処理のために確保したとの一行が出ました。
「10 GB 以下で動く」を標榜する CogStudio の上を行きますね…。

処理は終わったようでしたが….。

おっとさらに処理が動いたようです。

うわわ…。

Adobe Express で GIF 化したものを貼り付けます。

あらら…。プロンプトを真面目に記述すればよかった。
原画と原画内の彼女に申し訳ない気がします。
理知的な未来の科学の最前線でこのキャラクタに何をさせているのかと….。
正直、この結果を見た時に自身にではなく、技術とそれが実現させた現実に
酷く深く落ち込む気分を禁じ得ませんでした。

激しい動きの中に目線だけしっかりカメラに釘付けなのが「踊る」感
がしっかり出ている印象ではあります。

なぜこういう動画生成は「女の子が躍る～ ♡」ばっかりなのか。
重篤レベルの食傷気味なだけでなく、動画生成方式のアラを隠されて
しまう懸念もあります。（ComfyUI での導入編を見ると動画生成エンジン
はどうやら HunyuanVideo 系のようで、なおさらです。）

何故、女は踊りたがる…いや、男は何故女を躍らせたがる、それを撮り
たがる、映像として残したがる….そもそもその段階での忌避感が当方
にはあります。

「踊り」って何なのか…。
その意味では半世紀、過重過ぎた職務生活との折り合いに苦労しながら
も自作曲の制作をして来ながら「歌とは一体何なのか」という困惑も
同様にあります。

これは「この味が嫌いだ」というのと同じレベルで生まれ備わった
海馬（大脳での判断より先）での感覚なのでどうにもなりません。

平たく言えば「 描画 AI を使ってまでこんな設定においても女を
躍らせたいのか？」という言う問いかけには「いや全然。サイバー
男子隊員が踊り狂うのを AI を使ってまで見たいのか？….んなあ
こたぁ無いだろうよ？」に尽きます。

AI 描画の急速な進化とともに「描画AI に作画指示を出す人間の側の
原始的かつ本能レベルの願望が結果の描画や動画の結果にあからさまに
作画意図として曝け出してしまう」ということを改めて強く認識すべき
でしょう。そのくらいに AI 描画はダイレクトに表現手段として進化
してしまっているという理解が正しいです。

それは夢で見たことを逐一出版や今では SNS などに投稿する行動に
似ています。そこで明らかになるのは「未来予知的な情報の信憑性や
主張の正当性の証明では全くなく、自身の深層心理において本来は
成熟した社会的な存在としては隠して口にも出せない渇望を白日の下
に自らむき出しに晒す下世話な行為に過ぎない」という他ありません。
それはそもそも近現代芸術の根幹ではありますものの、そのことに
自身が身につまされる心境です。

GIF 化で階調が悪く顔色にモアレが出ていますので、生成した MP4 も
添えます。（動画自体にそこまでの観賞価値はありませんが。）

CogStudio とは異なり、縦長原画にも問題なく対応しています（感心）。

しかしなぜ再生秒数が 1 秒？
パラメタでは省略地のままの 5 秒設定のつもりでしたが….。

その後も動画生成ループは止まらないようで、End Generation を押して
進行中の次の生成を途中終了させました。ちょっと癖がありますね。

＞ 実際に5秒の動画を生成すると1秒ごとに処理されており、秒数ごとに
＞ 動画も保存されます。

ああまだ処理途中だったのでしたか。
えー何だか当方の環境では他の方々より異常に時間がかかっているような..。

生成秒数を省略値の 5 秒から 10 秒にしてみました。これって 10 秒と
いう意味ですよね。Total Video Length（Seconds）とのことですし。
（処理終了までどれだけ時間がかかるのだろう。）

プロンプトを、

She sees the danger and retreats backward, face forward.

（彼女は危険を察して顔は前に向けつつ後方に退避する。）

にしました。以前、この原画から HailuoAI で生成出来た動画を
ゴールイメージにしました。まあ背景の凄い造形までは望みませんが。

この原画から生成した最高水準の動画だと改めて思います。
HailuoAI らしくなくペラペラしゃべることもありません。

最初の 1 秒の出力です。悪くないです。引き続き経過を見守ります。

保存した MP4 のプロパティから見ると、当方の環境では次の 1 秒が継続
生成されるのに 90 分くらいかかっています。
10 秒生成を指定してしまってるので処理終了までには 15 時間ほどかかり
そう？

＞ 大体5秒の動画で約20分くらいでした。

皆さん、ハイパワーマシンをお使いなのですかね….。
そんなに差があるものなのですか。

最近は他の作業で手一杯となり、メイン PC がアイドリングしたままの
日も出て来ていました（作業集中出来る脳は一つなので）ので、このように
ずっと稼働させる処理が出てきたのは、むしろ歓迎ではあるのでしたが。

およそ 13:00 処理開始で終わったのが 21:54。途中で処理が速くなったのか
総処理時間が 9 時間弱でした。他の方々と比べて桁違いに遅い？

Adobe Express での GIF 化では生成した MP4 が大きくなった分、画質設定
に対する出力量の固定化で、GIF のサイズは小さくなりましたので、
仕上がりはMP4 でご覧ください。

最初の 1 秒動画（顔が正面を向いている）が最終的な 10 秒弱動画の
先頭シーン（原画と同じ方向を向いたところから始まる）と違っている
ような…。1 秒単位で動画が連結して積み上がる筈が不可解です。

ん？…もしかしてエンドフレームから逆に生成して最初のシーンまで
生成動画を積み上げている？

ただ滑らかな動画ながら「彼女は危険を察して」も「顔は前に向けつつ
後方に退避する」も微塵もありません。
「踊る」はあれほど簡単だったのが、この単純な動きのプロンプトにも
追従しない….これが HunyuanVideo 系エンジンの大きな未熟であることは
今更言及する必要もありません。
「踊る」は NSFW シーンに近く、今回指定のプロンプトはそこから離れる
内容だからです。この偏りには辟易します。

だから「女の子が躍る～ ♡」は汎用性の検証になり得ないのでした。
（まあそれだけが目的の人にはそれで良いのでしょうけれど。しかし
良い歳食った大人がそれで満足なのか、当方には全く理解が及びません。）

ただ待機忍従さえすれば、10 秒やそれ以上の長編シーンをローカル生成
出来るという唯一無二性は否めません。原画からの雰囲気の変質が無く、
プロンプトを追従することはないが、ただ長秒のシーンをスローモーション
付加なしに得ることが出来る、という解釈です。

同じプロンプトと原画で KlingAI、CogStudio でも動画生成してみました。

KlingAI（Kling 1.6 Standard モード 10 秒）です。2 分で生成しました。

HailuoAI とは表現が異なるものの、プロンプトに追従しているのが
分かります。なかなか緊迫した非常事態を感じさせます。

CogStudio （8fps､ 6 秒）に DainAPP（32fps､ 768 p）です。
CogStudio だけの生成時間は外付け HDD 環境で 40 分弱でした。
DainAPP の処理時間は 10 分未満でした。
（縦長原画への黒枠排除に VideoProc Vlogger をその後使いました。）

ちょっと黒目が飛び出しそうな…。
「顔は前に向けつつ後方に退避する」とは少し違いますが後方退却の
プロンプト追従はあるようです。

まあそれを考えると 5 秒動画で恐らく 4 時間半ほどかかる動画生成に
どれだけの意味があるのか、とも思えます。
やはり原画からの雰囲気の変質が無く、プロンプトを追従することは
ないものの、ただ長秒のシーンをスローモーション付加なしに得ることが
出来る、という点だけを有益に活かせる場面があれば、という限定条件
で評価保留です。

それでもまあ GPU VRAM 6GB 以上 という環境で、生成秒数の壁を
突破したことはエポックメイキングな出来事に違いありませんし、
動かせる動画生成ツールの選択肢がまた増えた、というのは
喜ばしいことです。

まあその程度なので、【番外編】としてのただちに割り込みをかけるほどの速報性も感じません。2025/07 初旬の本記事公開まで、記事公開待ちの末尾
に置いておきます。

ご覧いただきありがとうございます。

（2025/04/23 執筆）

（2025/05/04 追記）

＞ ん？…もしかしてエンドフレームから逆に生成して最初のシーンまで
＞ 生成動画を積み上げている？

それはどうやら当たっていたようです。
他のツールと同様に順方向に動画生成するオプション（別の py
モジュール）が追加開発されたようでした。

（貴重情報の公開に感謝します。）