【完全無料・フィルターなし】キャラシート1枚で顔を完全固定！非検閲VLMとBerniniを連携し、制限なく思い通りの長尺ストーリー動画を生成するComfyUI最強ワークフロー

どうも皆さん！ドラム式洗濯機の残り3分は全然信じられません、葉加瀬あいです！

ということで今回ご紹介するのは、画像から動画を生成するR2V（References to Video）モデルとして、既存の動画生成AIが抱えていた「5秒の壁」や「キャラクター・背景の崩壊」を根底から覆す次世代ソリューション、　　

Bernini（ベルニニ） です！

https://huggingface.co/ByteDance/Bernini-R

動画生成において、「顔を固定しようとすると動きが硬くなる」「5秒を超えると動画が強制ループしてしまう」といったジレンマがありましたよね。　　

ですが、今回のBerniniはそんな常識を根底から覆します！　　

複数の参照画像を忠実にアニメーション化しながら、革新的なメモリ管理技術と量子化によって、一般的なPC環境でも高画質・長尺動画の量産を可能にしました。　　

さらに、プロンプトの調整次第では参照画像の洋服とスタイルのみを適用させるということも可能です！　　

ということで今回お話しする内容はこんな感じです！

動画版はこちらからどうぞ！

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

それでは、本日もよろしくお願いします！

今回の内容

ということで皆さん、Wan 2.2アーキテクチャをベースに開発された「Bernini（ベルニニ）」ってご存知ですか？

これ、画像から動画を生成するR2V（References to Video）モデルとして、これまでの動画生成AIが抱えていた「5秒の壁」や「キャラクターや背景が崩れちゃう」という最大の悩みを根底から覆す、まさに次世代のソリューションなんです！　　

複数の参照画像を忠実にアニメーション化しながら、革新的なメモリ管理と量子化技術のおかげで、一般的なPC環境でも高画質・長尺動画の量産が可能になっちゃいました！　　

まずは、その圧倒的な画期的な機能とメリットについて、こちらの4つのスライドで詳しく解説していきます！

1.　Omni References（複数リファレンス）による圧倒的な一貫性の維持

まずは1つ目、「複数キャラクターの固定」です！今まで難しかった複数の画像指定が同時にできちゃうんです。　　

2.　5秒の壁とフレーム制限を突破する長尺・高精細生成

2つ目は、長尺と高精細の実現です！あの「5秒で強制ループする」問題、ついに解決しましたよ！

3.　VLM（視覚言語モデル）連携によるプロンプトの自動最適化

3つ目は、VLMによるプロンプトの自動最適化です！

世の中には「Bernini Prompt Enhancer」のようなツールもあるんですが、今回は 私が独自に作ったVLMプロンプト生成機能の方が圧倒的に直感的で使いやすい ので、そちらを使っていく方法をご紹介します！　　

4.　限界VRAM環境での高速化とVRAM節約

最後は、皆さんが一番気になるVRAMの最適化です！今回は「FP8」の量子化モデルをメインに使っていくことを想定していますが、もちろんお好みでGGUFモデル等を使うことも可能です！

🛠️ 【ギーク向け深掘り】技術的アーキテクチャとブレイクスルーの解説

1.　コアコンポーネントとシステム構成

まずはコアコンポーネントとシステム構成です。

BerniniがComfyUI上でどのようなデータフローを辿るのか、その全体像を見てみましょう！

2.　技術的ブレイクスルー（なぜこの性能が出るのか？）

次に、技術的ブレイクスルーです！なぜこれほどまでの性能が出るのか？「4n+1制約の打破」や「ネイティブ最適化」など、4つのスゴい仕掛けがあるんです！

3.　性能評価・ベンチマーク

最後に、実際の性能評価とベンチマークです。これだけ高度な処理を行っているのに、どれくらい速くてVRAMに優しいのか、具体的な数値を見てみましょう！

💡 今回のワークフローのポイント

さて、これまでBerniniの凄いところをたくさんお話ししてきましたが、今回のワークフローでは具体的にどんなことができるのか、強力なアピールポイントを4つに整理してみました！　　

まずは簡単に説明すると、複数の画像を使ってキャラクターの顔や衣装を完全に固定しつつ、10秒以上の滑らかな動画を作れちゃいます。さらに、カメラを自由に動かしたり、後から声や口の動きを合わせたりする拡張性もバッチリなんです！

ちなみに、リップシンクについてはこちらの記事でも詳しく解説していますので、音声追加技術と組み合わせてみたい方はぜひ参考にしてみてください！

https://note.com/ai_hakase/n/nbe65dc9d9dbb

もし皆さんのご要望が多ければ、いっぺんにリップシンクまで実行できるワークフローを作成することも可能ですので、次回以降の検討に入れさせていただきます！　　

ということでここからは、その 「Bernini マルチリファレンス・ディレクター」 を無料AIツールのComfyUIから簡単に使っていく方法についてハンズオンで解説していきたいと思います！

今回もローカル環境や、

Runpodなどのクラウド環境でも動かせるようにやっていきたいと思います！

ちなみに、初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください！

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、キャラクター画像と動画を用意して、魔法のようなアニメーション制作を体験してみてください！　　

ということで、ここからは私のNoteコミュニティ「 あいらぼ（Ai-Lab） 」の入門者さん限定でやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います！

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！

• ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

• 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v42.ipynb」をセットでダウンロードしてください！