【ローカルi2v】Wan2.2(14B)を使ってみた話⑦【限界突破】

はじめに

スピードと品質のバランスチューニングを、下記事で紹介したのですが、

本記事では、速度を偽性にして、品質重視のものを紹介します。※ 各種アップスケール・フレーム補間を含んで、32fpsの５秒動画を約15〜20分程度で生成します。Framepackとほぼ同じ時間に合わせました（筆者RTX 3060環境）

※ 本記事で紹介するwan2.2 i2v生成後、2xアップスケール、フレーム補間の込み込みjsonファイルのワークフローを附録に添付しています。

※ 上記事④と同じアイデアを利用しているので、支援者様（メンバーシップ）専用とさせていただきます。64GBシステムメモリが足りず、筆者のLinuxパソコンを何度もフリーズ＆Sysrqさせた限界ギリギリなので、万人に公開するようなものでもないと思いますし… 64GB以上必須で、同じ手法をFLFに利用するとより多くメモリを利用します。

戦略

現代のAIは、MoEアーキテクチャの成功が物語っているように、より緩い繋がりであっても、異なるモデルでのimg2imgや、複数のLLMに相互に回答させるMulti-Agent-Systemを利用すると、一般に性能・品質が上がります。つまり、巨大なモデルの効率化版・小型版というだけではありません。

人間で言えば、人類補完計画として、複数の脳や意識を同じ層のネットワークにつなげて巨大な一つにするよりも、三人寄れば文殊の知恵のように、個々の情報のやりとりを絞り・制限した方が、効率よく、より良い性能が出せるというのは興味深い話だと思います。

この事は、将来的に脳をニューラルネットワークへ直接接続できる技術が出来たとしても、SFで描かれるような思ったような性能が出ず、今のようにAIと言葉やジェスチャーで（制限ある緩い繋がりで）やり取りをした方が、実はより良い可能性がある事を示唆しています。

WAN2.2 14Bもhigh noiseとlow noiseの２つだけですが、MoEアーキテクチャの一つです。

そこで、そのアイデアを利用し、high/lowで推論した後に少しだけノイズ残渣を残し、異なるLoRA+重量級（Q8_0）のlowモデルを利用して仕上げるというアイデアです。システムメモリを大量に消費し、時間がより必要になりますが、限られたローカル資源をフル活用して、量子化による劣化を限り無くゼロにする事ができます。

その後は一般的なアップスケール手法、

フレームを16→32fpsにします。

ワークフローの流れ

【注意】筆者のシステムメモリ64GB環境（64GB+32GB/ZRAM+ファイルスワップ32GB）でも、一時的に不足して固まりファイルswapまで到達しました。

※ ComfyUIの起動オプション「--cache-none」も有効な回避方法です