【ローカルi2v】Wan2.2(14B)を使ってみた話⑨【試行錯誤の結果】

はじめに

（ローカルでAI動画を生成できる）WAN2.2で利用可能な高速化LoRAは、

• lightx2v公式

  • (1)【WAN2.2用】https://huggingface.co/lightx2v/Wan2.2-Lightning

• Kijai氏

  • (2)【WAN2.1流用】https://huggingface.co/Kijai/WanVideo_comfy/tree/main/Lightx2v←記事では旧LoRAとします

  • (3)【WAN2.2用】https://huggingface.co/Kijai/WanVideo_comfy/tree/main/Wan22-Lightning←記事では新LoRAとします

があります。4(2+2)〜8(4+4)ステップで生成可能になるLoRAです。高速化LoRAを利用するかしないかで、１時間と数分の差があるので、事実上の必須モデルだと思います。

※ 静止画像であれば、高速化LoRAの利用で圧倒的な生成時間の差（１０秒と２秒など）があっても、少しでも画質優先という選択肢はあると思いますが、時間のかかる動画では、劣化以上の価値はあると思います。

本記事は、筆者の環境（と480p程度の解像度）で、速度と品質においてベストなバランスの結果を出すために行った試行錯誤の記録です。

(1) lightx2v公式LoRAを使った話

lightx2v公式のhuggingfaceには、モデルとネイティブ用（ComfyUIプリイン・テンプレート例を修正）のjsonサンプルファイルがあります。

筆者環境では、FP16指定の箇所をfp8_scaledのWAN2.2 14Bモデルに変える必要がありますが、それだけだと上手くいきません。

※ 意図的なのかバグなのかわかりませんが、ノイズ残渣がlow側に伝わってなかったり、positive/negativeプロンプトが正しく接続されていません。

そのうち修正されると思いますが、たぶんjsonワークフローのバグと思われ、はじめての方は混乱するので利用しない方がいいと思います。

しかし、どちらにしても満足する画質ではありません。

(2) Kijai氏の旧LoRAを使った話

WAN2.1モデルの流用モデルです。lightningモデルが公開される前の話です。

(3) Kijai氏の新LoRA（lightning）を使った話

今から始める方には、現状で一番おすすめです。

(4) さらに工夫して画質を上げた話

筆者独自の工夫です。

さらに本記事では、新しく公開された新LoRAを利用して、より高品質に生成できる組み合わせ・設定を探しました。

色々試してみた結果、Kijai氏の新Lightning LoRAのみ利用するよりも、旧LoRAも組み合わせた方が品質が上がるようです。ただし、組み合わせた方は4ステップ多く、微妙な違い程度しかありませんが。

生成の戦略ですが、旧LoRAをhigh+lowで利用した後、仕上げ目的としてだけ新LoRA（+low noise fp8_scaled版）を利用するというものです。

つまり、意外にもWAN2.2やhigh/lowにも未対応で、キーエラーをはきまくる旧LoRAの方が、大雑把な品質が良かったという事です。

左：新旧LoRA利用（12step）　右：新LoRAのみの通常構成（8step）

左：新旧LoRA利用（12step）　右：新LoRAのみの通常構成（8step）

分かり易いように旧LoRAとしていますが、実際には、

• lightx2v_I2V_14B_480p_cfg_step_distill_rank32_bf16.safetensors

• lightx2v_I2V_14B_480p_cfg_step_distill_rank256_bf16.safetensors

を利用しています。もちろんKijai氏のLoRAチューニングのたまものではあるのですが、WAN2.2に完全対応していなくても、480p用LoRAモデルなので、480pの動画生成において有利に働いたのだと思います。

実際に旧LoRAをhigh noiseに利用した方が、ダンス時の人体崩壊が明らかに少なくなります。

ローカルでAI動画生成をする場合、（データセンターのシステムやハイエンドGPUでない限り）480p動画が現実的なので、上記手法は、現状の480p動画において有効な手法だと思います。

工夫の詳細

※ 大雑把な戦略はすでに上記で紹介済みですが、最初にアイデアを支援者様（メンバーシップ限定）にしたので、それに連なる内容はすべてメンバーシップ用にしています。付録には本記事のワークフローjsonファイルを添付しています。