ComfyUIでAI動画作成。最新ローカル動画生成Wan2.1モデルを試す！

StableDiffusionWebUI を普段使ってますが、StabilityMatrix を入れたことでComfyUI がポチっとクリックでインストールできました。
↓　クリック数回でしたので殆どComfyUIについて書いてないですが💦

2025/08/13追記
いちおう追加記事ですが、StabilityMatrixでインストールした後に、更にComfyUIをインストールするという流れのほうが快適でした

まぁ。。正直WebUIと見た目以外、ComfyUI は、何が違うのかよくわからなかった。。。ので、今まで使ってなかったのですが。。
最新、ローカル環境で動く、ComfyUI＋Wan2.1で動画が作れる？とのことなので作ってみることにしました！

最新のWan2.2の記事はこちら

Wan2.1を利用する準備をする

ということでComfyUIはインストール済みという前提で、以下のネコ動画のページから必要な材料をダウンロードします。

下記部分のそれぞれをクリックしてダウンロードしたら以下の通り Place in の指定された場所にファイルを置きましょう。

diffusion modelsのファイル名の数字は学習量とかですね。
今回は、画像から動画を作りたいのでi2v(image to video)を使います。
t2v(text to video)はプロンプトを利用して、画像も一緒に生成します。
数字が高いほうが高性能ですが、PCに負担がかかるかと思います。
ここらへんの数字の意味はDeepSeekをローカルで動かしたときと同じ雰囲気ですね。

まぁ。とはいえ、必要スペックが、よう分からんので、困ったときの ChatGPT にまとめて貰いますｗ

なお「e4m3fn」はNVIDIAに最適化されているようです。NVIDIAじゃない人は「scaled」にしましょう。ということで、DeepSeekで痛い目に合っている私は。。。一番小さい
wan2.1_i2v_480p_14B_fp8_e4m3fn.safetensors
にしました（弱気）💦
example workflows は、上記のモデルに合わせて
image_to_video_wan_480p_example.json
になります。

Wan2.1を試してみる！

jsonのサンプルファイルをオープンします。
「ワークフロー」⇒「開く」でjsonを選択します。

私の場合は、拡散モデルだけ初期値が違いました。ここをダウンロードしたモデルにします。

プロンプトは下記ですね。

どうやらキツネメイドの女の子のサンプルのようです。
とりあえず手元にあった、以前のnote記事で使ったメイドを入れてみますｗ

おおーーー動いた！！って。。WEBP形式って何ですか？。。💦
Text2ImgのフォルダにWEBP形式で保存されました。。
どうやらWEBに適したGIFアニメのようなもので、ブラウザにドロップすると再生できるようです。。

また、ComfyUIで作成されたWEBPのファイルはワークフローの情報を含むようなので、WEBPのファイルを読み込むとそのイメージなどのワークフローをロードすることができるようです。
※↑　2025/04/20 追加しました。

まぁ。noteで公開できないので、とりあえず、ココで変換。。

ということで以下です。

再生時間は瞬殺ですが、RTX3060Ti で、これで１０分ぐらいでしょうか。。
どれもそうですが、まだ長時間動画などをローカルで生成するのはシンドイですね。。。しかし、ローカルでこの感じはナカナカ良いのでは？！と思いますがどうなんでしょうか？とりあえず、プロンプトはサンプルのまま変えてないので、適当に画像を選んだ、私が悪かったのかと思いますｗ

ということでStableDiffusionWebUIを起動して
（慣れてないので ComfyUI 使わない）
キツネメイドを作って試してみたいと思います。

プロンプトはそのままで

↓ 普通にyoutubeのショートで見てもらえると無限ループしてくれます
https://www.youtube.com/shorts/_dZL3SIaJtQ

解像度はもうちょい良いモデルとか使えば上がるのか？。。
というか、たいていの動画AIはアニメが苦手のイメージがあるのですが。。。実写はどうなんでしょうか？。。

Wan2.1を試してみる！（実写のイラストで）

ということで昔のKLING AI の記事と同じ動画を作ってみたいと思います。

おおー！？

https://www.youtube.com/shorts/52r_OTc6Yw8
※再生時間を倍にしました

何か新しいハートの作り方ですが。。。いいですね。やはり実写ですよ！動画生成AIはやはり実写のほうがクオリティが高いのでは！？

以前のKlingAIの動画と比較するとカクカクしているのでコマ数が少ないかもしれないですね。コマ数倍、再生時間は５倍でやってみましょうか。
32fps,長さ165
あれ意外と早い？１時間ぐらい

出来た！fps上げたので動きが滑らかになりましたが。。。頭ポリポリ。。てかハート作らないんかい！

https://www.youtube.com/shorts/uCopDWRdC9k

少し良い方向に進んで来ている気がするのでもう１度作ってみました。。

https://www.youtube.com/shorts/VVUcXiRApDI
なんだろう。。体をクネクネ。。。
プロンプトがあまり効いてないような。。

実写はやはり出来が良いと。。とりあえず生成時間もですが。。ちょっといろいろ長くなりそうなので、このあたりで終わりたいと思います。
結構おもしろそうなので、もう少し深く調べて、いろいろ試してみたいですね！！

↓↓　ComfyUI + Wan2.1 長編動画作成にもチャレンジ！