ComfyUI FLUX dev WaveSpeed で高速化 torch.compileもやってみよう
前回、HunyuanVideoを高速化するためにWaveSpeedを使ってみたけど、思うように速くならなかったのですが、Flux.1 devでもう一度やってみようと思います。
さらに、torch.compileもやってみます。
まずは、WaveSpeedについてはこちら。
ここに書かれているように、まずはカスタムノードを追加します。
cd custom_nodes
git clone https://github.com/chengzeyi/Comfy-WaveSpeed.git
次に、ワークフローも置いてあるので取ってきます。今回はFlux用です。workflows/flux.json
これをComfyUIにポイっとします。
左下に、２つWaveSpeedのノードがあります。
上が、Apply First Block Cacheです。これを挟むだけで、2回目からが速くなります。
下が、Compile Model＋ですが、これはtritonをインストールしないと動かないので、とりあえずBypassします。
これで実行してみましたが、エラーが出ました。
なんでだろ。よく解らないので、Bypassじゃなくて線を直接つなぎ替えてみます。
動いた。
いつものケモミミが出来ました。
Prompt executed in 106.55 seconds
では、2回目いってみます。Seed値がFixedになっているので、Randamizeに変えます。
できた。
生成時間は、
Prompt executed in 24.63 seconds
24秒はそこそこ速いですね。
通常との比較が欲しいので、Apply First Block CacheをBypassしてやってみます。
できた。
生成時間は、
Prompt executed in 36.21 seconds
36秒でした。Apply First Block Cacheを挟めば24秒だったので、1.5倍です。
じゃあ次に、Compile Model＋も有効にしてやってみたいのですが、WaveSpeedのページにこんな風に書かれています。
NOTE: torch.compile does not work on Windows offcially, you should not use this node if you are facing this problem, or search on Google to find out how to make it work.
日本語訳
注意:torch.compileはWindowsでは公式に動作しません。この問題に直面している場合は、このノードを使用しないでください。または、Googleで検索して動作させる方法を確認してください。
Windowsでは動かないらしい。でもググれっていってるからググってみた。
ググってみるもんだ。ホイールがあるらしく、それでtritonのインストールができそう。
このサイトに書かれているここにアクセスすると、404になった。
https://github.com/woct0rdho/triton-windows/releases/tag/v3.1.0-windows.post5
なので、上の階層にアクセスしてみた。
https://github.com/woct0rdho/triton-windows/
すると、最新リリースはこっちにあった。
https://github.com/woct0rdho/triton-windows/releases/tag/v3.1.0-windows.post8
自分の環境のPythonのバージョンを調べて、それにあったホイールを使ってインストールする。
cd python_embeded
./python -V
うちの環境だと
Python 3.11.9
と返ってくる。なので、triton-3.1.0-cp311-cp311-win_amd64.whl
をダウンロードして、適当な場所に置く。今回はpython_embededのフォルダに置いた。
これを使ってpip install するけど、python_embededの上の階層に移動して実行しないとエラーが出た。
で、これを実行。
./python_embeded/python -m pip install ./python_embeded/triton-3.1.0-cp311-cp311-win_amd64.whl
ホイールのファイルはダウンロードしておかなくても、URLを指定すればいけるけど、なんとなく。
これで、tritonのインストールは完了。
次に、libsなどを取ってくる。これもグラビアカメラマンのサイトに書かれている。
https://github.com/woct0rdho/triton-windows/releases/download/v3.0.0-windows.post1/python_3.11.9_include_libs.zip
※ python_embededへ解凍したlibsとincludeをコピー
このリンクは生きているので、ダウンロードして解凍して、libsとincludeのフォルダをpython_embededにコピーする。
グラビアカメラマンのサイトには、Visual Studio Community 2022のインストールも書かれているけど、これは無視した。
よし、ではやってみよう。
もう一度、ComfyUIを再起動して、jsonファイルをポイっとして、２つのノードがどちらも有効な状態でやってみる。
できた。
Prompt executed in 206.83 seconds
モデルも読み直して、さらにコンパイルのために結構かかった。
では、期待の2回目いってみよう。
きたー。
Prompt executed in 16.31 seconds
速っ。16秒。
36秒の2.25倍。
じゃあ、いつもの感じの何枚か描いてみよう。
LoRAも追加してみよう。
16秒で描けるなら、devもありだな。
ではまた。
