ComfyUI×FastFlowLM (FLM)

FastFlowLM(FLM)のアップデートでQwen3.5-4Bが追加されました。
せっかくなのでComfyUIから直接FLMが動作できるのかテストしてみました。
FLMに関しては下記リンクを参照ください。
ざっくり言うとAMDのNPUでLLMを動作させるアプリです。

ComfyUIでLLMを動かす事に関しては以前のnoteを御覧ください。

前回はlemonadeを経由させ動作させました。
その理由としてlemonadeはOpenAI APIに対応する事を全面に出していたためです。

FLMはローカルサーバーについて記載が有ったものの、何のAPIで動くのか不明だったので先ずはドキュメントを読み込んでみました。
数リンク辿るとあっさりとOpenAI APIで動く事が確認出来ました。

・実行
FLMサーバーを起動し、ComfyUIポータブル版を起動。LLMpartyのローカルURLをFLMサーバーに合わせて、実行。
めちゃくちゃあっさり動作しました。

あ、FLMのQwen3.5-4BモデルはSFWです。
初回はモデルロードも有り処理は約110秒。

2回目以降は同程度指示で70秒程でした。

Qwen3.5-4Bはかなり優秀で今までよりもプロンプト作成能力が向上しています。
Animaのテキストエンコーダーに使われるのも納得です。

Animaと言えばSpectrumと言う高速化処理が出たみたいですね。
自環境でも試してみたのですが、Pytorchに『MAGMA』が入っていないとのエラーが出てしまい、動作確認出来ませんでした。

copilotにエラーを質問した所下記まとめとなりました。

本当かどうかは不明ですが、自環境では動かない事は間違いないです。
ROCm Pytorchのバージョンアップに期待ですね。