AMDのみComfyUI×LLM×NPU

LLMのQwen3.5が凄い、というPC Watchさんの記事を読み、そのときは『このLLMは自環境では動かないなぁ』と思いながら読み終えたんです。
先日のMultiGPUテストを公開した後、ふとこの記事が浮かび、『Nvidia版ComfyUI内部でLLMが動くのならば、AMD版でもComfyUI内部でLLMは動くんじゃないか?何なら、AMDならNPUでも動くLLMが有るんだから、誰かがとっくに試してるんじゃないか?』とよぎったのです。
noteでcomfyUI/LLM/AMD/NPUで検索するもヒットせず。ならば価値が有るなと試す事にしました。

・事前調査
ComfyUIでLLMを動かすにはどの様な方法が有るのかcopilotに尋ねると、この様な回答が来ました。

ここで言うlemonadeとはlemonade-server.aiの事です。

続くcopilotの回答で動く事を確信しました。

上記lemonadeのリンクからドキュメントを確認すると分かるのですが、『lemonadeはOpenAI APIを使用している』書かれています。
なので多数のLLMをAPI経由で扱えるComfyUI_LLM_partyはうってつけと言えます。

・NPUで動くLLMとは
手前味噌では有りますが、過去NPUで動くFLMを導入したnoteを書きました。

この時の環境は、ざっくり言うと、lemonadeがフロントでバックグラウンドでFLMを動かしているという訳です。
それを今回は、ComfyUIがフロント。lemonadeが中継、FLMがバックグラウンドで動作と言うイメージです。

・ComfyUI_LLM_party導入
カスタムノード導入が容易なポータブル版でテストする事にしました。と言っても、カスタムノードマネージャ経由で導入したのでデスクトップ版でも問題無いと思います。競合も発生する事無く、導入出来ました。

・ComfyUIでLLMを動かす
ここまでは非常に順調でした。
が、此処からが大変でした。
何せComfyUI_LLM_partyノード数が203有り、中国語ベースなので判りづらいんですよ。
copilotと相談したり、gitの取説を読んだりしてようやくワークフローが完成しました。
また、API LLM Loaderの設定も忘れてはいけません。

ようやく動いた結果が下図です。

GPUが動かず、NPUが動作している山が右に見えます。また、メインメモリを使用するのでVRAMと競合しないのも見逃せない点と思います。

ちなみにComfyUI_LLM_partyの使い方としてのアドバイスですが、このままではLLM動作が優先され画像生成ができません。画像生成へ切り替えるには、API LLM general linkのis _enableドグルをOFFにします。

今回はNPUを動かすことを主題でlemoneadを導入しましたが、LMスタジオもAMDサポートが入り標準で動作するようになったので、LMスタジオを導入されている方は追加でlemonead導入しなくても良いと思います。
何ならComfyUI_LLM_partyでなくてもOpenAI APIカスタムノードは他にたくさんあるので、もっとスマートにまとめられると思います（直接プロンプトに書き込めるとか）。

毎度書き上げるたび、もうネタがない・そうそう新技術何て無い、と思うんですが、なんだかんだと続けてこれました。皆様のおかげです。