Lemonade Serverに統合されたFLMが結構すごい

AMDのNPUの活用について調べていた所、Lemonade ServerにFLMが統合された事をかなり遅まきながら知りました。
Lemonade ServerはAMDが提供するLMスタジオの様なものです。
LMスタジオとの違いとしてはweb UIでブラウザでチャットを行うところです。もちろんオフライン・ローカルで動作します。

FLMは[Ryzen™ AI 専用に構築された、すぐに使える唯一の NPU ファースト ランタイム]とある様に、LLMを動作させる為のバックエンドプログラムとなります。

タイトルにある様にLemonade ServerをインストールすればLLMモデルを選ぶ際FLMに対応したモデルを選ぶことが出来ます。

Lemonade ServerにもNPU単独やNPU+GPUのハイブリッドモデル等面白いモデルが有りますが、いかんせん古さが目立ちます。
しかし、FLMのモデルはNPUしか使わないのにGemma3やgpt-oss-20b等今年リリースされたモデルが適応されています。
Gemma3がNPUに対応したという点だけでも画期的ですが、速度もLMスタジオで動作した場合と劣らないという点が素晴らしいです。

LLMをNPU専属に割り当てられることでGPUがメモリ不足になりやすい自分の環境下では省エネ効果も伴ってものすごく助かります。
具体的に最近遊んでみた手法としては、Gemma3-4b-itで架空の作品を生成。その架空作品のキャラクタープロンプトの作成をLemonade Server/Gemma3で推論生成。
画像生成をAmuseAI。
作成された画像をLemonade Server/Gemma3で再評価・プロンプトの修正。といったサイクルでした。

最近の画像生成AIはテキストエンコーダーにLLMを搭載したモデルが出始めていますが、GPUありきです。
しかし、AMDならば全てNPUで完結する事が出来そうなのが面白いですね。