FastFlowLMでGemma4-E2B-itテストLemonadeと比較

AMD NPUで動作するFastFlowLM(以降FLM)でGemma4が使用できるアップデートが来ていたので試しました。
FLM単独ですのでCLI(コマンドラインインターフェース)となります。
LemonadeでLlama.cpp(iGPUバックエンド)で使用した場合との比較を行います。
LemonadeとFLMそれぞれ別で行っているのは、FLMとLemonadeの更新時期がずれたため、Lemonadeが最新のFLMバックエンドを統合できていない為です。そのため今回は個別に測定を行いました。

・処理比較

トータルタイムはLemonadeの方が約11秒と、FLMの約6秒に比べて長いです。
が、これはLemonadeには思考(thinkモード)が混ざっているためです。
TPS同士で比較出来ないのでトークン出力同士での参考比較となりますが
Lemonade TPS:約42.1
FLM ADS( Average Decoding speed):約16
と約3倍程度の差が出ました。
LemonadeでGemma4-E4Bをテストしたとき、16〜18TPSだったので、FLMはそれと同等です。
FLMの出力が低いからと言っても問題は感じられず、目で追える程度にすらすら出力されます。

上記を踏まえるとE4Bを同時にリリースしなかった理由が、うっすらと考えられます。
現時点では最適化が間に合わず、速度が出なかったのでしょう。
ひょっとしたら、Gemma4で搭載されたPer-Layer Embeddings (PLE)とAMDのNPUは相性が悪いかNPUの強みを活かせないのかもしれません。
現時点の速度差はNPUとiGPUの演算性能（FLOPS）差に準じている感じですね。

使用した感想ですが、自分がNPUに求めているのは速度でなく、
省電力>VRAMリソースを使用しない事>速度
なので現時点でも十分満足しています。
FLMのさらなる発展に期待です。

ちなみにComfyUIへの使用は問題なく出来ました。
下は『女性、夏の午後、アイスコーヒーとカフェ』でイラストプロンプトを作成してと投げた結果です。
モデルは、きままさんのmellow_pencil-XL-v1.0.0-base_clear となります。