【実は26Bの方が速い！】Gemma4 12Bを使ってみた話③【RTX5060ti】

はじめに

※ Gemma3と同じように、Google謹製のGemma4 QAT量子化版も公開されました。それぞれのパラメータ（E2B/E4B/12B/26B/31B）で利用可能になっています。

公式説明の12Bモデルは、E4Bと26Bの性能の中間であると位置づけていますが、RTX5060ti-16GB等の全てGPUオフロードできない環境でも、速度は26Bの方が少し上になります。

数字が大きい事が理由で12Bしか試さない人も多いと思いますが、意外と26Bの方が速くなる（ゲーミングPC）システムは多く、試す価値はあると思います。

26B-A4B（Active 4B）はMoEアーキテクチャなので、静的なデータは巨大であるものの、実際に動作するパラメータ・演算数は4Bと同等だからです。

さらにMoEの場合、エキスパート層のみをCPUオフロードする設定を利用すると、CPU利用時のボトルネックによる速度低下を最小限にできます。

実際に12Bと26Bを比べる

Ryzen5 3600-64GB・RTX5060ti-16Gの場合

Gemma12B-qatとGemma26B-a4b-qatで比べます。

今は12B版も256kが選択できるので最大256kで実行します。※ ただし、両者ともKVキャッシュはQ8_0です。

✅ Gemma4 12B

✅ Gemma4 26B A4B

Ryzen7 5700-64GB・RTX3060×2-24Gの場合

※ OSはLinuxです

✅ Gemma4 12B

✅ Gemma4 26B A4B

まとめ

VRAM 16GB以上でMoEエキスパート層の調整が可能なら、26Bの方が速くなります。

ただし、すべてにおいて26B（実際は4B）の性能が高いわけではなく、Dense 12Bの性能が高くなる場面も多いはずです。

※ 一見すると、Gemma4 26Bでは、並列演算でパフォーマンスが向上しているように見えてしまいますが、どちらもVRAM不足でCPUを利用しているため、本来のGPU性能を出していないだけです。もし、RTX5060tiが32GB等のVRAMを搭載していたなら、生成速度は100 token/sを簡単に超えるはずです。

以下、関連する記事の【PR】です。