【ローカルLLM】Gemma4 26B A4Bを使ってみた話①【Google】
はじめに
LM StudioでGoogle Gemma4 26B A4B（26Bパラメータ規模で、実際にアクティブになるのは4Bのみ）が利用可能になったので試してみました。
※ Ollama版はバージョン0.20+のプレリリース版が対応との事で、まだ利用できません。
Gemma 4 は Google DeepMind が開発したオープンモデルのファミリーで、テキスト・画像・音声（小規模モデルに限る）を処理可能なマルチモーダルモデルです。
モデルは 4つのサイズ（E2B、E4B、26B A4B、31B）がありますが、現状LM Studioで利用できるのは、26B A4Bだけのようです。
※ 接頭文字のAはMoEアーキテクチャでActiveになるパラメータ規模、EはEffectiveで、Denseかつ実際のサイズはさらに大きいが、計算コスト換算で4B、何もついてないのは従来のDenseモデルです
小規模モデルで最大128Kトークン、中規模モデルで最大256Kトークン
Thinkingモデル
外部ツールの呼び出しをネイティブにサポートし、AIエージェント用にも利用できる
導入
設定
RTX 3060 12GB×2=24GB VRAM環境でのテストです。
LM Studioの設定で、「Number of layers for which MoE weights onto CPU」を20にして、コンテキストサイズは32kです。
パフォーマンス
Ryzen7 5700x 64GB RAM
RTX 3060 12GB×2=24GB VRAM
論理問題
数学
ミニゲーム生成
※ 下記事のプロンプトです
まとめと所感
LM Studio（やOllama）向けのリリース直後の最新モデルは本来の性能が出ない事が多いですが、まずまずの性能だと思います。Qwen3.5 35Bとコンパラ、またはそれ以上の性能だと思います。
ただし、メモリ要求量はQwen3.5 35Bよりも大きいと思います。
上記の筆者環境では、Qwen3.5 35B A3B Q4_K_Mモデルでも128kコンテキスト利用で40〜45 token/s程度で利用できますが、Gemma4 26B A4Bでは、コンテキストサイズ32kが物理的な上限でした。ただし、今後の最適化で省メモリになる可能性は高いと思います。
※ ②へつづく
以下、関連する記事の【PR】です。
