基本情報
- Google DeepMindが開発するオープンモデル「Gemma」シリーズの第4世代。Gemmaは複数モダリティ（テキスト・画像・音声）を扱えるマルチモーダルモデルで、事前学習版と指示調整版(it)の両方が公開されている
- 2026年4月2日にGoogle DeepMindがGemma 4をリリースし、6月3日には統一アーキテクチャの「Gemma 4 12B」が追加された
- ライセンスはApache 2.0。これまでのGemmaシリーズは商用利用に制限があったが、Gemma 4からApache 2.0ライセンスに変更され、企業・個人問わず自由に使えるようになった点は記事の切り口として使いやすい
-
gemma-4-E4B-itはE4Bの指示調整版。ベースモデルはgemma-4-E4B
スペック（E4B）
| 項目 | 値 |
|---|---|
| 有効パラメータ | 4.5B（埋め込み込みで8B） |
| レイヤー数 | 42 |
| コンテキスト長 | 128K |
| スライディングウィンドウ | 512トークン |
| 語彙数 | 262K |
| 対応モダリティ | テキスト・画像・音声（動画はフレーム列として処理） |
| Vision/Audio encoder | 約150M / 約300Mパラメータ |
局所スライディングウィンドウAttentionと全域Attentionを交互配置するハイブリッド構成で、最終層は必ず全域Attentionになる設計。
「E」の意味（記事のネタになりやすいポイント）
E2B/E4Bの「E」はeffective（実効）パラメータの意味で、Per-Layer Embeddings(PLE)という仕組みにより各デコーダ層が独自の埋め込みテーブルを持つ。この「E」表記とPLEの考え方自体は前世代のGemma 3nで導入されたもので、Gemma 4にも引き継がれている。「Gemma 3n E4B」と「Gemma 4 E4B」は別モデル
ベンチマーク（instruction-tuned、Gemma 3 27B(no think)比較）
MMLU Proは69.4%（Gemma3 27Bは67.6%）、LiveCodeBench v6は52.0%（同29.1%）、GPQA Diamondは58.6%（同42.4%）、AIME 2026(no tools)は42.5%（同20.8%）。軽量モデル区分ながら旧世代の大型モデルを上回るスコアが出ている点は良いフックです。
使い方の下調べ（要検証対象ではある）
- Transformers対応：
pip install -U transformers torch accelerate→ AutoProcessor / AutoModelForMultimodalLM Thinkingモードはシステムプロンプト先頭に<|think|>トークンを入れてON/OFFする - 配布形式はGGUF（llama.cpp/Ollama向け）、compressed-tensors（vLLM向け）、モバイル最適化量子化など複数あり
- 全サイズが投機的デコード用のドラフトモデルを内蔵しており、追加コストなしで推論高速化ができる
学習データ
事前学習データのカットオフは2025年1月。
今後のプロジェクト材料として
- USB要約として検討
- PDF→構造化実験
参考リンク
- モデルカード: https://huggingface.co/google/gemma-4-E4B-it
- 公式ドキュメント: https://ai.google.dev/gemma/docs/core
- Technical Report (arXiv:2607.02770)
