見出し画像

【ollama】Gemma4 E4Bを使ってみた話②【Google】

はじめに

前回のつづきです。

Ollamaのバージョンが上がり(0.20.0)、Gemma4が利用可能になりました。

筆者環境では、パフォーマンスは同じサイズのLM Studio版26B A4Bと大きく変わらないので、本記事ではE4B版を利用してみます。

※ Gemma4は、

  • ✅ Dense(通常)版

    • 従来型のもので、全パラメータを毎回利用する

    • 今回リリースでは最も賢いが、家庭ゲーミングPCでは実用的に動かない

    • 例:Gemma4 31B

  • ✅ MoE版

    • 一部のExpertだけを選んで利用するので、全体の規模に対して高速に処理できる

    • 大きなパラメータを保ったまま高速動作できる

    • 例:Gemma4 26B A4Bなら、転送等のオーバーヘッドを考えなければ4Bサイズの演算量になる。つよつよCPUなら、GPUが無くともそれなりに実用的な速度で動作

  • ✅ Dense + PLE版

    • 演算効率を上げたもの。E4Bなら通常の4Bよりも賢い(ただし余分なデータを持つのでサイズも大きくなる)

    • Denseの安定・賢さと扱いやすさがある。対応小型デバイスで効率が上がるが、筆者のような環境では、8Bや12Bと同等の速度とファイルサイズになるので4Bという利点はない。

    • 例:Gemma4 E2B・E4B

でリリースされています。

導入と設定

ollamaを最新版にしたあと、ollamaコマンドを利用します。

# ダウンロード
ollama pull gemma4

# 情報表示
ollama show gemma4
  Model
    architecture        gemma4    
    parameters          8.0B      
    context length      131072    
    embedding length    2560      
    quantization        Q4_K_M    
    requires            0.20.0    

  Capabilities
    completion    
    vision        
    audio         
    tools         
    thinking      

  Parameters
    top_k          64      
    top_p          0.95    
    temperature    1

E2B/E4B版の最大コンテキストは128k、26B/31B版は256kという事です。

【!注意!】Gemma3nもそうでしたが、パフォーマンスを上げるには、次の環境変数に注意が必要です。ollamaデフォルトはoffですが、利用している場合は次の値にするか、削除する必要があります。半分以下のパフォーマンスになります。

  • OLLAMA_FLASH_ATTENTION=0

  • OLLAMA_KV_CACHE_TYPE=f16

パフォーマンスと性能

※ ollama + OpenWebUIです

Windows環境のollamaで確認します。

  • Ryzen5 3600 64GB DDR-3200

  • RTX 5060ti 16GB

Flash attensionがoffなのでサイズが大きくなりますが、128kギリギリ収まりました
長文生成 90 token/s

ただし、リアルにコンテキストを填めた(約100k)場合は大きくパフォーマンスが下がります

約100kの入力の場合、26 token/s
論理問題(正解) 89 token/s
数学問題(東大文系数学入試問題)
正解(ただし1度目は失敗)
VLM性能
悪くはありませんが、少し考察が足りません

※ 参考:26B版の場合

26Bなら、Qwen3.5 35Bとコンパラです

まとめ

Qwen3.5と比較するなら、

  • Gemma4 26B vs Qwen3.5 35B

  • Gemma4 E4B vs Qwen3.5 9B

の性能が同等、または少しGemma4が良いぐらいだと思います。ただし現状では、メモリ利用量がGemma4の方が圧倒的に大きいので、総合ではQwen3.5の方が強いかもしれません。

また、本記事では記載していませんが、リーズニングなしであればGemma4の圧勝だと思います。(Qwen3.5のリーズニング無し動作は、どんなにパラメータを調整してもQwen3 instruct版以下で性能が悪いです)

※ ③へつづく

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう!