【RTX3060×2】Gemma4 26B A4Bを使ってみた話④【LM Studio】

はじめに

前回のつづきです。

Gemma4モデルがリリースされてから、実行環境とモデルが何度かアップデートされ、ほんの数日で大きく性能が上がりました。特に、LM Studio（Linux） + Unslothモデルでの動作は本当に優秀です。

Gemma4 26Bモデル・筆者のRTX3060（12×2=24G VRAM）環境で、フルスペック256ｋコンテキスト（20万トークン）が実用的に利用できるようになりました。

※ GPUを二枚無理矢理さしこんでいるとはいえ、筆者環境はマザーボードも含め、（旧世代の）ミドルクラスのゲーミングPCです。

26BのLLMを、ローカルかつ25万トークン（256k）で実用的に動作できるようになるとは思いませんでした。

※ ただし、実用的と言っても、170kトークンの一気読み込みに2〜3分必要で、20 token/sでしたが。

設定

最初にLM Studioとランタイムを最新にします。

ポイントは、

• ✅ GPUオフロードを最大の30

• ✅ エキスパートモデルのCPUオフロードを10

  • MoEモデルだけで利用可能なオプションで、通常のCPUオフロードによる大きなパフォーマンス低下を抑えられます。

• ✅ Flash Attension + KVキャッシュの量子化をQ8_0

UnslothのIQ4_XS量子化モデルを利用します。LM Studioなら、アプリケーションGUIで直接ダウンロードできます。

※ 変更点を確認できませんでしたが、前回からUnslothのモデルも更新されています。LM Studioは、モデルを更新する際は、一度手動削除する必要があるようです

簡単な長文生成プロンプトで生成すると50 token/sです。GPUのみの90k程度にコンテキストを抑えれば60〜70token/sです。

Wikipediaの日本とアメリカの歴史の記事（それぞれ80〜90k程度）をまるまる読み込ませ、比較させたものです。さすがに読み込みに3分近くかかりましたが、テキスト生成自体は20 token/s程度で生成します。

小さなローカルモデルだと、たとえ全文がメモリに収まっても、コンテキストが大きすぎると内容が崩壊しがちですが、全く問題のないまともな文章になっていました。

むしろパフォーマンスよりも、長文脈を正確に理解できる性能の方に驚きました。ローカルでも本当の意味で長文を扱える時代が来たのかもしれません。

性能は現状でローカル最高峰

特に日本語が強く、素のLLM能力も、規模でコンパラ・ライバルのQwen3.5 35Bを大きく上回っていると思います。

ローカルなので、何でも貼り付けられます。

モデレーション系の意地悪な指示も理解し、冷静に分析して回答します。

ミニゲーム生成

※ 利用したプロンプトは付録欄に添付しています

前回の確認のときよりも、明らかに安定性が上がっています。無料Gemini（Gemini 3 Flash）よりもたぶん賢いです。

弱点

知識

性能は大手各社無料枠クラウドAIに匹敵・それ以上だと思いますが、RAGを利用しない限り、（Gemma4に限らず）ローカルAIは、知識参照用途として利用できません。

検閲

弱みでもあり強み（安心の証）でもありますが、検閲は強く優秀です。クラウドAIとほぼ同じだと思います。

世界のAIコミュニティが無検閲版への実験をがんばっているようです。しかし性能を保つ事が難しいようで、中華モデルのように性能が同等それ以上のものは、まだ誰も達成できていないようです。

まとめ

本来MoEのようなヘテロなアーキテクチャは、バランスの最適化さえ出来れば、CUDAのような複雑なハイブリッドシステムでより実力を発揮できるのだと思います。

頻繁にアクセスする処理は高速なメモリ、ほとんど利用しないものは低速なメモリへ配置するという手法が利用できます。

少し前にデータセンター用の高速SSDをVRAMに利用するという製品も発表されて話題になっていましたが、MoEの様な仕組みのAIであれば、確かに大きな利点があるのかもしれません。

※ 逆に、等しくアクセスするアーキテクチャでは、最も遅い処理に全体が律速してしまいます。

※ 本記事は全てLM Studioでの動作確認ですが、現状のOllama（0.20.2）では、大きなトークンを扱う場合に、かなり深刻なパフォーマンス問題があるようです。複雑になればなるほど、汎用性・メンテナンス性が悪くなるのだと思います。

※ ⑤へつづく

付録

最近筆者が利用している簡単な動作確認用のプロンプトです。支援者様（メンバーシップ）向けにテキストを添付します。参考程度にご利用ください。