【Gemma4 31B 76.3t/s】VRAM 32GBの世界に足を踏み入れる話②【RTX5060ti×2】

はじめに

前回のつづきです。

現状で、ハイエンドも含めた家庭用のゲーミングPC（VRAM 32GB以下）で実用的に動作する最重量モデルは、Gemma4 31b（dense）モデルです。

※ Gemma4 26BやQwen3.6 35B等のMoEモデルであれば、CPUを利用したハイブリッド動作でも高速に利用できますが、通常のdenseモデルはVRAMにすべて載せないとまともに動きません。つまり、VRAMを増やした差が出やすいモデルです。

この最重量級モデルを、ミドルクラスのGPU（RTX5060ti-16GB）２枚を利用したなんちゃって32GB VRAM＋現状利用可能な高速化手法を利用した場合のパフォーマンスを測定したいと思います。

ollamaやLM Studioでは、Qwen3.6のMTPモデル（投機的手法の高速化）が利用できますが、Gemma4には未対応です。

一般的に、これらの機能を有効化して動作させるには、（内部の実行エンジンである）llama.cppやvllmを利用する必要がありますが、unsloth studioを利用すると、GUIで簡単に設定できます。（ただし、unsloth studioは最速で新機能に対応してくれますが、モデル開発者よりの側面が強いので筆者はあまり利用していません）

Unsloth Studioの導入＋設定

上記ドキュメントに記載の導入方法（Linux）を利用します。

curl -fsSL https://unsloth.ai/install.sh | sh

※ 検証はしていませんが、Windows版のPowershell用もあります。使い方も多分同じです

設定に時間がかかりますが、成功すれば、webサーバーが起動します「http://127.0.0.1:8888」にアクセスします。

※ Linuxの場合、unsloth studio本体は ~/.unsloth以下のディレクトリ、huggingfaceモデルは、（デフォルトでは）~/.cache/huggingface以下に保存されます

unslothのgemma4のリポジトリは、MTPのドラフター・アシスタントモデルも同梱されているので、一緒にダウンロードされます。

右側の設定アイコンをクリックしてモデル設定します。

実行テスト

いつもの東京大学入試問題でテストします。

前回記事のLM Studioでの実行では 31.88 token/sなので、MTPを利用する事で2倍以上になっています。

100％とはいきませんが、GPUも上手く活用され、並列効率も良さそうです。

ちなみに、Gemma4 26b-qatの場合は、

ただし並列演算でありがちですが、軽いモデルは良い並列効率を得られません。GPUを50％も利用できていません。

まとめ

32GB VRAMだと、コンテキストサイズが64k〜128k程度が上限になりますが、100ﾏｿ円超えのM5 MAXでも5〜30 token/sなので、76.3 token/sはかなり驚異的なスコアです（ノートパソコンと比較するなですが…）。全部メモリに乗ればCUDAは強いです。

以下、関連する記事の【PR】です