【RTX5060ti】Qwen3.6 35B A3Bを使ってみた話②【MoE×ゲーミングPC】

はじめに

前回のつづきです。

LLM（大規模言語モデル）をローカルで動かすには、大量のメモリ（特にGPUメモリ）が必要になります。

LLMに限らずAIの演算は行列の塊を一気に処理するので、100人101脚競争のように、個々の演算で最も遅い者（ボトルネック）に律速します。一人でも1/10の速度になれば、全体も1/10になります。つまり少しでも高速なGPUメモリ（演算）から溢れるとドボンです。

2026年現在、現実的な価格で手に入るGPUのVRAMは16GBが上限です。NVIDIA製のミドルレンジであれば、

• RTX 4060ti 16GB

• RTX 5060ti 16GB

あたりに限定されます。※ 昨今の高騰で、従来のミドルレンジという価格帯でもないと思いますが…

ただし、16GBであっても、最新LLMで人気のGemma4 26BやQwen3.6 35Bで利用される一般的なQ4量子化サイズでは、静的なファイルサイズだけでも16GBを大きく超えるため、すべてをGPU処理する事はできません。

単純に考えると動作しないのではと考えてしまいますが、Gemma4 26BやQwen3.5/3.6 35BはMoE（Mixture of Experts）という特殊なアーキテクチャなので、全てのパラメータがアクティブにならず、必要な時のみ利用するという手法によって演算回数を3Bや4Bと同程度に抑える事ができます。最新つよつよCPUなら、CPUのみでも実用的な速度で動作します。

さらに、つよつよCPUでなくとも、演算をCPUとGPUに上手く分散することによって（100人101脚状態ではなく、必ずしても全員が横一列でない）、CPUを利用するボトルネックの速度低下を抑える事もできます。

※ 下記のGemma4と同じ手法です

Qwen3.6 35B A3B（Q4_K_M）をRTX5060tiで利用する

LM Studio公式モデルでは、最もサイズの小さなもの（Q4_K_M）でも、22GBあります。

16GB VRAMに収まりきらないので、そもそもGPU実行できないように思えますが、工夫する事で、かなり高速に動作します。

一般に、コンテキストをリアルに填めるとパフォーマンスは下がりますが、70kトークン消費しても、30 token/s以上を保ちます。

設定のポイント

Gemma4 26Bの時と同じです。

KVキャッシュの量子化は、単純にコンテキストによるメモリ消費を半分にしてくれます。もちろん品質劣化はありますが（モデルによりますが）軽微です。

まとめ

エキスパート層のCPU移動機能をOllamaで利用できないのは残念ですが、LM Studio、またはllama.cpp直接利用なら可能になります。

8Gや12GBのVRAMでは、9BやE4Bあたりのパラメータ規模が良いと思いますが、16GBのVRAMを搭載していれば、意外とMoEの（20〜80B）の中規模モデルも大コンテキストサイズ＆実用速度でGPU利用できてしまいます。

特に、最新の

• Gemma4 26B A4B

• Qwen3.6 35B A3B

は（クラウドAI並みに）異常に優秀なので、16GB以上のVRAMを搭載したゲーミングPCがあれば動作挑戦してみる価値があると思います。

以下、関連する記事の【PR】です。