【ローカルLLM】16GBのVRAMでQwen3.5 35BをLM Studioで快適に利用する話【RTX 5060ti】

はじめに

（非技術者の一般用途として）ローカルLLMを利用する場合、ollamaかLM Studioが一般的です。

筆者はLinuxをデスクトップとして利用している事もあり、何かと筆者用途と合致するollamaを利用する事が多いのですが、LM Studioでなければできない事もあります。

たとえば、LLMの推論エンジンとして利用しているllama.cppの新機能・多機能に対応するのはLM Studioの方が良く、かつ速いと思います。テンプレートも含めhuggingfaceモデルとの互換性も高く安定しています。特に最新モデルのQwen3.5との相性はollamaよりも良いと思います。

この記事では、RTX 5060ti 16GBでQwen3.5 35B A3BモデルをLM Studioで快適に利用する設定を紹介したいと思います。

出来ること

動作環境は以下です。

• Ryzen 5 3600 DDR4-3200 64GB

• RTX 5060ti 16GB PCI-E3.0x8動作

Qwen3.5 35Bモデル、ミドルクラスのGPU：16GBのVRAMでも、設定を調整する事で、64kコンテキストサイズで【53 token/s】出せます。

筆者環境はCPUが遅くアンバランスなので、CPUがより高速な環境なら、もう少し高速動作すると思います。

しかし約【50 token/s】の動作速度を安定して出せるので、ほとんどの用途で快適に利用できると思います。

設定方法

16GB VRAMだと、35BのLM Studio公式モデルを超快適に動作させる事は難しいです。最も小さなものでもファイルサイズだけで22GB以上あります。

そこで、Unslothの量子化モデル（IQ3_XXS）を利用します。ファイルサイズは15GBです。

重要な設定ポイント

現状のollamaでは利用できない機能ですが、LM Studioでは利用できる機能「Number of layers to force the experts into CPU」を利用します。llama.cpp直接なら利用できます。

MoEアーキテクチャモデルで効果を得られる機能で、expert層（必要なときだけ選ばれて使われる）だけをCPU処理させる事で、速度低下を最小限にできます。

以前のLM Studioでは筆者環境ではあまり効果がでませんでしたが、バージョンアップごとに改善していると思います。

※ 通常のCPU演算オフロードでは、層を等しくCPUで処理するので、CPU速度（一番遅いもの）に律速してしまいます

パラメータ調節の最も重要な点は、VRAMの共有メモリに溢れないギリギリのポイントを探す必要があります。筆者環境の場合は5〜8前後でした。増やすと（CPUの割合が増え）遅くなり、減らすと速くなりますが、減らしすぎて共有メモリへ溢れるとドボン（激遅）です。

※ 合わせて、通常のオフロードは全てGPU側に設定しておく必要があります

Qwen3-Coder-Next 80B 64kコンテキスト

同じやり方を利用すると、ファイルサイズが約30GBの80B規模のQwen3-Coder-Nextですら、64kコンテキストでも、そこそこ実用的な速度【20〜30 token/s】で動作します。

※ 土管ゲーム

まとめ

特に、LM StudioとQwen3.5の相性は非常に良いと思います。

付録

大した情報ではありませんが、支援者様（メンバーシップ）向けに、本記事作成に利用した、Qwen3.5とQwen3 Coder NextのLM Studioパラメータ詳細設定を添付しています。