LM StudioでQwen3.6 35B-A3B / 27B MTP GGUFを最適設定する！MTP、サンプリング、KVキャッシュ、mmap、VRAM管理までまとめるローカルLLM実用ガイド

アールブリュット被害者

2026年5月25日 21:21

LM StudioでQwen3.6 35B-A3B / 27B MTP GGUFを最適設定するにょ

MTP、サンプリング、KVキャッシュ、mmap、VRAM管理までまとめるローカルLLM実用ガイド

こんにちは、きらにょんだにょ。
ローカルLLMが大好きな、ちょっとゆるいけど中身はかなり本気のLLM案内キャラだにょ。

今回は、LM StudioでQwen3.6系のMTP対応GGUFを動かすときの最適設定をまとめるにょ。

対象にするのは主にこの2つだにょ。

モデル特徴Qwen3.6-35B-A3B MTP GGUF35B規模だが、A3B系のMoE的な軽さが魅力のモデルだにょQwen3.6-27B MTP GGUF27B dense系で、安定性・一貫性・扱いやすさが魅力だにょ

Qwen3.6は、公式モデルカード上でもコーディング、エージェント用途、Thinking Preservationなどを重視したリリースとして説明されているにょ。27Bはモデル概要で27Bパラメータ、MTP trained with multi-steps、ネイティブ262,144トークン文脈が示されているにょ。
35B-A3Bも、Qwen3.6のオープンウェイト版として、エージェントコーディングやThinking Preservationの改善が説明されているにょ。

そして今が熱い理由は、LM Studio 0.4.14 Build 4でMTP Speculative Decodingが安定版として入ったからだにょ。LM Studio公式の変更履歴では、MTP Speculative Decodingは「built-in multi-token prediction heads」を持つモデルで生成を高速化する機能として説明されているにょ。

1. まずMTPとは何かにょ？

MTPは Multi-Token Prediction の略だにょ。
ふつうのLLMは、基本的に「次の1トークン」を予測して、それを確定して、また次の1トークンを予測するにょ。

つまり、普通はこうだにょ。

1トークン予測
↓
確定
↓
次の1トークン予測
↓
確定

MTPでは、モデル側に複数トークン先を予測するためのヘッドが入っていて、先の候補をまとめて予測し、それを本体が検証しながら進めるにょ。LM Studio 0.4.14の説明でも、MTPは内蔵multi-token prediction headsを含むモデルで生成を高速化する仕組みとして扱われているにょ。

2. 通常のSpeculative DecodingとMTPは違うにょ

ここは混乱しやすいポイントだにょ。

通常のSpeculative Decodingは、ざっくり言うと、

大きいメインモデル
+
小さいドラフトモデル

を組み合わせる方式だにょ。小さいモデルが「たぶん次はこれ」と先読みし、大きいモデルがそれを検証するにょ。

一方、Qwen3.6 MTP系で話題になっている方式は、基本的にMTP対応モデルに内蔵された予測ヘッドを使う方式だにょ。LM Studioの説明でも「MTP-capable model」をダウンロードして使う形になっているにょ。

つまり、LM StudioでQwen3.6 MTP GGUFを使うときは、単に普通のQwen3.6 GGUFを選べばよいわけではないにょ。
MTP対応GGUFを選ぶ必要があるにょ。

3. LM StudioでMTPを使う条件だにょ

まず、LM Studioは0.4.14 Build 4以上を推奨だにょ。
Build 4でMTP Speculative Decodingが安定版として案内されているからだにょ。

基本の流れはこうだにょ。

LM Studioを最新版にするにょ
MTP対応GGUFをダウンロードするにょ
モデルロード時に詳細設定を開くにょ
MTP Speculative Decoding をONにするにょ
Flash Attention、KV cache、コンテキスト長を調整するにょ

ここで大事なのは、MTPはロード後に魔法のように勝手に効くものではなく、対応モデルと対応設定が必要ということだにょ。

4. Qwen3.6はThinking modeが基本だにょ

Qwen3.6系は、公式モデルカードでデフォルトではThinking modeで動くと説明されているにょ。Thinking modeでは、<think>...</think> のような思考ブロックを出してから最終回答を出す動きになるにょ。

ここで注意だにょ。
Qwen3.6では、Qwen3時代の /think や /nothink のようなソフトスイッチは公式にはサポートされていない、とモデルカードに書かれているにょ。非Thinkingにしたい場合は、API側で enable_thinking: false のような設定を使う例が示されているにょ。

LM StudioのUIでどう出るかはバージョンやランタイムにより変わる可能性があるにょ。だから記事では、「/nothink と書けば必ず切れる」とは書かない方が安全だにょ。

5. 公式推奨サンプリング設定だにょ

ここはかなり重要だにょ。
Qwen3.6は、モデルカード上で推奨サンプリング値を出しているにょ。

Qwen3.6-27Bの推奨値

用途temperaturetop_ptop_kmin_ppresence_penaltyrepetition_penaltyThinking・一般用途1.00.95200.00.01.0Thinking・精密なコーディング0.60.95200.00.01.0Instruct / 非Thinking0.70.80200.01.51.0

Qwen3.6-27Bの公式モデルカードでは、Thinking一般用途で temperature=1.0, top_p=0.95, top_k=20, presence_penalty=0.0、精密なコーディングで temperature=0.6、非Thinkingでは temperature=0.7, top_p=0.80, presence_penalty=1.5 が推奨されているにょ。

Qwen3.6-35B-A3Bの推奨値

用途temperaturetop_ptop_kmin_ppresence_penaltyrepetition_penaltyThinking・一般用途1.00.95200.01.51.0Thinking・精密なコーディング0.60.95200.00.01.0Instruct / 非Thinking0.70.80200.01.51.0

Qwen3.6-35B-A3Bでは、Thinking一般用途でも presence_penalty=1.5 が公式推奨になっているにょ。ここが27Bと違う大事な点だにょ。

6. きらにょん式プリセットだにょ

プリセットA：普段使い・調査・長めの文章作成

27B dense

temperature: 1.0
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 0.0
repetition_penalty: 1.0

35B-A3B

temperature: 1.0
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 1.5
repetition_penalty: 1.0

27Bと35B-A3Bでpresence_penaltyが違うのがポイントだにょ。
27BはThinking一般用途でpresence_penalty 0.0、35B-A3Bは1.5が公式推奨だにょ。

プリセットB：コード・設定・正確性重視

27B / 35B-A3B共通で、まずこれだにょ。

temperature: 0.6
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 0.0
repetition_penalty: 1.0

Qwen3.6の公式モデルカードでは、WebDevなどの精密なコーディング用途ではtemperature 0.6が推奨されているにょ。

プリセットC：非Thinking・短く直接答えさせたいとき

temperature: 0.7
top_p: 0.80
top_k: 20
min_p: 0.0
presence_penalty: 1.5
repetition_penalty: 1.0

非Thinkingでは、top_pが0.80に狭まり、presence_penaltyが1.5になるにょ。
短く、直接的に答えさせたいときの設定だにょ。

7. 各サンプリング設定の意味だにょ

temperature

temperatureは、出力のランダム性だにょ。

低くすると、堅く、安定し、同じような答えになりやすいにょ。
高くすると、発想が広がるけれど、脱線やミスも増えやすいにょ。

Qwen3.6では、Thinking一般用途は1.0、精密コーディングは0.6、非Thinkingは0.7が推奨されているにょ。

top_k

top_kは、次の候補トークンを確率上位いくつまでに絞るかだにょ。

Qwen3.6では、多くの公式推奨設定で top_k=20 だにょ。
だからLM Studioでは、まず20固定でよいにょ。

top_p

top_pは、候補トークンの累積確率で絞る設定だにょ。

Thinkingでは0.95、非Thinkingでは0.80が推奨されているにょ。
つまり、考えさせたいときは広め、短く直接答えさせたいときは狭め、という考え方だにょ。

min_p

min_pは、確率が低すぎる候補を切る設定だにょ。
Qwen3.6の公式推奨では min_p=0.0 だにょ。まずは触らなくてよいにょ。

presence_penalty

presence_penaltyは、同じ話題や同じ語彙の繰り返しを抑える設定だにょ。

ここがQwen3.6では特に大事だにょ。
35B-A3BのThinking一般用途では1.5、27BのThinking一般用途では0.0が推奨されているにょ。

症状別にはこう見るといいにょ。

症状調整同じ文を繰り返すpresence_penaltyを少し上げる日本語と英語が混ざるpresence_penaltyを下げる話が散らかるpresence_penaltyを下げる35B-A3B一般用途まず1.527B Thinking一般用途まず0.0

repetition_penalty

repetition_penaltyは、直近に出した語句の反復を抑える設定だにょ。
Qwen3.6では公式推奨が基本 1.0 なので、まずはいじらないのが安全だにょ。

8. MTPの設定はどこから始めるべきかにょ？

MTPの設定でまず見るべきなのは、Max Draft Tokens のような項目だにょ。
これは、MTPが何トークン先までドラフトするか、という深さに近いものだにょ。

Qwen公式のvLLM例では、MTP用に qwen3_next_mtp と num_speculative_tokens: 2 を使う例が載っているにょ。27Bでも35B-A3Bでも、vLLMのMTP例は num_speculative_tokens: 2 になっているにょ。

また、UnslothのQwen3.6ローカル実行ガイドでも、--spec-draft-n-max 2 が多くの環境でよく働いたが、最適値はハードウェア依存なので決め打ちしないよう案内されているにょ。

だから、きらにょん式の初期値はこうだにょ。

MTP Speculative Decoding: ON
Max Draft Tokens: 2

速度を攻めたいなら3以上を試してもいいけれど、最初から上げすぎない方がよいにょ。llama.cpp側では、--spec-draft-n-max 3 で非MTP時と異なる確定トークン列になったという報告もあるにょ。投機デコードは本来、性能だけを変えて出力内容は変えないべきなので、3以上は速度と出力の両方を確認した方がよいにょ。

9. MTPが効きやすいタスク・効きにくいタスクだにょ

MTPは、次に来るトークンを予測しやすい作業ほど効きやすいにょ。

タスクMTPの効きやすさコード補完効きやすい設定手順の説明効きやすい定型文作成効きやすい技術記事の続き比較的効きやすい数学の標準的な解法比較的効きやすい小説・詩・自由な創作効きにくい場合がある高temperatureの発散的な文章効きにくい場合がある長文コンテキストの後半acceptance rateが落ちる場合がある

MTPは「モデルが賢くなる機能」ではなく、同じモデルの生成を速くするための推論最適化だにょ。
だから、品質改善を期待するより、tokens/secや体感速度を見るのが正しいにょ。

10. LM Studioのロード設定だにょ

ここからがローカルLLM運用の本丸だにょ。
MTPをONにしても、VRAM、RAM、KVキャッシュ、mmapの設定が悪いと、速度が出なかったり、SSDにスワップしてしまったりするにょ。

Flash Attention

ON推奨だにょ。

LM Studio公式ドキュメントでは、Flash Attentionはattention計算を最適化し、メモリ使用量を減らし、互換ハードウェアでは速度改善が期待できると説明されているにょ。特に長いシーケンスで効くにょ。

Flash Attention: ON

KV cache quantization

長いコンテキストでは、モデル本体よりもKVキャッシュが大きく効いてくるにょ。

LM Studio公式ドキュメントでは、K cache / V cacheの量子化はメモリ使用量を減らすが、出力品質に少し影響する場合があると説明されているにょ。特にV cache量子化はFlash Attentionが必要とされているにょ。

おすすめはこうだにょ。

目的K cacheV cache品質最優先F16 / 無量子化F16 / 無量子化バランスQ8_0Q8_0長コンテキスト優先Q4系Q4系

きらにょん式の初期値はこれだにょ。

K cache: Q8_0
V cache: Q8_0

VRAMが苦しいならQ4系を試すにょ。
ただし、記事では「品質変化がある可能性があるので、自分の用途で比較する」と書くのが正確だにょ。

mmap

mmapは、モデルファイルをOSのメモリマップ機能で扱う仕組みだにょ。

LM Studio公式では、tryMmap はモデルファイルをディスクからメモリへマッピングし、初期ロードを速くできる一方、モデルが利用可能なシステムRAMより大きい場合は頻繁なディスクアクセスで性能が落ちる可能性があると説明されているにょ。

基本方針はこうだにょ。

mmap / tryMmap: ONから試す

ただし、SSD書き込みが多い場合は、Windowsのリソースモニターで見るにょ。

書き込み先疑う原因pagefile.sysCPU側RAM不足、共有GPUメモリ、Keep model in memory、コミット不足.ggufファイルmmap由来の読み込みアクセスLM Studioのログアプリ側ログNVIDIA / DirectX関連ドライバや共有GPUメモリまわり

SSD摩耗が気になる場合、まず疑うべきはmmapそのものより、pagefile.sysへのスワップだにょ。

Keep model in memory

これはSSDスワップ対策では超重要だにょ。

LM Studio公式ドキュメントでは、keepModelInMemory はモデルがシステムメモリからスワップアウトされるのを防ぐ一方、GPUに一部オフロードしていてもシステムRAMを予約するため、RAM要求量が増えると説明されているにょ。

だから、SSD書き込みを減らしたい人は、まずこうだにょ。

Keep model in memory: OFF

特に、VRAMには余裕があるのにCPU側RAMを大量に食ってpagefile.sysに書く場合、ここは必ず確認するにょ。

11. コンテキスト長の考え方だにょ

Qwen3.6は、公式に262,144 tokensのネイティブコンテキストが示されているにょ。さらにYaRNなどで拡張する話も出ているけれど、まずローカルLM Studio運用では262Kをどう扱うかが大事だにょ。

公式モデルカードでは、OOMが出る場合はコンテキストを下げること、ただしQwen3.6は長文脈を活用するため、複雑なタスクでは少なくとも128Kを維持することが勧められているにょ。

でも、ローカル環境ではこう考えるとよいにょ。

用途コンテキスト長普段使い32K〜64K長文読解64K〜128Kコードベース分析128K超長文・検証用途262KSSD swap回避優先32K〜64Kから開始

大事なのは、最大コンテキストを選べることと、快適に使えることは別という点だにょ。

12. VRAM 96GB環境での現実的な推奨設定だにょ

VRAM 96GBクラスなら、Qwen3.6 MTP GGUFをかなり贅沢に試せるにょ。
ただし、96GBぴったりまで使わせるより、少し余裕を残すのが安全だにょ。

まず試すロード設定

VRAM上限: 90〜92GB程度
Flash Attention: ON
MTP Speculative Decoding: ON
Max Draft Tokens: 2
KV cache: Q8_0 / Q8_0
mmap / tryMmap: ON
Keep model in memory: OFF
Context Length: 128Kから

250Kや262Kまで上げるのは、その後でよいにょ。

なぜなら、長コンテキストではKVキャッシュが巨大になり、VRAMに収まっている表示でもCPU側RAMや共有GPUメモリ、pagefile.sysに逃げる場合があるからだにょ。LM Studioの設定項目でも、contextLengthはプロンプトと応答を含むトークン数として説明され、Flash AttentionやKV cache量子化、mmap、Keep model in memoryがメモリ挙動に関係するにょ。

13. Qwen3.6-35B-A3Bと27B denseの使い分けだにょ

Qwen3.6-35B-A3Bが向く場面

35B-A3Bは、エージェント的な作業、コーディング、実用タスクに強い方向のモデルだにょ。公式モデルカードでも、Agentic CodingやThinking Preservationが強調されているにょ。

向く用途はこうだにょ。

コーディング支援
設定ファイル作成
ローカルエージェント
開発手順の説明
ツール利用を前提にした作業
軽さと賢さのバランスが欲しい場合

Qwen3.6-27B denseが向く場面

27B denseは、denseモデルらしい素直さと一貫性が魅力だにょ。公式モデルカードでも27Bパラメータ、MTP trained with multi-steps、262,144トークン文脈が示されているにょ。

向く用途はこうだにょ。

文章作成
翻訳
要約
長文読解
安定した会話
設定をシンプルにしたい場合

14. うまくいかないときのチェックリストだにょ

速度が出ない

MTP対応GGUFを使っているか？
LM Studio 0.4.14 Build 4以上か？
MTP Speculative DecodingはONか？
Flash AttentionはONか？
Max Draft Tokensを2から試したか？
Contextが大きすぎないか？
KV cacheがF16のまま重すぎないか？

SSDに大量書き込みが出る

リソースモニターでpagefile.sysか確認したか？
Keep model in memoryがONになっていないか？
CPU側RAMが不足していないか？
共有GPUメモリに逃げていないか？
Context 262Kで無理をしていないか？
KV cacheをQ8_0やQ4系にしたか？

出力が変・繰り返す

公式推奨サンプリング値に戻したか？
35B-A3Bと27Bのpresence_penaltyを取り違えていないか？
repetition_penaltyを上げすぎていないか？
temperatureを下げすぎ・上げすぎていないか？
MTP Max Draft Tokensを3以上にしていないか？

15. 最終おすすめ設定まとめだにょ

Qwen3.6-27B MTP GGUF

Thinking一般用途

temperature: 1.0
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 0.0
repetition_penalty: 1.0

MTP: ON
Max Draft Tokens: 2
Flash Attention: ON
KV cache: Q8_0 / Q8_0
mmap: ON
Keep model in memory: OFF
Context: 64K〜128Kから

Qwen3.6-35B-A3B MTP GGUF

Thinking一般用途

temperature: 1.0
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 1.5
repetition_penalty: 1.0

MTP: ON
Max Draft Tokens: 2
Flash Attention: ON
KV cache: Q8_0 / Q8_0
mmap: ON
Keep model in memory: OFF
Context: 64K〜128Kから

コード・設定・正確性重視

temperature: 0.6
top_p: 0.95
top_k: 20
min_p: 0.0
presence_penalty: 0.0
repetition_penalty: 1.0

MTP: ON
Max Draft Tokens: 2
Flash Attention: ON
KV cache: Q8_0 / Q8_0

非Thinking・短答重視

temperature: 0.7
top_p: 0.80
top_k: 20
min_p: 0.0
presence_penalty: 1.5
repetition_penalty: 1.0

16. きらにょんの結論だにょ

Qwen3.6 MTP GGUFをLM Studioで使うとき、重要なのは単に「MTPをONにする」ことではないにょ。

本当に大事なのは、この組み合わせだにょ。

MTP対応GGUF
+
LM Studio 0.4.14 Build 4以上
+
公式推奨サンプリング
+
Flash Attention
+
KV cache量子化
+
適切なコンテキスト長
+
mmapとKeep model in memoryの理解

Qwen3.6は、Thinking mode、MTP、長コンテキスト、エージェント用途が組み合わさった、かなり現代的なローカルLLMだにょ。
だからこそ、設定を間違えると「VRAMは足りているはずなのにRAMを食う」「SSDにswapする」「MTPをONにしたのに速くならない」ということが起きるにょ。

でも、基本を押さえれば怖くないにょ。

まずはこうだにょ。

MTP ON
Max Draft Tokens 2
Flash Attention ON
KV cache Q8_0
mmap ON
Keep model in memory OFF
Context 64K〜128K
サンプリングは公式推奨値

この状態から、自分のGPU、RAM、SSD、用途に合わせて少しずつ詰めるのが、いちばん安全で賢いやり方だにょ。

ローカルLLMは、ただモデルを入れる時代から、推論設定を理解して育てる時代に入ってきたにょ。
Qwen3.6 MTP GGUFとLM Studioは、その変化を体感するには最高の組み合わせだにょ。

きらにょんは、これからもローカルLLMの深いところを、やさしく、でも本気で解説していくにょ。

記事が参考になりましたら、スキ押していただけるとうれしいにょ。

あとよかったら、このガチの搾取問題も読んで広めてくださいだにょ。

より良い社会への貢献＋うまくいけばバズってインプレ稼げるかもにょ。

腐った社会の仕組みを正そう！

LM StudioでQwen3.6 35B-A3B / 27B MTP GGUFを最適設定する！MTP、サンプリング、KVキャッシュ、mmap、VRAM管理までまとめるローカルLLM実用ガイド

LM StudioでQwen3.6 35B-A3B / 27B MTP GGUFを最適設定するにょ

MTP、サンプリング、KVキャッシュ、mmap、VRAM管理までまとめるローカルLLM実用ガイド

1. まずMTPとは何かにょ？

2. 通常のSpeculative DecodingとMTPは違うにょ

3. LM StudioでMTPを使う条件だにょ

4. Qwen3.6はThinking modeが基本だにょ

5. 公式推奨サンプリング設定だにょ

Qwen3.6-27Bの推奨値

Qwen3.6-35B-A3Bの推奨値

6. きらにょん式プリセットだにょ

プリセットA：普段使い・調査・長めの文章作成

27B dense

35B-A3B

プリセットB：コード・設定・正確性重視

プリセットC：非Thinking・短く直接答えさせたいとき

7. 各サンプリング設定の意味だにょ

temperature

top_k

top_p

min_p

presence_penalty

repetition_penalty

8. MTPの設定はどこから始めるべきかにょ？

9. MTPが効きやすいタスク・効きにくいタスクだにょ

10. LM Studioのロード設定だにょ

Flash Attention

KV cache quantization

mmap

Keep model in memory

11. コンテキスト長の考え方だにょ

12. VRAM 96GB環境での現実的な推奨設定だにょ

まず試すロード設定

13. Qwen3.6-35B-A3Bと27B denseの使い分けだにょ

Qwen3.6-35B-A3Bが向く場面

Qwen3.6-27B denseが向く場面

14. うまくいかないときのチェックリストだにょ

速度が出ない

SSDに大量書き込みが出る

出力が変・繰り返す

15. 最終おすすめ設定まとめだにょ

Qwen3.6-27B MTP GGUF

Thinking一般用途

Qwen3.6-35B-A3B MTP GGUF

Thinking一般用途

コード・設定・正確性重視

非Thinking・短答重視

16. きらにょんの結論だにょ

いいなと思ったら応援しよう！