#5 🌙ルナと学ぶ、本当に初めてのローカルLLM｜LM Studio 「コンテキスト長制限」で止まったので設定を変えてみた

前回 #4
27Bの賢さを試すために長文テストをしたところ  「コンテキスト長制限に到達」  で途中停止してしまいました。

ローリングウインドウ

🌙Luna
「Ryo、制限の話は何とかできるんですよね？」

🧠Ryo_AI
「できますよ？ 今回は、その設定を変えて同じ長文テストをもう一度試します」

🌙Luna
「お願いしまーす」

まず、今まで隠れていた設定を出します。

⸻

Developer ModeをONにする

まず左下の歯車から設定を開きます。

上から3つ目の Developer を開いて
Developer mode → ON      にします。


🌙Luna
「オンにすると、色々出てきましたけど他はそのままで良いんですか？」

🧠Ryo_AI
「今回はDeveloper ModeをONにするだけで大丈夫です。ここに表示されているほかの項目は触らず戻ります」

これをONにすると、今まで通常画面では見えていなかった設定項目も使えるようになります。

⸻

チャット右上からサイドバーを出す

チャット画面へ戻ります。
右上を見ると、ダウンロードマークの横にアイコンがあります。

ここを押すと、チャットの右側にサイドバーが出ます。

🌙Luna
「ここは今まで触ってなかった場所ですね？」

🧠Ryo_AI
「普通に会話するだけなら、開かなくても使えますからね」

⸻


そして、トンカチ🔨の横にあるスライダーを押す

サイドバー上部には、トンカチのようなアイコンとスライダーのようなアイコンがあります。

今回は右側のスライダーを押します。

すると、Model Parameters  が表示されます。

そのまま少し下へスクロール


「設定」を展開する

設定という項目があるので開きます。

すると　Temperatureなどに混じって、コンテキストオーバーフロー　という項目があります。

ここが今回触りたかったところです。　　

－－－－－－

【超大事‼️】

「ローリングウィンドウ」に変更

コンテキストオーバーフローを、ローリングウィンドウに変更します。


🌙Luna
「ローリングウィンドウって何ですか？」

🧠Ryo_AI
「コンテキストが増えてきた時に、古い部分を外しながら新しい内容を入れていく方式です」

🌙Luna
「ずっと全部覚えてるわけではないんですね？」

🧠Ryo_AI
「そこは別です、古い情報がWindowの外へ出れば、その部分を直接参照できなくなります。長い会話を完全保存する機能ではありません」

つまり、止まらず続けやすくなる代わりに 古い文脈は順番に外れていく。　ここは覚えておいた方がいいです。

⸻


毎回設定するのは面倒なのでプリセットへ

せっかく変更しても、毎回同じ設定を探すのは面倒。

上にあるプリセットから保存しておきます。

今回は分かりやすいように、Qwen3.6_0812     として保存。


🌙Luna
「これで毎回設定を開かなくて済むんですねぇ」

🧠Ryo_AI
「はい。同じModel Parametersを使うなら、毎回一から設定する必要がなくなります」

　
追記:‼️
【ローリングウインドウでダメな人！】
基本的にこれで使えるようになるはずですが……
なぜかそれでもダメな人！
この記事の1番下を見て下さい。。。

⸻

コンテキストを大きくして使いやすくしましょう

モデルをロードする時のコンテキストを広げて行きます。同時に量子化も行います。
最初にモデルのロード時の設定で下にスクロールします。

モデルのK/Vキャッシュの量子化はQ8

さらに詳細設定を下へスクロール。

Kキャッシュ量子化タイプ → Q8_0

Vキャッシュ量子化タイプ → Q8_0

この両方を設定をします。

🌙Luna
「QにするとGPUの容量に余裕が出来ました！」

🧠Ryo_AI
「Q8以外に 軽さだけならQ4などもあります。ただ今回は、長いコンテキストを入れたいのでVRAMは節約したい。でも精度もあまり落としたくない。その中間としてQ8を選んでいます」

そもそもK/Vキャッシュは、AIが会話を続けるために使う一時的な記憶領域のようなものです。

会話が長くなるほど、このキャッシュも大きくなってVRAMを使います。

通常のf16よりQ8_0に量子化すると、KVキャッシュに必要なメモリをかなり減らせます。llama.cppではK/Vともにf16が標準で、q8_0を含む複数の量子化形式を選択できます。 実測例では、f16同士のKVキャッシュ5,120MiBに対してQ8_0同士は2,720MiBで、約1.9倍圧縮された例もあります。

🌙Luna
「でも返事がおかしくなったりしないんですか？」

🧠Ryo_AI
「量子化なので、理屈の上ではf16より精度は少しだけ落ちます。ただQ8はQ4ほど強く圧縮しないので、VRAM節約と精度のバランスを取りやすい設定です」

今回の目的は、

できるだけ精度を残しながら、31,000のコンテキストをVRAM内へ収めること。

なので、いきなりQ4まで下げずにQ8_0 / Q8_0から試しています。

ただし、ここは「Q8ならどんなモデルでも絶対問題なし」という意味ではありません。KVキャッシュ量子化はモデルや実行環境によって相性があります。実際、llama.cppでは一部のモデルやバックエンドで量子化KVキャッシュに関する不具合報告もあります。

今回のQwen3.6 27B＋RTX 5060 Ti＋LM Studioでは、このQ8設定で実際に長文テストを行い、最後まで出力できるかをこのあと確認します。


🌙Luna
「今回は精度を落とさずにVRAMを空けたいからQ8なんですね」

🧠Ryo_AI
「そうです、まずQ8で余裕を作って それでも足りなければ次を考える。この順番の方が分かりやすいです」

－－－－－－－－－－

そしてコンテキストを31,000へ

今度は上に戻って最初のコンテキスト長を広げます

GPUとTOTALを見ながらギリギリの少し手前を攻めます
16GBまでに収まってますね！
今回の設定は、31,000 かなり上まで取っています。


🌙Luna
「この場合31,000が推奨値になりますか？」

🧠Ryo_AI
「31,000が全員の正解という意味ではありません。モデルやVRAM、KVキャッシュの設定で使える範囲は変わります」

今回の環境では、これでかなりギリギリ

なので、少し余裕を持たせたいなら、コンテキストをもう少し下げる という使い方でもいいと思います。

最終的には　23000で落ち着きました😊
（Qwenの上限は約32000）

⸻

ここまで設定出来たら 、もう一度モデルをロード。



さっき途中で止まった長文指示を、もう一度入れてみます。

再テスト開始

Thinking………

あれ？入力欄に 「27%」という表示が出てます

カーソルを合わせると、
Current conversation tokens
Total loaded context

そして　27.0% used  


🌙Luna
「これはひょっとして今使ってるコンテキストの量？」

🧠Ryo_AI
「そう見れば分かりやすいです。長い会話をしている時に、今どの程度まで使っているか確認できます」

これは結構便利

今までなら、あとどのくらい余裕があるのか分からないまま会話していたのが、目で見えるようになりました。

⸻

長文テスト中なので 回答が終わるまで時間がかかります
待っている間にGPUの動きを見てみましょう！
RTX 5060 Tiがどのくらい働いているのか確認。

NVIDIA設定パネルで見てみます。

LM Studioで生成中
GPU使用率 約95%
GPU温度 73℃

かなり使っています。

Windowsのタスクマネージャー側も見てみます。

こちらでは、

GPU 1　100%           73℃

🌙Luna
「ほぼ全部使ってますね……」

🧠Ryo_AI
「今回の長文生成中は、GPUをかなり高い負荷で使っています。一方、CPUやメモリにはまだ余裕があります」

少なくとも今回、RTX 5060 Tiを積んだのに全然使ってない  という状態ではありません。
27Bに長文作業をさせると、ちゃんと働いています。

⸻

回答はどんどん続きます
修正版のPythonコード
続いてテストコード
さらにDEBUG_REPORT

🌙Luna
「今度は止まらないですね」

🧠Ryo_AI
「今回はコンテキスト上限で停止せず進んでいますね」

そして最後

🌙Luna
「END_OF_BENCHMARKと出ました！」

🧠Ryo_AI
「少なくとも今回のテストでは、同じような長文作業を最後まで完走できました」

⸻

ローリングウィンドウをONにすれば全部解決？

ここは少し注意。

今回、停止していた長文テストが、設定変更後は最後まで出力できた事、これは実際に確認できました。

ただし、ローリングウィンドウ＝無限コンテキスト　ではありません。

🌙Luna
「止まらなくなる代わりに、何でも永久に覚えられるようになるわけじゃないんですね」

🧠Ryo_AI
「そうです。今回の目的は＂コンテキストを無限にすること＂ではなく、上限に来た時の扱いを変えて、長い作業を続けやすくすることです」

⸻

で、27Bは賢かったの？
そもそもの目的はこれでした。

27Bはどのくらい賢いのか？

ところがテストしていたら、先にコンテキスト側の問題にぶつかってしまいました。

🌙Luna
「賢さを調べようとしたら、設定の方を先に直す事になりました（笑）」

🧠Ryo_AI
「ただ、これもローカルLLMを使う時には大事な部分です。モデルの能力だけ見ても、実際に長い作業を最後まで処理できなければ使いにくいですからね」

短い質問なら普通に答える
長い指示も理解して進められる

必要なら過去の会話をコピーして貼り付けたり、会話をファイルに出力して読み込ませる

コレでLM STUDIO で普通にローカルAIを使う事ができます。

ファイルも読み込めるし　画像も読み込んで判断する事が出来ます。


ここからは使い方次第で色々便利に使う事が出来ます😊

また　機会があれば　携帯から自宅のLLMを操作
クラウドAIとの連携　Python環境の構築
その他　便利な使い方や他との連携機能など　記事にできたら良いなと思います。

あ！とりあえずオフライン専用じゃなくオンライン併用でQwenが賢くなるプラグインの使い方　それが先かも知れないですねー！

🌙
note・AI・SNS考察系のアカウントを育てています
気になった方、近いジャンルの方は、フォローorいいね👍  いただけたら見に行きます

追記:  これでもダメ？　ええ〜？そんな事ってあります？

ローリングウィンドウでも、うまく動かない時がある？

🌙Luna
「ローリングウィンドウをONにしてるのに、たまに“コンテキスト長制限に到達”みたいな表示が出るチャットがあるんですけど💦」

🧠Ryo_AI
「そこが少しややこしいところです。ローリングウィンドウをONにすれば、理屈上は古い履歴を捨てながら会話を続けられるはずです」

🌙Luna
「はずです？？」

🧠Ryo_AI
「LM Studio 0.4系では、Rolling Windowまわりの挙動が不安定だという報告もあります」

うまく動く時は、古い会話履歴をちゃんと切り捨てて、最近の会話だけを残しながら続けてくれます。

しかし、うまく動かない時は、

* 上限近くになったあと、全履歴を最初から再評価しているように見えて極端に遅くなる
* トークン使用率が100％を超えても止まらない
* 出力が短くなる
* 途中で止まる
* 返答がおかしくなる

こういう挙動になることがあります。

🌙Luna
「えー……じゃあ、運任せなんですか？ 当たり外れみたいな？」

🧠Ryo_AI
「完全に運任せとまでは言いません。ただ、設定だけ見て“これで絶対大丈夫”とは言い切れないです」

ローリングウィンドウは便利です。

ただし、LM Studio本体のバージョン、Runtimeのバージョン、モデル、コンテキスト長、GPU設定の組み合わせによって、挙動が変わる可能性があります。

なので、コンテキスト長制限っぽい挙動が出た時は、Model Parametersだけを見るのではなく、Runtime側も確認すると言う流れになります。

🌙Luna
「Runtime？ また新しい言葉が出てきましたね……」

🧠Ryo_AI
「はい。次はそこを見ます。LM Studio本体をいきなり旧版に戻す方法もありますが、まずRuntime側の更新や切り替えを確認します」

🧠Ryo_AI
「はい、LM Studio本体をいきなり旧版に戻す方法もありますが、次はRuntime画面を開いて、CUDA系のRuntimeを確認していきます」