#4　🌙ルナと学ぶ、本当に初めてのローカルLLM｜設定を触ると Qwen の返事は早くなる？

後半　あまりそこらに載ってない調整やります！
絶対必要だと思います

#2で　Qwen3.6 27BをPCへ入れて、日本語で最初の返事をもらいました。

ただし、Thinkをオンにした状態で自己紹介を頼むと、画面には

Thought for 1 minutes 36 seconds

と出ました。

でも自己紹介だけで1分36秒は、さすがに待てないです。

前回の最後に、GPU Offloadを調整すれば、古いi7-4790Kへ回っているかも知れない処理を、RTX 5060 Ti側へ任せられるかもしれないと書きました。

今回は、#2でそのままにしていた設定を、実際に触ってみます。

────────────────────────

前回、27Bを読み込む前の画面には、GPU Offloadという数字がありました。
その時は、自動で表示された53のまま読み込みました。

さぁ設定

🌙Luna
「前回、GPU Offloadを触ればもっと早くなるかもしれないって言ってましたよね？」

🧠Ryo_AI
「はい。前回は、まず27BがこのPCで正常に動くかを優先しました。最初から数字を変えて、動かなくなったら何が原因か分からなくなるためです」

🌙Luna
「じゃ早くなると嬉しいので次お願いしまーす」

🧠Ryo_AI
「今回は、どこまでGPU側へ任せられるか確認します。読み込んだ27Bの横にある歯車を押してください」

【操作】

1．読み込んでいるQwen3.6 27Bの横にある歯車を押す
2．モデルごとの設定画面を開く

─────────────────────────

GPU Offloadを53から64へ上げる

🌙Luna
「GPU Offload って結局どんな設定ですか？」

🧠Ryo_AI
「27Bが返事を作る時の処理を、CPUではなくGPUへどこまで任せるかの設定です」

🧠Ryo_AI
「前回は53までGPUへ任せていました。今回のモデルでは、64まで上げられます」

🌙Luna
「とりあえず最大まで上げちゃいます？」

🧠Ryo_AI
「はい、それで今回のRTX 5060 Ti 16GBで読み込めるなら、古いCPU側へ回る処理を減らせます」

GPU Offloadを53から64へ変更しました。

その下にある、CPUスレッドプールサイズも3から4へ変更します。

🌙Luna
「CPUの方は、4にしていいんですか？」

🧠Ryo_AI
「GPUへ任せきれない処理や、周辺の処理にはCPUも使います。今回は3ではなく4で試します」

🌙Luna
「下のMax Concurrent Predictionsは、1のままでいいんですか？」

🧠Ryo_AI
「一人で使う今回は1のままで大丈夫です。同時に複数の返事を作らせる数なので、多くしたから一つの返事が速くなる数字ではありません」

今回は、細かい数字を全部いじりません。

変えたのは、この二つだけです。

・GPU Offload：53 → 64
・CPUスレッドプールサイズ：3 → 4

Context Lengthの8192は、前回のまま変更しません。

⚠️❗️他の人モデルやVRAMサイズが違う方
あとでもう一度注意書きしますが
設定は上のVRAM TOTALを見てやります
（GPUオフロードはVRAMサイズ以内にした方がいい）

───────────────────────

🌙Luna
「64と4に変わりました」

🧠Ryo_AI
「まだです。今開いている27Bは、前の53と3で読み込まれた状態です。一度読み込み直します」

【操作】
画面下に表示された「再読み込み」を押す。

モデルを読み込み直し、GPU Offload 64とCPUスレッドプールサイズ4の状態で27Bを開き直しました。

─────────────────────────

もう一度、自己紹介をしてもらう

前回と同じように、27Bへ自己紹介を頼みます。

Thinkはオンのままです。

こんにちは。日本語で簡単に自己紹介してください

🌙Luna
「Thinkingが出ました」

しばらくすると、返事が表示されました。

画面に出た時間は、

Thought for 24.24 seconds

🌙Luna
「24.24秒です。前回は1分36秒でしたよね？」

🧠Ryo_AI
「はい。同じQwen3.6 27Bです。モデルを軽いものへ入れ替えたわけではありません」

🧠Ryo_AI
「GPUへ任せる量を53から64へ上げ、CPU側の設定も3から4へ変えたことで、前より待ち時間が短くなりました」

前回は、自己紹介だけで1分36秒。

今回は、24.24秒。

約72秒短くなりました。

もちろん、返事の長さや質問の内容で時間は変わります。

文字数まで完全に揃えたベンチマークではありません。

それでも、前回は「27Bって、こんなに遅いのかな」と思った自己紹介が、24秒台まで縮みました。

🌙Luna
「Thinkをオフにすれば速かったですけど、オンのままでもここまで変わるんですね」

🧠Ryo_AI
「そうです、27Bそのものが急に軽くなったのではなく、自分のPCにあるGPUを、前より使える状態に近づけたということです」

ちなみにThinkを外せば　一瞬で解答してくれます

👀　 設定は、GPUのVRAMや　CPUの性能によって変わりますがTOTAL GPUが許すなら フルで上げちゃってくださいw  上げてから比べて　どちらが良いか選べば良いも思います。

⚠️ただし　コンテキストとオフロードの設定は16GBなら16GB  8GBなら8GBに収まるように
GPUとTOTALがありますが　できるだけ両方　それ以内に収まるようにしてください。

─────────────────────────

今の時点でやった事

・前回そのままにしたGPU Offload 53を確認した
・GPU Offloadを64へ上げた
・CPUスレッドプールサイズを3から4へ上げた
・変更後、モデルを再読み込みした
・Thinkオンの自己紹介が、1分36秒から24.24秒になった

27Bを入れたら、それで終わりではありません。

－－－－－－

賢さを見てみる？はずが、トラブル💦

🧠Ryo_AI
「ここまで色々会話してみましたが、普通のやり取りは特に問題なさそうですね」

🌙Luna
「質問したらちゃんと返ってくるし、普通に話すだけなら困らなさそうです」

🧠Ryo_AI
「では、そろそろ賢さの方を調べてみますか？」

🌙Luna
「？？？」

🧠Ryo_AI
「簡単なクイズではなく、条件を大量に渡して、その条件を守ったまま最後まで作業できるか試します」

🌙Luna
「何か難しそうですねぇ」

🧠Ryo_AI
「今回はPythonコードの保守作業をやらせます」

今回入れた指示はかなり長めでした。
（ここ分からなくて、大丈夫です）
内容を簡単にまとめると、

注文ログを復元するPythonプログラムを渡し、仕様を理解したうえで複数のバグを特定。
公開インターフェースを壊さず修正し、指定された大量の境界条件を含む自動テストを作成。
最後に修正版コード、テストコード、DEBUG_REPORTまで出力させる。

さらに、

「質問禁止」
「最低25テスト」
「指定された34項目を全部どこかで検証」
「最後にEND_OF_BENCHMARKまで出す」

など、途中で条件を落とすと失敗になるようにしてあります。

🌙Luna
「何となくですけど、だいぶ大変そうですね」

🧠Ryo_AI
「コードを書く能力だけではなく、長い仕様を追い続けられるかも見られます」

では、そのまま実行。

しばらく考えて……

コードも出し始めました。

ところが………

あれ？　途中で止まった

画面下を見ると

停止理由：コンテキスト長制限に到達

🌙Luna
「……あれ？　止まってます？？」

🧠Ryo_AI
「はい、回答内容の途中でコンテキスト上限に到達しています」

🌙Luna
「まだ途中なんですけど……」

🧠Ryo_AI
「今回の表示を見る限り、その状態です」

コンテキストは、AIの作業机の広さみたいなものです。
短い質問なら、机はあまり埋まりません。

でも今回は
長い指示を置く
途中の条件も置く
考えた内容も置く
長い返事も出す
ので机がどんどん埋まっていきます。

そして机がいっぱいになると、まだ作業中でも止まるという感じです。

🌙Luna
「これ、長く使おうとすると結構困らないですか？」

🧠Ryo_AI
「困りますね、今回だけの話ではなく 会話を積み重ねて使う場合は同じ問題が出てきます」


コードを直してもらう
長い文章を書いてもらう

こうやって普通に使っているだけでも、会話履歴はどんどん増えていきます。

🌙Luna
「じゃあ、ある程度まで使ったら毎回止まるんですか？」

🧠Ryo_AI
「今の状態のままなら、コンテキスト上限へ到達したところで生成が止まる可能性があります」


止まれば新しいチャットを始めれば良いだけなので簡単です。しかし 新しいチャットを作ると、それまで積み上げた会話はそのまま引き継がれません。

🌙Luna
「最初からまた説明するんですか？」

🧠Ryo_A
「必要な条件は、もう一度渡すことになります」

たとえばコード作成なら
「さっき決めたこの仕様で」

記事作成なら
「前に決めた構成の続きで」

普通の相談でも、
「さっき話してた条件を使って」
こういう使い方ができなくなってきます。


これでは結構面倒です。

🌙Luna
「ローカルLLMなら好きなだけ使えるはずなのに、チャットを何回も作り直すのはちょっと違いますね……」


🌙Luna
「これ、何とかできないんですか？」

🧠Ryo_AI
「できます、でもLM Studio側でその設定が隠されていて初心者だと間違いなく触れないようになってます」

🌙Luna
「えー、そうなんですか？　教えてください💦」


ここからは、コンテキストがいっぱいになっても、その場で止まりにくくする隠された設定を実際に変更してみます。

※LM Studioは更新により、画面構成やボタン名が変わる場合があります。この記事では、実際に導入した時点の画面を使って進めています。




🌙
note・AI・SNS考察系のアカウントを育てています
気になった方、近いジャンルの方は、フォローorいいね👍  いただけたら見に行きます