#2　🌙ルナと学ぶ、本当に初めてのローカルLLM｜27BのAI本体を入れて、最初の返事をもらう

前回は、ローカルLLMを動かすためのアプリ「LM Studio」をWindowsへインストールし、最初の画面を開くところまで進みました。

ただし LM Studioを入れただけでは、まだAIとは話せません。

LM Studioは.AIモデルを探し PCへ保存し、読み込んで使うための場所です。文章を考えて返事をする「AI本体」にあたるモデルは、これから自分で選んで入れる必要があります。

今回使用しているPCは次の構成です。

・CPU：Intel Core i7-4790K
・メモリ：16GB
・GPU：NVIDIA GeForce RTX 5060 Ti 16GB
・OS：Windows11
・LM Studio：0.4.20

かなり古いCPUとメモリ16GBのPCに VRAM 16GBのGPUを載せた構成です。

今回は、このPCへ「Qwen3.6 27B」を入れます。モデル選びで出てくる27Bや量子化の意味も確認しながら、実際に日本語の返事が来るところまで進めます。

LM Studioは入った。でもAI本体はまだない

🌙Luna
「前回は この画面が開いたところで終わりました。真ん中にNew chatってあります」

🧠Ryo_AI
「今入っているのはLM Studioというアプリだけです。今回は 文章を考えて返事をするAIモデルをPCへ入れます」

🌙Luna
「わかりました」

🧠Ryo_AI
「画面左端の縦メニューにある、虫眼鏡が付いたモデル検索のマークを押してください」

【操作】
画面左端にある、虫眼鏡付きのモデル検索マークを押す。


─────────────────────────

モデルが多すぎて、最初から迷う

🌙Luna
「急にたくさん出てきました、Gemma、Qwen、12B、27B……どれが何なのか、、」

🌙Luna
「いちばん上に出ているGemma 4ってあります」

🧠Ryo_AI
「今回はGemma 4ではなく、左側の候補にあるQwen3.6 27Bを使います。まだDownloadは押さず、まずモデルの詳細を開きます」

🌙Luna
「27B？　今回 それ選ぶ理由を簡単におしえて」

🧠Ryo_AI
「Bはbillion、10億を表します。27Bは、約270億個のパラメータを持つモデルです。パラメータは、AIが文章を作るために使う大量の調整値だと考えてください」

🧠Ryo_AI
「一般には、小さいモデルほど軽くて速く、大きいモデルほど複雑な指示や文章で高い性能を期待できます。ただし、大きければ必ず良いわけではなく、必要なメモリも増えます」

🧠Ryo_AI
「今回は初心者全員に27Bを勧めるのではありません。RTX 5060 TiのVRAM 16GBで、どこまで大きなモデルを実用的に動かせるのか試すため、27Bを選びます。小さいモデルとの詳しい違いは、後の回で実際に比較します」

🌙Luna
「その27Bは…… 」

🧠Ryo_AI
「左側にあるQwen3.6 27Bを押してください」

【操作】
左側の候補一覧から「Qwen3.6 27B」を押す。



【GPUのVRAM別に見る、モデル規模の大まかな目安】

・VRAM 8GB：9B前後のQ4を入口にする
・VRAM 12GB：14B前後のQ4を入口にする
・VRAM 16GB：今回のような27BのQ3も候補になる

これは固定の正解ではありません。同じ規模でもモデルの構造、量子化、Context Lengthなどで必要なメモリは変わります。最終的には、LM Studioに表示される推定メモリと推奨表示を確認します。

👀  Lunaの場合 モデル検索画面を開いた時点で左側の候補にQwen3.6 27Bが出ていましたが、環境によって出ない場合も追加します。
○出ている人：左側のQwen3.6 27Bを押す
○出ていない人：上部の検索欄へ Qwen3.6 27B と入力

─────────────────────────



最初に出た17.48GBは、そのまま入れない

🌙Luna
「Qwen3.6 27Bが開きました。でも、いちばん小さいものでも17.48GBと出ています」

🧠Ryo_AI
「モデルファイルの容量と実際のVRAM使用量は完全に同じではありませんが、17.48GBでは16GBのVRAMへ余裕を持って収められません」

🧠Ryo_AI
「ですが、動かせないとは限りません。GPUへ収まらない部分をPCのメモリやCPU側へ回して動かす方法もあります。ただし、今回のCPUは古いi7-4790Kなので、処理の一部がCPU側へ回ると遅くなりやすいです」

🌙Luna
「同じQwen3.6 27Bなのに、17.48GB、23.01GB、29.53GBと何種類もあるのはなぜですか？」

🧠Ryo_AI
「量子化の違いです」

🌙Luna
「量子化？ 急に難しくなりました💦」

🧠Ryo_AI
「正確には普通のファイル圧縮とは違いますが、イメージしやすく言うなら、同じAIをZIPのように圧縮して軽くするようなものです」

🧠Ryo_AI
「実際には、AIの中にある大量の数字を、少ない情報量で表せるように簡略化しています。27Bという約270億のパラメータ数は変わりません。各パラメータの数字を、どれくらい細かく保存するかが変わります」

🧠Ryo_AI
「Q3やQ4は、その簡略化の度合いを示す量子化の種類です。大まかにはQ3の方が軽く、Q4の方が重い代わりに、元の情報を残しやすくなります」

🧠Ryo_AI
「軽くするほど少ないメモリで動かしやすくなりますが、性能が少し落ちる可能性もあります。量子化は、軽さと性能の釣り合いを見て選びます。詳しい仕組みや種類の違いは、後の回で改めて扱います」

🌙Luna
「何となくわかった気がします。どれにしますか？」

🧠Ryo_AI
「この一覧からは選びません。同じQwen3.6 27Bを、もっと軽いQ3で配布している別のページを探します」

🧠Ryo_AI
「モデル検索欄へ　unsloth/Qwen3.6-27B-GGUF  の文字をそのまま入力してください」

【操作】
モデル検索欄へ、次の文字をそのまま入力する。

unsloth/Qwen3.6-27B-GGUF


────────────────────────


同じ27Bの、14.20GB版を見つける

🌙Luna
「今度は14.20GBと出ました。さっきより小さくなっています」

🧠Ryo_AI
「はい。unslothが配布しているQwen3.6 27BのGGUF版です。今はQ3_K_Sが表示されています」

🌙Luna
「Q3_K_Sですね？」

🧠Ryo_AI
「右端の上下矢印を押し、選べる量子化の一覧を確認します」

【操作】
14.20GBと表示されている欄の右端にある上下矢印を押す。

🌙Luna
「またたくさん出てきました。Q3_K_Sの横に👍がついてますね」

🧠Ryo_AI
「LM Studioが、このPCで使う候補として勧めている印です。ただし、最も性能が高いという意味ではありません。メモリへ収めやすさと品質の釣り合いを見た推奨です」

🧠Ryo_AI
「今回は、👍が付いたQ3_K_Sの14.20GBを選びます。すぐ下のQ3_K_Mは15.43GBです。16GB未満ではありますが、Windowsの画面表示やモデルを動かすためのメモリも必要なので、初回は余裕を残します」

🌙Luna
「Q3_K_Sを押しまーす」

🧠Ryo_AI
「はい。Q3_K_Sを押し、一覧が閉じたら右側のDownloadを押してください」

【操作】
1．「Q3_K_S 14.20GB」を押す。
2．選択欄がQ3_K_Sになっていることを確認する。
3．右側の「Download 14.20GB」を押す。
4．ダウンロードが終わるまでLM Studioを閉じずに待つ。

14.20GBを受信するため、通信環境によっては時間がかかります。


─────────────────────────

Download Completed!――AIモデルの保存は完了

🌙Luna
「Download Completed!と出ました」

🧠Ryo_AI
「はい、Qwen3.6 27BのQ3_K_S、14.20GBのモデルファイルはPCへ保存できました」

🌙Luna
「やっと出来たんですね！」

🧠Ryo_AI
「その前に、モデルをNVIDIAのGPUで動かすための実行部品も正常に入ったか確認します。画面右上のダウンロードマークを押してください」

【操作】
画面右上のダウンロードマークを押し、Downloadsを開く。


────────────────────────

赤いEPERMエラーが出た❗️

🌙Luna
「赤いエラーが出ています！ ダウンロードも失敗ですか？」

🧠Ryo_AI
「いいえ。下のCompletedを見ると、Qwen3.6 27B Q3_K_Sは完了しています。14.20GBのモデル本体を取り直す必要はありません」

🌙Luna
「じゃあ、この赤いエラーは何ですか？」

🧠Ryo_AI
「止まったのは、NVIDIAのGPUでモデルを実行するためのllama.cppランタイムです。EPERMは、Windows側でファイルの名前変更などの操作が許可されなかった時に出るエラーです」

🌙Luna
「最初からやり直さなくても大丈夫ですか？」

🧠Ryo_AI
「この段階では必要ありません。赤いエラー行の右端にある丸い矢印を押し、失敗した実行部品だけ再試行します」

【操作】
EPERMエラー行の右端にある丸い矢印を押し、再試行が終わるまで待つ。

エラーが出てない人は　そのまま次へ

🌙Luna
「赤い表示が消えました」

🧠Ryo_AI
「Downloadsの中がすべてCompletedになったので、実行部品の再試行も成功です。Downloadsを閉じ、Chat画面へ戻ります」


────────────────────────

ダウンロードしただけでは、まだチャットに読み込まれていない

🌙Luna
「この画面へ戻りました。Chatのマークが、吹き出しには見えないので少し迷いますね？」

🧠Ryo_AI
「このバージョンでは、左上で紫色になっているマークがChatです。今はChat画面を開けています。中央のNew chatを押してください」

【操作】
画面中央の「New chat」を押す。

🌙Luna
「Pick a modelと出てます」

🧠Ryo_AI
「モデルはSSDへ保存されていますが、このチャットで使うためのメモリには、まだ読み込まれていません。画面下のPick a modelを押してください」

【操作】
入力欄の左下にある「Pick a model」を押す。

🌙Luna
「Qwen3.6 27Bが出てきました。これを押せばいいですか？」

🧠Ryo_AI
「はい。Qwen3.6 27Bを押してください。モデルをメモリへ読み込む前の設定画面が開きます」

【操作】
モデル選択メニューの「Qwen3.6 27B」を押す。


─────────────────────

Load Modelの前に、16GBと比べる数字を確認する

🌙Luna
「GPU 13.20GBとTotal 15.64GBってありますけど、どちらを16GBと比べればいいんですか？」

🧠Ryo_AI
「VRAM 16GBと直接比べるのは、GPU欄の13.20GBです。これは、現在の設定でGPUメモリをどれくらい使うかという推定です」

🧠Ryo_AI
「Total 15.64GBは、モデルを動かすために使うメモリ全体の推定です。15.64GBすべてがグラフィックボードへ入る、という表示ではありません」

🌙Luna
「じゃー、Context Lengthの8192は、何の数字ですか？」

🧠Ryo_AI
「モデルが一度に参照できる会話や文章の量に関係する設定です。大きくすると長い内容を扱えますが、必要なメモリも増えます。初回は8192のままにします」

🌙Luna
「GPU Offloadの53は何ですか？」

🧠Ryo_AI
「モデルの処理を、どこまでGPU側へ回すかを決める設定です。今回は自動で出た53のまま、まず正常に読み込めるかを確認します。速度を上げる調整は、動作確認が終わってから別に行います」

🌙Luna
「次は、、Load Model、これが読み込みですね」

🧠Ryo_AI
「はい。Remember settingsにはまだチェックを入れず、右下のLoad Modelを押してください」

【操作】
1．Context Lengthは8192のまま。
2．GPU Offloadは53のまま。
3．Remember settingsは未チェックのまま。
4．右下の「Load Model」を押す。

🌙Luna
「上に青い線が伸びています」

🧠Ryo_AI
「モデルをメモリへ読み込んでいる途中です。青い進行表示が終わるまで待ちます」

🌙Luna
「青い線が消えました」

🧠Ryo_AI
「入力欄にQwen3.6-27B-GGUFと表示され、モデルの読み込みは完了しました」

🧠Ryo_AI
「初回は、画面に出ているThinkをオンのままにします。まず初期状態で返事が来るか確認し、その後でオンとオフの違いを試します」


────────────────────────

最初の日本語を入力する

🧠Ryo_AI
「画面下の入力欄へ、次の文章をそのまま入れてください」

こんにちは。日本語で簡単に自己紹介してください

🌙Luna
「入力できました。右下の紫色の矢印で送るんですね？」

🧠Ryo_AI
「はい。その矢印を押してください。ここで、ダウンロードした27Bが実際に日本語で返答できるか確認します」

【操作】
入力欄右下の紫色の送信矢印を押す。

🌙Luna
「Thinking……と出たまま、なかなか返事が始まりません。止まってしまったんでしょうか？」

🧠Ryo_AI
「処理自体は続いています。Thinkがオンなので、回答の前に推論を生成しています。まずは、どれくらいかかるか待って確認します」


─────────────────────────

返事は来た……    でも自己紹介だけで1分36秒

🌙Luna
「返事は来ました。日本語で自己紹介もできています」

🌙Luna
「でも、Thought for 1 minutes 36 secondsと出ています。自己紹介だけで1分36秒は、さすがに遅くないですか？」

🧠Ryo_AI
「時間かかってますね。 ただし この時点で27BそのものやGPUが遅いと決めることはできません。画面下のThinkが青くなっていて、回答前の推論に1分36秒を使っています」

🌙Luna
「Thinkを切ったら、AIが考えなくなるんですか？」

🧠Ryo_AI
「AIの返答機能が止まるわけではありません。Thinkは、答える前に追加の推論を行うかどうかの設定です。単純な質問で毎回長く推論する必要はないため、同じ質問をThinkオフでもう一度試します」

【操作】
1．入力欄にある青い「Think」を押し、灰色のオフ状態にする。
2．回答の下にある丸い矢印を押し、同じ質問を再生成する。


Thinkオフで再生成してみる
Thinkが灰色になっている


🌙Luna
「5-6秒考えた後に返事を書き出してトータル　15秒くらいまでで返事がきました。」

🧠Ryo_AI
「これで、Qwen3.6 27BはこのPCで読み込めること、日本語で返答できること、単純な会話はThinkをオフにすれば速くなることを確認できました」

🌙Luna
「このくらいの早さなら全然問題ないですよ」

🧠Ryo_AI
「今回はThinkの違いだけを確認しました。GPU Offloadは53のままなので、まだ速度を上げられる余地があります。長い文章や難しい作業でThinkを使うべきかも、実際の作業で確認が必要です」


────────────────────────

今回できたこと

今回は、次のところまで進みました。

・LM Studioのモデル検索画面を開いた
・Qwen3.6 27Bを選んだ
・17.48GBのQ4_K_Mはそのまま入れず、軽い量子化を探した
・unsloth版のQ3_K_S 14.20GBをダウンロードした
・EPERMで止まったNVIDIA用実行部品だけを再試行した
・ダウンロードしたモデルをチャットへ読み込んだ
・Context Length 8192、GPU Offload 53で初回起動した
・日本語の自己紹介を返せることを確認した
・Thinkオンでは1分36秒、オフでは大幅に待ち時間が減ることを確認した


モデルをダウンロードできたことと、実際に快適に使えることは別です。

今回は、まず「このPCで27Bが動き、日本語で返事をする」ところまで到達しました。次はGPU Offloadを調整し、古いi7-4790Kへ回っている処理をできるだけRTX 5060 Ti側へ移します。


🌙Luna
「さっき話に出たGPU Offloadを触れば　もっと早くなる可能性あるんです」

🧠Ryo_AI
「次回は、その53を変えると何が起きるのか、GPUとCPUの使用率を見ながら確認します」


【❓】予定⁉️
#4　Qwen3.6 27Bはなぜ遅かった？　ThinkとGPU Offloadを実測する

2の次が4になります

※LM Studioは更新により、画面構成やボタン名が変わる場合があります。この記事では、実際に導入した時点の画面を使って進めています。


とりあえず会話できるところまで来ました。
普通に使うことはできます。
あとはコレをどう上手く使うかになります。

あとは応用編になります。
－－－－－

次回は　#3  Ｑ＆Ａ　39選

高価なグラフィックボード無しで使う方法はあるのか？
ちょっとしたコツやQ&A方式で色々お話しできたらと思います。

🌙
note・AI・SNS考察系のアカウントを育てています
気になった方、近いジャンルの方は、フォローorいいね👍  いただけたら見に行きます

あとから新しいバージョンが出ても大丈夫なんですか？

🌙Luna
「この記事で紹介しているモデルは、あとから新しいバージョンが出ても大丈夫なんですか？」

🧠Ryo_AI
「はい。AIモデルは、その後も新しいバージョンや別のモデルが次々に公開されます。そのため、記事を読んだ時点では、表示されるモデル名や候補が少し変わっている可能性があります」

🌙Luna
「画面が記事と違っていたら、初心者は迷いそうですね」

🧠Ryo_AI
「ただ、心配しなくても大丈夫です。LM Studioでモデルを検索し、容量や量子化の種類を確認してダウンロードし、PCへ読み込むという基本的な流れは、ほぼ同じです」

🌙Luna
「つまり、記事と同じモデルが見つからなくても、操作の順番を参考にすればいいんですね」

🧠Ryo_AI
「その通りです。この記事では、実際に導入した時点の画面を使って説明しますが、後から新しいモデルや更新版が出た場合も、基本的には同じ手順で導入できます」

－－－－－－

追記
この記事の作成後に Qwen3.8 27Bが8/15リリースされました。導入手順は同じです。
今回は　Q3にXXS 9.94GB版も出ています。