#3 🌙ルナと学ぶ、本当に初めてのローカルLLM｜初心者が最初に疑問に思うこと全部答えます

個人的に1番知りたかったのはQ39かも知れない

第1章　ローカルLLMとは？

この章で分かること

ローカルLLMを初めて知った人が最初に疑問に思う、

* ローカルLLMとは何か
* ChatGPTとの違い
* 無料で使えるのか
* インターネットは必要なのか

など、基本的な疑問を分かりやすく解説します。

難しい専門用語は後の章で説明しますので、この章では「まず全体像を知ること」を目的に読み進めてください。

⸻

Q1. ローカルLLMって何ですか？

🧠 Ryo_AI
ローカルLLMとは、自分のパソコンへAI本体をダウンロードして利用するAIです。

普段使っているChatGPTやClaudeは、インターネット上のサーバーでAIが動いています。

一方、ローカルLLMは自分のパソコンのCPUやGPUを使ってAIが動くため、自宅に自分専用のAIがいるようなイメージです。

モデルを一度ダウンロードすれば、オフラインでも利用できるものが多く、インターネット環境がなくても文章作成や質問への回答などを行えます。

💡 ワンポイント
「自分のパソコンで動くChatGPT」のようなイメージを持つと理解しやすいでしょう。


⚠️ 注意
ローカルLLMは、ChatGPTそのものをダウンロードするわけではありません。別のAIモデルを自分のパソコンで動かします。


✅ 一言で言うと
ローカルLLM＝自分のパソコンで動くAIです。


⸻

Q2. ローカルLLMは無料で使えますか？

🧠 Ryo_AI
はい、無料で利用できるモデルが数多く公開されています。

ChatGPTのように月額料金が必要なサービスもありますが、ローカルLLMでは無料モデルだけでも十分に楽しめます。

一度ダウンロードすれば追加料金なしで利用できるものも多く、文章作成や要約、アイデア出しなど幅広く活用できます。

もちろん、有料モデルや商用ライセンスが必要なものもありますが、初心者はまず無料モデルから始めるのがおすすめです。


💡 ワンポイント
最初は無料モデルだけでも十分楽しめます。


📝 補足
モデルによって利用規約は異なります。商用利用を考えている場合は、ライセンスを確認しましょう。


✅ 一言で言うと
まずは無料モデルから始めれば大丈夫です。


⸻

Q3. ChatGPTやClaudeとは何が違うの？

🧠 Ryo_AI
一番大きな違いは、AIが動く場所です。

ChatGPTやClaudeは、インターネット上のサーバーでAIが動いています。

ローカルLLMは、自分のパソコンの中でAIが動きます。

そのため、使い方や得意分野にも違いがあります。

クラウドAIは最新情報や各種サービスとの連携が得意な一方、ローカルLLMは自分の環境で自由にモデルを選び、用途に合わせて使い分けられるのが魅力です。

どちらが優れているというより、目的に応じて使い分ける人が増えています。


💡 ワンポイント
クラウドAIとローカルLLMは、ライバルではなく「使い分ける道具」と考えると分かりやすいでしょう。


⚠️ 注意
ローカルLLMは、初期設定やモデルのダウンロードが必要です。最初は少し準備が必要になります。


✅ 一言で言うと
AIが動く場所が違います。



⸻

Q4. ローカルLLMはChatGPTやClaudeより賢いの？

🧠 Ryo_AI
一概には言えません。

最新情報や幅広い知識では、ChatGPTやClaudeなどのクラウドAIが得意な場面も多くあります。

一方で、ローカルLLMにもクラウドAIにはない特徴があります。

利用するモデルによっては、「こちらの方が使いやすい」と感じる場面もあるでしょう。

重要なのは、「どちらが上か」ではなく、「何に使いたいか」です。

用途によって適したAIを選ぶことが大切です。

💡 ワンポイント
AIは性能だけでなく、用途との相性も重要です。


📝 補足
ローカルLLMならではの特徴や、クラウドAIとの違いについては、別の記事で詳しく比較する予定です。


✅ 一言で言うと
用途によって、得意・不得意があります。


⸻

Q5. ローカルLLMの魅力は何ですか？

🧠 Ryo_AI
最大の魅力は、自分専用のAI環境を作れることです。

用途に合わせてAIモデルを自由に選んだり、パソコンの性能に合わせて使い分けたりできます。

また、クラウドAIとは違った特徴を持つモデルもあり、自分に合ったAIを探す楽しさもあります。

ローカルLLMは「一つのAI」ではなく、さまざまなモデルを自由に試せる環境と考えると分かりやすいでしょう。


💡 ワンポイント
同じソフトでも、モデルを入れ替えるだけでAIの性格や得意分野が変わることがあります。


📝 補足
人気モデルは次々と登場しています。新しいモデルへ簡単に切り替えられるのもローカルLLMの魅力です。


✅ 一言で言うと
自分好みのAIを選んで育てられる環境です。


⸻

Q6. ローカルLLMはインターネットも使えますか？

🧠 Ryo_AI
はい。設定や利用するソフトによっては、インターネットを利用できます。

ローカルLLMという名前から「完全オフライン専用」と思われがちですが、実際にはオフラインで利用することも、必要な時だけインターネットへ接続して利用することも可能です。

例えば

* 最新ニュースの検索
* Web検索
* 天気情報
* 株価などの最新データ

を取得しながら回答する構成も作れます。

つまり

「オフラインでも使えるAI」でありながら、「必要な時だけインターネットも利用できるAI」にすることも可能です。


💡 ワンポイント
オフラインとオンライン、どちらか一方ではなく、目的に合わせて使い分けられます。


⚠️ 注意
最新情報を取得するには、インターネットへ接続する設定や対応ソフトが必要になります。


✅ 一言で言うと
ローカルLLMは、オフラインでもオンラインでも活用できます。

第2章　AIモデルとは？

この章で分かること

ローカルLLMを始めると、LM Studioの画面にはたくさんのモデルが並びます。

そこには、

* Qwen
* Gemma
* Llama
* 9B・14B・27B
* GGUF
* Instruct

など、初めて見る名前や記号が大量に出てきます。

この章では、AIモデルとは何なのか、モデル名や数字をどう見ればよいのかを、初心者向けに整理します。

最初からすべて覚える必要はありません。

まずは、モデルを選ぶ時に表示される言葉の意味を、大まかにつかんでおきましょう。

⸻

Q7. AIモデルって何ですか？

🧠Ryo_AI
AIモデルとは、簡単に言えばAIの頭脳にあたる部分です。

LM Studioは、AIそのものではありません。

LM Studioは、モデルを探したり、ダウンロードしたり、読み込んで会話したりするためのソフトです。

実際に質問を読んで回答を作るのは、LM Studioへ入れたAIモデルです。

モデルによって、

* 日本語での会話が得意
* 文章作成が得意
* プログラムが得意
* 論理的な問題が得意
* 小さくて軽い
* 大きくて高性能だが重い

といった違いがあります。

同じLM Studioを使っていても、読み込むモデルを変えると、回答の内容や速度、話し方まで変わることがあります。

スマートフォンで例えるなら、LM Studioが本体や操作画面で、AIモデルが中で動くアプリや頭脳に近い存在です。


💡ワンポイント
LM Studioを入れただけでは、まだAI本体は入っていません。

LM Studioを準備したあと、自分で使いたいモデルを選んでダウンロードします。


✅一言で言うと
AIモデル＝質問を考えて回答するAI本体です。


⸻

Q8. なぜQwenシリーズを選んだのですか？

🧠Ryo_AI
今回の導入では、Qwenシリーズのモデルを選びました。

理由の一つは、日本語で使いやすく、初心者でも比較的試しやすいモデルだからです。

ローカルLLMにはさまざまなモデルがありますが、モデルによって日本語の自然さには差があります。

英語では高性能でも、日本語で質問すると文章が不自然になったり、指示を正しく理解できなかったりするモデルもあります。

Qwenシリーズは日本語を含む複数の言語に対応しており、文章作成、要約、質問への回答、アイデア出しなど、幅広い用途で試せます。

また、利用者が多く、モデルの種類や量子化版も豊富です。

分からないことが出た時に、検索やAIへの質問で情報を見つけやすい点も、初心者には重要です。

今回は

* 日本語で会話しやすい
* 性能の異なるモデルを選べる
* 利用者や情報が比較的多い
* 27Bクラスを実際に試したかった

という理由から、最初のモデルとして選びました。


💡ワンポイント
最初のモデルは、性能だけでなく、困った時に情報を見つけやすいかも大切です。

利用者が多いモデルほど、導入方法や設定例を探しやすくなります。


⚠️注意
Qwenがすべての用途で一番という意味ではありません。

文章、プログラム、速度、必要なVRAMなど、重視する条件によって別のモデルが向くこともあります。


✅一言で言うと
日本語性能と情報の多さを考えて、最初のモデルにQwenを選びました。


⸻

Q9. Gemmaなど、ほかのモデルにはどんな特徴がありますか？

🧠Ryo_AI
ローカルLLMには、Qwen以外にもさまざまなモデルがあります。

代表的な名前として、Gemma、Llama、Mistralなどを見かけることがあります。

それぞれ開発元や設計、学習内容が異なるため、回答の特徴も同じではありません。

例えば、モデルによって次のような違いがあります。

* 日本語で自然な文章を書きやすい
* 英語での回答が得意
* プログラム作成に強い
* 数学や論理的な問題に強い
* 小型でも比較的よく答える
* 長い文章を読ませやすい
* 指示に素直に従いやすい
* 回答が簡潔
* 説明が詳しい

Gemmaは、比較的小型のモデルも用意されており、限られたVRAMでも試しやすい候補があります。

Llamaは利用者が多く、派生モデルや関連情報が豊富です。

Mistral系にも、軽さや処理速度を重視したモデルがあります。

ただし、同じシリーズ名でも、モデルの大きさ、世代、用途、量子化によって使用感は変わります。

そのため、シリーズ名だけで「これは速い」「これは賢い」と決めるのではなく、実際のモデル名と容量を確認する必要があります。


💡ワンポイント
モデル選びは、スマートフォンのメーカー選びよりも、アプリを用途で選ぶ感覚に近いものです。

一つに決める必要はなく、用途に合わせて複数のモデルを入れ替えて使えます。


⚠️注意
モデル名の横に「Code」「Math」「Vision」などが付いている場合は、特定の用途へ寄せたモデルであることがあります。

名前が似ていても、用途が異なる場合があるので確認しましょう。


✅一言で言うと
モデルごとに、得意な作業、重さ、回答の癖が違います。



⸻

Q10.    9B・14B・27Bとは何ですか？

🧠Ryo_AI
9B、14B、27Bなどの数字は、一般的にモデルの規模を表しています。

Bは「Billion」の略で、10億を意味します。

そのため、大まかには次のように考えられます。

* 9B：約90億
* 14B：約140億
* 27B：約270億
* 30B：約300億

これは、AIが持つパラメータ数の規模を示しています。

パラメータとは、AIが文章を理解し、次の言葉を予測するために使う大量の調整値です。

初心者向けには、モデルの中にある「判断材料」や「調整箇所」の数と考えると分かりやすいでしょう。

一般的には、数字が大きいモデルほど、複雑な質問や細かい指示へ対応しやすくなる傾向があります。

ただし、モデルが大きくなるほど、

* ダウンロード容量が増える
* 必要なVRAMが増える
* 読み込みに時間がかかる
* 回答速度が遅くなることがある

という負担も増えます。

27Bが動くPCでも、日常的な短い作業では9Bの方が速く、使いやすいことがあります。

大きなモデル一つだけを使うのではなく、軽いモデルと大きなモデルを用途で切り替える使い方もできます。


💡ワンポイント
数字は、車で言えば排気量に少し近い目安です。

大きい方が余裕を持ちやすい一方で、重くなり、必要な設備も増えます。


⚠️注意
9Bや27Bは、ダウンロード容量そのものではありません。

27Bだからファイル容量が必ず27GBになるわけではなく、量子化によって実際の容量は変わります。


✅一言で言うと
9B・14B・27Bは、AIモデルの規模を示す目安です。


⸻

Q11. 数字が大きいモデルほど賢いのですか？

🧠Ryo_AI
一般的には、数字が大きいモデルほど高性能になる傾向があります。

ただし、数字だけで賢さは決まりません。

AIモデルの性能には、パラメータ数以外にも多くの要素が関係します。

例えば、

* モデルの設計
* 学習に使ったデータ
* 学習方法
* モデルの世代
* 指示へ従うための調整
* 得意分野
* 量子化による変化

などです。

そのため、古い30Bモデルより、新しく設計された27Bモデルの方が、特定の評価や実際の使用感で上回ることがあります。

さらに、14Bモデルでも、日本語文章の作成では大きなモデルより使いやすい場合があります。

反対に、複雑な推論や長文の整理では、大きなモデルの方が安定することもあります。

つまり、

30Bだから27Bより必ず賢い

とは言えません。

同じメーカーの同じ世代で比べる場合は、数字の大きい方が強くなる傾向を見やすいですが、別シリーズや別世代のモデルを数字だけで比較するのは難しくなります。


💡ワンポイント
モデルの数字は、性能を予想するための材料の一つです。

最終的には、自分が実際にさせたい作業で比べるのが一番分かりやすい方法です。


⚠️注意
大きなモデルを無理に動かし、回答が極端に遅くなるなら、少し小さなモデルを快適に使う方が実用的です。

クラウドAIの速度に慣れていると、遅いモデルはそれだけで使わなくなりがちです。


✅一言で言うと
大きいほど有利な傾向はありますが、数字だけでは決まりません。



⸻

Q12. GGUFって何ですか？

🧠Ryo_AI
GGUFとは、ローカルLLMで使うAI本体（モデル）を保存したファイル形式です。

例えば、

* Qwen
* Gemma
* Llama

これらはAIモデルの名前です。

LM Studioでは、そのAIモデルをダウンロードして利用します。

その時によく使われるファイル形式がGGUFです。

つまり、

Qwen＝AIの名前

GGUF＝そのAIを保存したファイル形式

という関係になります。

例えば、

Qwen3-27B-Instruct-Q4_K_M.gguf

というファイル名なら、

* Qwen3 → モデル名
* 27B → モデルの規模
* Instruct → 会話向けに調整されたモデル
* Q4_K_M → 量子化の種類
* .gguf → ファイル形式

という意味になります。

最初は全部覚える必要はありません。

まずは

「.gguf のファイルをダウンロードすれば、LM Studioで使えることが多い」

と覚えておけば十分です。

⸻

💡 ワンポイント

GGUFはAIの名前ではありません。

QwenやGemmaなどのAIを保存するためのファイル形式です。


⚠️ 注意
同じQwenでも、GGUFファイルは何種類も公開されています。

容量や量子化方式が違うため、自分のVRAMに合ったものを選びましょう。


✅ 一言で言うと
GGUF＝AI本体（Qwenなど）を保存したファイル形式です。
GGUFは、ローカルLLMのモデルを保存して配布するために使われるファイル形式の一つです。


⸻

Q13. Instructって何ですか？

🧠Ryo_AI
Instructは、ユーザーからの指示に答えやすいように調整されたモデルを表す言葉です。

AIモデルには、文章の続きを予測することを中心に学習した基本モデルと、人からの質問や命令へ答えるように追加調整されたモデルがあります。

Instructモデルは、例えば次のような指示へ対応しやすく作られています。

* この文章を要約してください
* 初心者向けに説明してください
* 表に整理してください
* メールの文章を作ってください
* このプログラムを修正してください
* 条件に従って記事を書いてください

普段ChatGPTのように質問したり、作業を頼んだりしたい場合は、InstructやChatと書かれたモデルが使いやすいでしょう。

一方、Baseと書かれた基本モデルは、会話用に十分な調整がされていない場合があります。

Baseモデルが性能不足という意味ではありませんが、初心者がそのまま会話に使うと、質問に素直に答えず、文章の続きを書くような反応になることがあります。


💡ワンポイント
初心者がLM Studioで会話を始めるなら、モデル名に

Instruct

と付いているものを選ぶと分かりやすいでしょう。


⚠️注意
Instructと書いてあれば、どのモデルでも同じように答えるわけではありません。

日本語性能、モデル規模、学習内容によって回答の質や癖は変わります。


📝補足
モデル名に「Chat」と書かれている場合も、会話や指示への回答を目的に調整されていることがあります。


✅一言で言うと
Instruct＝人からの質問や指示へ答えやすく調整されたモデルです。

第3章　AIの仕組み

この章で分かること

ローカルLLMを選んだり動かしたりすると、

* 量子化
* Q3・Q4・Q5
* 推論
* Thinking
* トークン
* コンテキスト

といった言葉が出てきます。

どれも難しそうに見えますが、最初から仕組みを細かく覚える必要はありません。

この章では、実際にモデルを選び、返事をもらうために必要な範囲だけを、初心者向けに説明します。

⸻

Q14. 量子化って何ですか？

🧠Ryo_AI
量子化とは、簡単に言えば、AIモデルを軽くして、少ないメモリでも動かしやすくする技術です。

AIモデルは、そのままの状態では非常に大きく、一般的なパソコンのVRAMへ収まらないことがあります。

そこで、モデルが持っている大量の数値を、少し簡略化して保存します。

すると、

* ダウンロード容量が小さくなる
* 必要なVRAMが減る
* 一般的なGPUでも動かしやすくなる
* 読み込みが軽くなる

といった利点があります。

今回、27Bという比較的大きなモデルをVRAM16GBのGPUで動かせたのも、量子化されたモデルを選んだからです。

量子化がなければ、同じ27Bでも必要な容量が大きくなり、一般的な家庭用PCでは動かしにくくなります。

ただし、軽くする代わりに、元のモデルが持っていた細かな情報の一部は失われます。

そのため、強く軽量化するほど、回答品質へ影響が出る場合があります。


💡ワンポイント
量子化は、写真や動画を圧縮する感覚に少し似ています。

容量を小さくできますが、軽くしすぎると元の品質との差が出やすくなります。


⚠️注意
量子化は、単にZIPファイルのように圧縮しているだけではありません。

AIが計算に使う数値そのものを、少ない情報量で表せるように変えています。


✅一言で言うと
量子化＝AIを軽くして、少ないVRAMでも動かしやすくする技術です。



⸻

Q15.   4bitって何ですか？

🧠Ryo_AI
4bitは、量子化によってモデルの数値をどれくらい軽く保存するかを表す目安です。

LM StudioでGGUFモデルを探すと、

* Q3
* Q4
* Q5
* Q6
* Q8

など、同じモデルに複数の種類が表示されることがあります。

大まかには、数字が小さいほど軽くなり、必要なVRAMも少なくなります。

一方で、数字が大きいほど元のモデルの情報を多く残しやすくなりますが、その分ファイル容量や必要なVRAMも増えます。

例えば、同じ27Bモデルでも、

* Q3なら軽い
* Q4なら軽さと品質のバランス型
* Q5やQ6なら品質を残しやすいが重い

という違いが出ます。

初心者が最初に使う場合は、Q4前後が選ばれることが多く、容量と回答品質のバランスを取りやすい位置です。

ただし、今回のようにVRAM16GBへ27Bを収めたい場合は、Q3など、さらに軽い量子化を選ぶこともあります。

💡ワンポイント

Q4＝必ず4GB、Q3＝必ず3GBという意味ではありません。

Q3やQ4は量子化の種類を表しており、実際のファイル容量はモデル規模によって変わります。


⚠️注意
同じQ4でも、

* Q4_K_M
* Q4_K_S
* Q4_0

など、さらに細かい種類があります。

最初から全部理解する必要はありません。初心者は、LM Studioが推奨表示しているものや、VRAMへ収まる容量を基準に選べば十分です。


✅一言で言うと
4bitは、AIをどの程度軽くした量子化モデルなのかを示す目安です。



⸻

Q16. 推論って何ですか？

🧠Ryo_AI
推論とは、AIが入力された文章をもとに、次に何を答えるべきかを計算して回答を作る処理です。

モデルをダウンロードしている時は、まだAIは質問へ答えていません。

モデルを読み込み、文章を入力したあと、GPUやCPUを使って返事を作り始めます。

この回答を作る処理が推論です。

例えば、

「量子化を初心者向けに説明してください」

と入力すると、AIは質問の意味や前後の文章を読み取り、言葉を少しずつ生成していきます。

そのため、推論速度が遅いと、

* 最初の文字が出るまで待つ
* 文章がゆっくり表示される
* 長い返事に時間がかかる

といった状態になります。

推論速度は、主に次の条件で変わります。

* モデルの大きさ
* 量子化の種類
* GPUの性能
* VRAMへ収まっているか
* CPUへ処理が回っていないか
* 入力した文章の長さ
* Thinkingなどの設定

大きなモデルほど必ず遅いとは限りませんが、一般的には処理する量が増えるため、軽いモデルより時間がかかりやすくなります。


💡ワンポイント
ダウンロードはAIを入れる作業、推論はAIが実際に答える作業です。

この二つは別の処理です。


⚠️注意
「推論が強い」という表現は、単に処理速度が速いという意味ではありません。

複雑な問題を順序立てて考えたり、条件を整理したりする能力を指す場合もあります。


✅一言で言うと
推論＝AIが質問を読んで、返事を作る処理です。


⸻

Q17. Thinkingって何ですか？

🧠Ryo_AI
Thinkingは、AIがすぐに最終回答を出すのではなく、回答を作る前に、問題を整理するための処理を多めに行う動作やモードを指します。

モデルやソフトによって名称や表示方法は異なりますが、一般的には、

* 条件を整理する
* 複数の候補を比較する
* 計算や論理を段階的に進める
* 回答内容をまとめる

といった処理へ時間を使います。

そのため、Thinkingを有効にすると、複雑な質問では回答が良くなることがあります。

一方で、単純な質問でも考える処理が入るため、返事が出るまで長く待つ場合があります。

今回の27Bモデルでも、Thinkingを有効にした状態では、最初の返事まで約1分36秒かかる場面がありました。

Thinkingを切ると、単純な会話ではかなり早く返事が出るようになりました。

そのため、常に有効にする必要はありません。

例えば、

* 挨拶
* 短い要約
* 簡単な文章修正
* 普通の質問

では、Thinkingなしでも十分な場合があります。

反対に、

* 複数条件を含む問題
* 長文の構成整理
* コードの原因調査
* 比較や分析
* 計画作成

では、Thinkingを有効にする意味が出てきます。


💡ワンポイント
Thinkingは、いつでも賢くなる魔法のスイッチではありません。

簡単な作業では切った方が速く、実用的なこともあります。


⚠️注意
Thinkingの表示が長いからといって、必ず最終回答が正しくなるわけではありません。

長く考えても間違えることはあります。内容の確認は必要です。


✅一言で言うと
Thinking＝回答前に、AIへ考える時間を多く使わせるモードです。



⸻

Q18. トークンって何ですか？

🧠Ryo_AI
トークンとは、AIが文章を読み書きする時に使う、文章を細かく分けた処理単位です。

人間は文章を文字や単語として読みますが、AIは文章をトークンという単位へ分けて処理します。

例えば、

「ローカルLLMを始めます」

という短い文章も、AIの内部では複数のトークンに分割されます。

ただし、

1文字＝1トークン

ではありません。

単語や記号、文章の区切り方によって、トークン数は変わります。

クラウドAIでは、入力したトークン数と、AIが出力したトークン数が、API料金や利用上限に関係することがあります。

一方、ローカルLLMは自分のPCで処理するため、通常は回答するたびにトークン料金が発生するわけではありません。

ただし、ローカルLLMでもトークンは重要です。

入力が長くなるほど、

* AIが読む量が増える
* VRAMの使用量が増える
* 最初の回答まで時間がかかる
* 一度に扱える上限へ近づく

といった影響があります。

また、AIが1秒間に何トークン出力できるかを表す、

tokens per second（トークン毎秒）

という数字も、ローカルLLMの速度を見る目安として使われます。

例えば、10 tokens/sなら、1秒間に約10トークンずつ文章を生成しているという意味です。


💡ワンポイント
ローカルLLMでは、トークンを料金として気にする必要は少ないですが、文章量と処理速度の単位として出てきます。


⚠️注意
日本語と英語では、同じ意味の文章でも必要なトークン数が異なることがあります。

文字数だけを見ても、正確なトークン数は分かりません。


✅一言で言うと
トークン＝AIが文章を読み書きするための細かな単位です。


今回ギリギリのモデルを使用していますが　20-21トークン/秒　平均で出ています。
AIの生成速度である「20トークン/秒」は、日常的なチャットや質問、簡単な翻訳などの用途において十分に実用的な範囲（ストレスなく読める最低限〜標準的な速度）です。一般的に人間が文字を目で追って快適に読める速度と同等かそれ以上であるため、実用上大きな支障はありません。

⸻

Q19. コンテキストって何ですか？

🧠Ryo_AI
コンテキストとは、AIが一度の会話や処理の中で、まとめて読み取れる文章や情報の範囲です。

初心者向けには、AIがその場で使える短期記憶の大きさと考えると分かりやすいでしょう。

AIは会話のすべてを永久に覚えているわけではありません。

現在の質問だけでなく、

* それまでの会話
* 読み込ませた文章
* 指示文
* AI自身が出した回答

なども、コンテキストの中へ入ります。

会話が長くなったり、大きな資料を読ませたりすると、使うトークン数が増えます。

そして、モデルが扱えるコンテキスト上限を超えると、

* 古い会話が外れる
* 前に伝えた内容を忘れたように見える
* 長い文章を一度に読めない
* 一部を省略して入力する必要が出る

といったことが起こります。

モデルの説明に、

* 8K
* 32K
* 64K
* 128K

などと書かれていることがあります。

これは、そのモデルが扱えるコンテキスト量の目安です。

Kは1000を表すため、32Kなら約3万2000トークンという意味です。

ただし、コンテキストを大きく設定すると、より多くのVRAMやメモリを使う場合があります。

そのため、上限が大きいモデルでも、常に最大値へ設定すればよいとは限りません。

💡ワンポイント

コンテキストは、机の上に広げられる資料の量に似ています。

机が広ければ多くの資料を同時に見られますが、その分、整理や処理にも負担がかかります。


⚠️注意
コンテキストが大きいことと、長い文章を正確に理解できることは同じではありません。

大量の文章を入れられても、重要部分を見落としたり、途中の内容を弱く扱ったりすることはあります。


✅一言で言うと
コンテキスト＝AIが一度に読んで使える文章量です。

⸻

第4章　パソコン編

この章で分かること

ローカルLLMを始めると、

「VRAMが重要」
「CUDA対応がいい」
「GPUを買った方がいい」

など、パソコンに関する言葉をよく見かけます。

しかし、初めての方にとっては、

「GPUって何？」
「普通のメモリじゃダメなの？」
「CUDAって何？」

と疑問ばかりだと思います。

この章では、ローカルLLMを動かすために必要なパソコンの知識を、できるだけ専門用語を使わずに解説します。

⸻

Q20. GPUって何ですか？

🧠 Ryo_AI
GPUとは、画像や映像を高速で処理するために作られた部品です。

ゲームでは映像を描画する役割として使われていますが、現在ではAIの計算にも非常に多く使われています。

ローカルLLMでは、AIが質問を読み取り、返事を作るための計算をGPUが担当することが多く、高性能なGPUほど快適に動作しやすくなります。

CPUだけでも動くモデルはありますが、GPUを利用すると回答速度が大きく向上することがあります。

そのため、ローカルLLMではGPUが重要視されています。

💡 ワンポイント

GPUは「ゲーム専用」ではありません。

現在ではAIを動かすためにも、とても重要な部品になっています。


⚠️ 注意
GPU性能だけで判断せず、VRAM容量も確認しましょう。


✅ 一言で言うと
GPUはAIの計算を高速に行う部品です。

⸻

Q21. VRAMって何ですか？

🧠 Ryo_AI
VRAMとは、GPU専用のメモリです。

AIモデルは質問に答えるために大量のデータを一時的に読み込みます。

その作業場所になるのがVRAMです。

机の広さをイメージすると分かりやすく、机が広いほど多くの資料を一度に広げて作業できます。

反対にVRAMが不足すると、AIは必要なデータを一度に置けなくなり、処理速度が低下することがあります。

そのため、ローカルLLMではGPU性能だけでなく、VRAM容量も重要になります。


💡 ワンポイント
AIではGPU性能より先にVRAM不足になることも珍しくありません。


⚠️ 注意
VRAM容量が足りないと、モデルによっては起動できないこともあります。


✅ 一言で言うと
VRAMはAIが作業する机の広さです。

⸻

Q22. パソコンのメモリ（RAM）が多ければVRAMは少なくても大丈夫ですか？

🧠 Ryo_AI
残念ながら、それだけでは十分ではありません。

RAMはパソコン全体で使うメモリです。

一方、VRAMはGPU専用のメモリです。

AIはできるだけVRAMの中で計算を行います。

VRAMへ収まりきらない場合はRAMを利用することもありますが、その分データのやり取りが増え、回答速度が大きく落ちることがあります。

そのため、

「RAMは64GBあるから大丈夫」

ではなく、

「VRAMへ収まるモデルを選ぶ」

ことが重要になります。


💡 ワンポイント
AIでは「RAMよりVRAM」の方が重要になる場面が多くあります。
　

⚠️ 注意
RAMが多くても、VRAM不足を完全に補えるわけではありません。


✅ 一言で言うと
AIではVRAMの方が重要になることが多いです。

⸻

Q23. CUDAって何ですか？

🧠 Ryo_AI
CUDA（クーダ）は、NVIDIA製GPUでAIなどの計算を高速に行うための技術です。

現在、多くのローカルLLMソフトはCUDAへ最適化されています。

そのため、NVIDIA製GPUは設定しやすく、情報も多く公開されています。

初心者がこれからAI用GPUを購入するなら、NVIDIAが選ばれる理由の一つでもあります。


💡 ワンポイント
「AIならNVIDIA」と言われる理由の一つがCUDAです。


⚠️ 注意
CUDAはGPUの名前ではなく、NVIDIAの技術名です。


✅ 一言で言うと
CUDAはNVIDIAのAI計算を高速化する仕組みです。

⸻

Q24. AMD RadeonでもローカルLLMは使えますか？

🧠 Ryo_AI
はい、利用できます。

AMD RadeonでもローカルLLMを動かすことは可能です。

LM Studioなど、AMDへ対応しているソフトも増えてきました。

また、VRAM容量が多いモデルを比較的安く購入できる場合もあり、コストパフォーマンスを重視するユーザーから人気があります。

ただし、現時点では多くのAIソフトや情報がNVIDIA向けに公開されています。

そのため、初心者はNVIDIAの方が導入しやすいでしょう。

すでにAMD Radeonを持っている方は、まず試してみることをおすすめします。


💡 ワンポイント
新しく購入するならNVIDIA、すでにAMDを持っているならそのまま試すという考え方がおすすめです。


⚠️ 注意
AMDだからローカルLLMが使えないということではありません。


✅ 一言で言うと
AMDでも使えますが、初心者はNVIDIAの方が始めやすいでしょう。

⸻

Q25. CPUだけでもローカルLLMは動きますか？

🧠 Ryo_AI
はい。動くモデルもあります。

軽量なモデルならCPUだけでも利用できます。

ただし、GPUと比べると回答速度は遅くなることが多く、大きなモデルでは待ち時間が長くなります。

まず体験してみたい方ならCPUだけでも始められますが、本格的に利用するならGPUがある方が快適です。


💡 ワンポイント
GPUがなくてもローカルLLMは体験できます。


✅ 一言で言うと
CPUだけでも動きますが、GPUがある方が快適です。

⸻

Q26. AVX・AVX2・AVX512って何ですか？

🧠 Ryo_AI
AVXは、CPUが大量の計算を効率よく処理するための機能です。

AVX2やAVX512は、その機能をさらに強化したものです。

CPUだけでローカルLLMを動かす場合、この機能へ対応しているCPUの方が有利になることがあります。

一方、GPUを使ってAIを動かす場合は、AVXの影響は比較的小さくなります。

GPU主体で利用する方は、あまり神経質になる必要はありません。

💡 ワンポイント

CPU推論ではAVX対応CPUが有利です。

GPU中心なら優先順位は下がります。


⚠️ 注意
AVX512へ対応しているCPUは限られます。

対応していないからローカルLLMが使えないということではありません。


✅ 一言で言うと
AVXはCPUのAI計算を助ける機能です。

⸻

Q27. GPUをAI専用にできますか？

🧠 Ryo_AI
はい、できます。

例えば、モニターをマザーボードのHDMIやDisplayPortへ接続し、GPUは画面表示を行わず、AI専用として利用する構成も可能です。

この方法では、GPUは画面描画ではなく、ローカルLLMや画像生成AIなどの計算へ集中できます。

また、将来的にAI専用GPUを追加する場合も、このような構成を採用することがあります。

一般的な使い方では、GPUで画面表示とAI処理を同時に行っても問題ありません。

ただし、AIの処理中はGPU使用率が高くなり、ゲームや映像編集などを同時に行うと動作が重くなる場合があります。

AIを長時間利用する方や、複数のGPUを使う予定がある方は、GPUをAI専用として使う構成も選択肢の一つです。


💡 ワンポイント
普段使いなら、GPUで画面表示とAIを兼用しても問題ありません。

本格的にAIを活用するようになったら、「GPUをAI専用にする」という選択肢もあります。


⚠️ 注意
CPU内蔵グラフィックス（iGPU）がないCPUでは、マザーボードの映像端子から画面を出力できません。

その場合はGPUから映像を出力する必要があります。


📝 補足
最近は、メインGPUで画面表示を行い、2枚目のGPUをAI専用として利用する構成も増えています。

画像生成や動画生成など、AIを長時間使う人ほど効果を感じやすいでしょう。


✅ 一言で言うと
GPUは画面表示だけでなく、AI専用として使うこともできます。

第5章　モデル選び編

この章で分かること

ローカルLLMを始めようと思っても、

「自分のパソコンで動くの？」

という疑問が一番多いと思います。

実際には、高価な最新パソコンでなくても動かせるモデルはたくさんあります。

この章では、GPUのVRAM容量やパソコン構成を基準に、どのくらいのモデルが目安になるのかを紹介します。

※紹介する内容はあくまで目安です。モデルの種類や量子化方式によって必要な容量は変わります。

⸻

Q28. 私のパソコンでもローカルLLMは動きますか？

🧠 Ryo_AI
一番多い質問ですが、答えは

「動くモデルを選べば、多くのパソコンで始められます」

重要なのは、

* GPUがあるか
* VRAM容量
* CPUだけで使う予定か

この3つです。

最新のハイエンドPCでなくても、軽量モデルなら十分楽しめます。

逆に、高性能なGPUがあれば、大きなモデルにも挑戦できます。

💡 ワンポイント

「一番大きなモデル」を探すより、

「快適に動くモデル」を選ぶことが長続きするコツです。


⚠️ 注意
VRAMへ収まらないモデルは極端に遅くなったり、起動できない場合があります。


✅ 一言で言うと
自分のPCに合ったモデル選びが一番大切です。

⸻

Q29. VRAMは何GBあればいいですか？

🧠 Ryo_AI
あくまで目安ですが、現在は次のように考えると分かりやすいでしょう。

・4GB
ノートパソコンや古いGPUでも比較的動かしやすい軽量モデル向けです。
3B〜7B前後が目安になります。

・6GB
7B〜8B前後まで候補が増えてきます。

・8GB
8B〜9B前後が選びやすくなります。

・12GB
14B前後のモデルも候補になります。

・16GB
今回紹介しているような27Bクラスも、量子化モデルなら候補になります。

・24GB以上
さらに大きなモデルや、高品質な量子化モデルも選びやすくなります。

ただし、これは固定の正解ではありません。

同じ27Bでも、量子化方式やモデルによって必要なVRAMは変わります。


💡 ワンポイント
まずはVRAM容量を基準にモデルを探すと失敗しにくくなります。


⚠️ 注意
VRAM16GBだから、16GBを超えるモデルが快適に動くとは限りません。


✅ 一言で言うと
VRAM容量に合ったモデルを選びましょう。

⸻

Q30. 「17.48GB」と表示されたモデルをダウンロードしなかったのはなぜですか？

🧠 Ryo_AI
今回使用しているGPUはVRAM16GBです。

しかし、ダウンロード候補の中には

17.48GB

と表示されているモデルもありました。

この場合、VRAMへ収まりきらない可能性があります。

不足した分はRAMへ回ることがありますが、その分だけ速度が大きく低下することがあります。

そのため今回は、

「動くかもしれない」ではなく、「快適に使える可能性が高いモデル」を選びました。

初心者は、少し余裕のある容量を選んだ方が快適です。


💡 ワンポイント
「入るかどうか」より、

「快適に使えるか」

を基準に選びましょう。


⚠️ 注意
VRAMへ収まらないモデルは、起動しても実用的な速度が出ない場合があります。


✅ 一言で言うと
VRAMへ余裕を持って収まるモデルがおすすめです。

⸻

Q31. ノートパソコンでもローカルLLMは使えますか？

🧠 Ryo_AI
はい。使えます。

ただし、デスクトップPCより性能が低い場合が多いため、小型モデルから始めるのがおすすめです。

最近は、AI向けGPUを搭載したノートパソコンも増えています。

また、GPUがないノートパソコンでも、CPUだけで軽量モデルを試せる場合があります。

最初は

「AIを体験する」

という目的なら十分です。

💡 ワンポイント

ノートパソコンだから無理ということはありません。

まずは軽量モデルから試してみましょう。

設定は#6 参照


⚠️ 注意
薄型ノートは長時間のAI利用で熱を持ちやすいことがあります。

✅ 一言で言うと
ノートパソコンでもローカルLLMは始められます。

⸻

Q32. GPUを2枚使えばVRAMは足し算できますか？

🧠 Ryo_AI
「16GB＋16GB＝32GB」

のように単純に足し算できるわけではありません。

ソフトや環境によって複数GPUを利用できる場合もありますが、初心者向けではありません。

また、SLIのようなゲーム向け機能とは考え方が異なります。

まずはGPU1枚でローカルLLMに慣れてから検討するとよいでしょう。


💡 ワンポイント
最初はGPU1枚で十分です。

複数GPUは上級者向けと考えましょう。


⚠️ 注意
VRAM容量が単純に合計されるわけではありません。


✅ 一言で言うと
GPUを2枚使っても、VRAMが単純に足し算されるわけではありません。

⸻

💡1-5章
ここまで読めば、自分のパソコンでどのくらいのモデルが動かせそうか、おおよその目安が分かるはずです。


⸻

第6章　実践・応用編

この章で分かること

ローカルLLMは、パソコンだけで使うものではありません。

スマートフォンから利用したり、インターネットへ接続して最新情報を取得したり、画像生成AIや動画生成AIと組み合わせたりと、さまざまな活用方法があります。

この章では、これからローカルLLMをもっと便利に使うための基本知識を紹介します。

⸻

Q33. iPhoneやAndroidでもローカルLLMは使えますか？

🧠 Ryo_AI
はい、利用できます。

方法は大きく分けて2つあります。

1つ目は、スマートフォン本体で小型のAIモデルを動かす方法です。

2つ目は、自宅のパソコンで動いているローカルLLMへ接続して利用する方法です。

特に後者なら、スマートフォンの性能に左右されず、自宅PCの高性能なAIを外出先から利用できます。


💡 ワンポイント
スマホ単体で動かす方法と、自宅PCへ接続する方法があります。


⚠️ 注意
外出先から利用する場合は、ネットワーク設定などが必要になります。


✅ 一言で言うと
スマホでもローカルLLMは利用できます。

⸻

Q34. 初心者はどのモデルから始めればいいですか？

🧠 Ryo_AI
最初は、自分のGPUのVRAMに余裕を持って収まるモデルを選びましょう。

大きなモデルほど高性能とは限りません。

快適に動くモデルの方が、結果的に長く使い続けられます。

今回のシリーズでは、Qwenシリーズを例に紹介していますが、他にも優れたモデルはたくさんあります。

まずは1つ試してみて、自分に合うものを探すのがおすすめです。

💡 ワンポイント

最初は「最高性能」より「快適さ」を優先しましょう。

⚠️ 注意

SNSで話題のモデルでも、自分のPCでは重すぎる場合があります。

✅ 一言で言うと

快適に動くモデルから始めましょう。

⸻

Q35. ローカルLLMはどんな人に向いていますか？

🧠 Ryo_AI
ローカルLLMは

* AIを毎日使う人
* 文章を書く人
* プログラミングをする人
* アイデア出しをしたい人
* 自分専用のAI環境を作りたい人

に特に向いています。

一方で

「たまにAIへ質問するだけ」

という使い方なら、クラウドAIだけでも十分な場合があります。

用途によって使い分けるのがおすすめです。


💡 ワンポイント
ローカルLLMは「AIをよく使う人」ほどメリットを感じやすくなります。


✅ 一言で言うと
AIを日常的に使う人ほど、ローカルLLMの魅力を感じやすいでしょう。

⸻

Q36. ローカルLLMだけで画像や動画も作れますか？

🧠 Ryo_AI
ローカルLLMは文章を考えるAIです。

そのため、画像や動画を直接生成するわけではありません。

ただし、画像生成AIや動画生成AIと組み合わせることで、

* 文章を考える
* プロンプトを作る
* 画像を生成する
* 動画を生成する

という流れを、自分のパソコンで構築することも可能です。


💡 ワンポイント
ローカルLLMは「司令塔」と考えると分かりやすいでしょう。


✅ 一言で言うと
ローカルLLMは他のAIと組み合わせることで、さらに活用の幅が広がります。

⸻

Q37. ローカルLLMは今後どう進化していきますか？

🧠 Ryo_AI
ローカルLLMは現在も急速に進化しています。

以前は高性能なパソコンでしか動かなかったモデルも、量子化技術の進歩によって一般的なゲーミングPCでも利用しやすくなってきました。

また、日本語性能や推論能力も年々向上しています。

今後は、より軽く、より高性能なモデルが増えていくと考えられています。


💡 ワンポイント
「今のパソコンでは無理」と思っていても、数か月後には動くモデルが登場していることもあります。


⚠️ 注意
ローカルLLMの情報は変化が早いため、古い情報だけを参考にせず、新しい情報も確認しましょう。


✅ 一言で言うと
ローカルLLMは今も進化を続けています。

⸻

Q38. 最初から全部覚える必要がありますか？

🧠 Ryo_AI
必要ありません。

実際に触っていると

「Thinkingはこういう時に使うのか」

というように、自然と理解できるようになります。

大切なのは、完璧に覚えてから始めることではなく、まず動かしてみることです。


💡 ワンポイント
ローカルLLMは、使いながら覚える方が理解しやすい世界です。


✅ 一言で言うと
まずは触ってみることが、一番の勉強になります。


⸻

Q39.       9B・14B・27B・32B・70Bは、クラウドAIと比べてどのくらい賢いのですか？

よく「◯◯BならChatGPTのどのくらい？」という質問がありますが、数字だけでは比較できません。

AIはモデルの設計や学習方法によって性能が大きく変わるため、同じ27Bでも世代が違えば実力も変わります。

あくまで最近の高性能モデルを基準にした大まかな目安として考えると、次のようなイメージです。

まず知っておきたいこと
・ 数字（B）だけでは比較できません。AIはモデルの設計や学習方法によって性能が大きく変わります。

・ 同じ27Bでも、世代が違えば実力も変わります。
・ ここでは、最近の高性能モデルを基準にした大まかな目安として紹介します。

モデル規模ごとの大まかなイメージ（目安）
モデル規模
大まかなイメージ
比較イメージ（参考）
期待できること（例）
7B〜9B
GPT-3.5以上〜初期GPT-4 miniクラスの作業が得意
GPT-3.5以上
〜
GPT-4 miniクラス
・日常会話、質問応答
・要約、文章作成
・簡単なアイデア出し
14B
日常利用ではかなり実用的。文章作成や要約も快適
GPT-4 mini以上
〜
GPT-4クラス
・自然な文章作成
・長文要約、翻訳
・調べ物や解説
27B
Claude Haikuクラスに近い性能を感じる場面が多い
Claude Haikuクラス
（GPT-4相当の場面も）
・複雑な質問への回答
・構成案作成、分析
・プログラミング支援
32B
27Bより余裕があり、複雑な作業にも対応しやすい
Claude Sonnet 3.5 /
GPT-4 Turboクラス
・複雑な分析や比較
・高度なプラン作成
・コードの最適化提案
70B
現在のローカルLLMでも上位クラス。用途によってはクラウドAIへ迫る性能を見せることもある
GPT-4 Turbo以上
〜
GPT-5に迫る場面も
・高度な推論や考察
・専門的な分析
・長時間の深い対話

例えば最新の27Bモデルが、古い32Bや30Bを上回ることも珍しくありません。


💡 ワンポイント
「Bの数字＝賢さ」ではありません。
最近は設計の進化により、小さなモデルが一回り大きなモデルを超えることもあります。


⚠️注意
クラウドAIとローカルLLMは、動作環境や用途が異なります。

そのため、「完全にClaude Haikuと同じ」「GPT-5と同じ」と考えるのではなく、あくまで性能の目安として参考にしてください。


✅ 一言で言うと
最近の27Bクラスは、用途によってはClaude Haikuに近い実力を感じられるほど進化しています。
⸻


ここまで読めば、

* ローカルLLMとは何か
* AIモデルの選び方
* パソコンの考え方
* 量子化やThinkingなどの専門用語
* 実際の始め方

一通り理解できたはずです。

難しそうに感じるローカルLLMですが、一つずつ覚えていけば決して難しいものではありません。

このシリーズでは、今後も実際の導入手順や、画像生成・動画生成との連携、さらに便利な使い方も紹介していきます。

焦らず、一緒にローカルLLMを楽しみながら学んでいきましょう。

🌙
note・AI・SNS考察系のアカウントを育てています
気になった方、近いジャンルの方は、フォローorいいね👍  いただけたら見に行きます