ノートPCのCPUだけでGoogleの最新AI「Gemma3-4B」を動かしてみた！VS Code連携で自分専用のAIエディタを作るまで
ざっくりまとめ
背景：Google Colab無料枠のGPU制限（切実）により、代替案としてローカル環境を構築。
やったこと：Ollamaを使って、最新モデル「Gemma3-4B」を自分のPCに導入。
開発環境：VS Codeの「Continue」と連携し、エディタ上でAIと対話可能に。
結果：CPU推論でも 17.37 tokens/s を記録。人間が読むより速く、実用性は十分。
目次
はじめに：ColabのGPU制限という「壁」
今回の実行環境（普通のノートPCスペック）
手のひらサイズの天才「Gemma3-4B」って？
「4bit量子化」というダイエット魔法
ローカルAIの救世主「Ollama」
【実測】読み込みも生成も、想像以上に速かった
VS Code拡張機能「Continue」でAIエディタ化
課題と解決：1文字目が出るまで60秒……を数秒に！
おわりに：ローカルAIを「道具」として使いこなす
1. はじめに：ColabのGPU制限という「壁」
これまでAIの実験やコード生成にはGoogle Colabの無料枠にお世話になっていたのですが、ついに「GPU制限」の壁にぶつかってしまいました。 「使いたい時に限って使えない……」というストレスは、モチベーションを削ぐには十分すぎます。 そこで、「それなら自分のPC（ローカル）で動かせばいいじゃない」と一念発起。ローカルPCでLLM動作環境を作ってみることにしました。
2. 今回の実行環境
特別なグラボ（GPU）は積んでいない、事務用ノートPCに近い構成です。
プロセッサ: AMD Ryzen AI 5 PRO 340 (2.00 GHz)
メモリ: 32.0 GB（実行環境としてはコレでしたが、モデル自体が軽いので16GBでもいけるかも？）
3. 手のひらサイズの天才「Gemma3-4B」って？
今回選んだのは、2025年3月にGoogleからリリースされたOSSモデル Gemma3-4B です。
「40億パラメータ」と聞くと小ぶりに思えますが、中身は最新鋭。特に SWA（Sliding Window Attention） という仕組みが賢いんです。 たとえるなら、「読書するときに、今読んでいる行の前後だけを集中して見る」 ような効率的な読み方をしてくれます。これによって、少ない計算リソースでも、長文のコードを速く、正確に理解できるようになっています。
4. 「4bit量子化」というダイエット魔法
本来、このクラスのAIを動かすには8GB以上のメモリを占有します。それを約3.3GBまでダイエットさせているのが 「4bit量子化」 という技術です。
たとえるなら、「重い百科事典を、大事なところだけを抜き出した文庫本にする」 ようなもの。 ほんの少しだけ精度は落ちますが、人間がプログラミングの相談に使う分には全く問題ありません。それよりも「メモリを食わない」「計算が軽くなって返答が速くなる」というメリットの方が、ローカル環境では圧倒的に大きいんです。
5. ローカルAIの救世主「Ollama」
AIモデルを動かすツールは色々ありますが、今回は Ollama（オラマ） を使いました。 今のローカルLLM界隈では、導入の簡単さと安定性で「実質一択」と言ってもいいツールです。
役割: AIモデルのダウンロード、メモリ管理、他のソフト（VS Codeなど）との橋渡しを全部丸投げできます。
いいところ: 難しい設定は不要。インストールしてコマンドを1行打つだけで、すぐにAIとの会話が始められます。
環境構築は驚くほど簡単でした。 Ollama のコマンド1行で準備完了です。
ollama run gemma3:4b --verbose6. 【実測】読み込みも生成も、想像以上に速かった
ターミナルで「富士山について教えて」という短いテスト質問を投げて、詳細な速度（verbose）を測ってみました。
プリフィル（読み込み速度）: 38.76 tokens/s
prompt eval duration: 335.4ms（約0.3秒） AIがこちらの質問を読み込む時間です。短い質問でもこれくらいの時間はかかりますが、体感としては「即答」の範疇です。
生成速度（回答の速さ）: 17.37 tokens/s 1秒間にだいたい25文字から30文字程度。音読するよりちょっと速いくらいのスピードで回答が流れてきます。CPUだけでこれだけ出れば、プログラミングのアシスタントとしては合格点です。
7. VS Code拡張機能「Continue」でAIエディタ化
いよいよ本番。VS Codeに Continue という拡張機能を入れて、AIを開発環境に組み込みます。
通常、この手のツールはクラウドAI（ChatGPTなど）と連携して使うのが一般的。でも、あえてローカルAIを使うと、こんなメリットがあります。
プライバシー: コードを一切外に送らないので、仕事のコードも安心。
無料・無制限: 何回質問しても、どれだけコードを書かせてもタダ。
オフライン: ネットが不安定な場所でも開発が止まりません。
8. 課題と解決：1文字目が出るまで60秒……を数秒に！
ところが、連携直後はレスポンスが返ってくるまで1分近く待たされる事態に……。 原因は、Continueが気を利かせて「プロジェクト内の全ファイルを予習して答えよう（Indexing）」と頑張りすぎていたこと。CPU環境では、この「予習」をカットして「今、目の前のコード」だけに集中させるのがコツです。
解決した設定：
Agentモードを「Chat」にする: AIが勝手に調べ回るのを止める。
Indexingをオフにする: 裏で目次を作るのをやめてもらう。
これをやると、余計な「準備運動」がなくなり、ターミナルで動かした時と同程度のレスポンスが返ってくるようになりました。Ctrl + L で選択したコードを投げるだけで、(コードの分量が多くなければ…)即座に解説が始まります。
9. おわりに：ローカルAIを「道具」として使いこなす
特別な機材がなくても、設定次第でここまで快適なAI環境が作れることがわかりました。 Colabの制限に一喜一憂することなく、自分のマシンで好きなだけAIにコードを相談できる。この「いつでも使える道具」を手に入れた安心感は、ローカル環境ならではの大きな収穫でした。
今回意外と動かせたので、もうちょっと重いLLMアルゴに挑戦してみました。Gemma3→Gemma4で性能改善です。
「ローカルは難しそう……」と敬遠していた方も、Gemma3とOllamaの組み合わせで、自分専用のAIアシスタントを「実装」してみませんか？
いいなと思ったら応援しよう！
よろしければ応援してくれると嬉しいです！いただいたチップは、記事づくりや学びの時間に大切に使わせていただきます。