Ollama全滅からの大逆転！古いPCでもGemma4のE4Bモデルをkoboldcppで動かす起動パラメータ神調整Tips
こんにちは、ふるふるです。
コストやプライバシーの観点からローカルLLM(自宅PCで動かすAI)が注目されつつあります。
「とはいえ、最新の強力スペックなPCが必要なんでしょ・・・？」
と思われがちですが、工夫次第で古いマシンでも動かせる楽しさがあります。
しかし、そこには常に「マシンスペック」という壁が立ちはだかります。
私の愛用しているPCは、以下のような普通だったらメルカリかハードオフ行きな構成です。
OS: Windows 11
CPU: Intel Core i5 第4世代(ん?)
RAM: 12GB
GPU: NVIDIA GTX 1550Ti (VRAM 4GBクラス)
この古いPCでなんとか軽量なE2Bモデルを動かし、工夫してローカルLLM生活を楽しんでいました。
しかしある日、突然のトラブルが訪れます。
Ollamaのアップデートで発生した「メモリエラー」の絶望
ローカルLLMの定番ランタイムといえば Ollamaです。非常に使いやすく重宝していたのですが、アップデートが入ったタイミングで事態が一変しました。
実行しようとするとメモリエラーが発生し、完全に動作しなくなってしまったのです。
どうやらアップデートによって、モデル全体を一挙にメモリ（VRAM/RAM）に読み込むような挙動に変わってしまった雰囲気でした。VRAMが4GBしかなく、RAMも12GBの私の環境では、この処理に耐えきれずメモリが溢れてクラッシュしてしまいます。
「やはり、第4世代のi5とVRAM 4GBのGPUでは、もうローカルLLMの進化についていけないのか……」
半ば諦めかけ、PCの買い替えが頭をよぎったそのとき、相棒のAI（Gemini）にダメ元で相談してみることにしました。「このスペックでローカルLLMを動かす別の手段はないか？」と。
そこで提案されたのが、Ollamaとは異なるもう一つの軽量ランタイム koboldcpp でした。これが大逆転劇の始まりです。
救世主『koboldcpp』と、起動パラメータの「神調整」
koboldcpp は、GGML/GGUFフォーマットのモデルをCPU/GPUで動作させるための非常に軽量なランタイムです。
しかし、ただ koboldcppにモデル（今回は gemma-4-E4B_q4_0-it.gguf）を読み込ませるだけでは動きません。私の古いPCスペックで動作させるためには、起動パラメータの綿密な調整が必須でした。
試行錯誤の末にたどり着いた、低スペック環境を限界突破させるための「修正済み起動コマンド」がこちらです。用途に合わせて2つのモードを使い分けています。
【1】4096トークン（サクサク動作・コーディング向き）
チャットのレスポンス速度を優先し、コード出力などに集中したい場合の設定です。
koboldcpp --model F:/bin/kobold/gemma-4-E4B_q4_0-it.gguf --usemmap --contextsize 4096 --gpulayers 8 --smartcontext --quantkv q4_0 --flashattention
【2】8192トークン（記憶量重視・AIエージェント向き）
過去の会話履歴を長く保持し、複雑なタスクをエージェントにこなさせたい場合の設定です。
koboldcpp --model F:/bin/kobold/gemma-4-E4B_q4_0-it.gguf --usemmap --contextsize 8192 --gpulayers 8 --smartcontext --quantkv q4_0 --flashattention
古いPCでなぜ動いた？ 鍵となる主要パラメータ解説
今回の調整で、特に古いPCの動作に劇的な効果をもたらした「神パラメータ」を解説します。
--usemmap: メモリマッピング（mmap）を使用します。これにより、モデルファイル全体を物理メモリ（RAM）に載せるのではなく、必要な時に動的に仮想メモリから呼び出すため、RAM 12GBという制限下でもクラッシュを防ぐことができます。
--gpulayers 8: モデルの一部（8レイヤー分）をGPUにオフロードします。VRAMが少ないGTX 1550Tiの限界を超えない、絶妙なバランスの数値です。これより多くても少なくても動作が不安定になります。
--quantkv q4_0: 今回最大のポイントです。キー・バリュー（KV）キャッシュを4ビットに量子化して圧縮します。通常、コンテキスト（記憶領域）を4096や8192に拡張するとメモリ消費が爆発しますが、これを有効にすることでメモリ消費を劇的に抑えられます。
--smartcontext: 過去に処理したプロンプトのコンテキストを再利用し、新しい入力時の評価速度を大幅に短縮します。古いCPUの負担を減らす必須パラメータです。
--flashattention: メモリの節約と計算の高速化を同時に行う技術です。これを入れるだけで処理効率がアップします。
驚くべき結果：E2BからE4Bモデルへのアップグレード
この設定で koboldcppを起動したところ、Ollamaでメモリエラーを起こして起動すらしなかったPCが、なんとGemma4のE4Bモデルをサクサクと動作させました！
以前動かしていたのは「精度がかなり削られたE2Bモデル」だったため、噛み合わない回答もしばしばありましたが、E4Bモデルになったことで精度が劇的に向上。koboldcppに付属するチャットではゆっくりですがやりとりもきちんとできました。簡単なコードも作れそうです。
まさに、古いPCで頑張る技術好きにとって、最高の 「大逆転劇」 となりました。
まとめ：ツールとパラメータ次第で、古いPCもまだまだ戦える！
ローカルLLMの世界は日進月歩ですが、もし一つのランタイムで動かなくなったとしても、そこで諦める必要はありません。
ランタイムをkoboldcppに変えてみる
メモリとVRAMを抑える起動パラメータ（特に --quantkv と --usemmap）を調整する
これだけで、古いPCも立派な「ローカルAI環境」として現役に引き戻すことができます。同じようなスペックで諦めかけている方は、ぜひこのパラメータを参考に試してみてください！
今後はopencodeでバイブコーディングを試してみたいと思います。
今後こちらのnoteでは、「私が実務で使っているSKILL.mdの実践テンプレ集」 や、「PM業務におけるAIエージェント活用術」 も順次公開していく予定です。
これからもAIをもっと実務に使い倒すノウハウを発信していきますので、ぜひフォローしてお待ちください。
最後までお読みいただきありがとうございました!
当noteでは、テーマごとに5つの専門マガジンを用意しています。
あなたにぴったりのテーマやおすすめ記事は、こちらの案内ページからご覧いただけます。
💡 おすすめの有料記事：
（ビール1杯分で、あなたのPCの中に最強の軍師を宿してみませんか？🍺）
