そもそもRTX4060でいけるのか。ローカルLLMでClaude Code × Ollama（各種LLM) を動かそうと挑んで全滅した話
8GBのGPU（RTX4060）で、ローカルLLMだけでClaude Codeを動かせないか。それを試した一日の記録です。
ホストWindowsのOllamaにつなぐところまでは、前回たどり着きました。GPUを積んでいるのはホスト側。そこでモデルを動かして、開発環境のあるゲストから叩く。配線はできた。
あとはローカルのモデルを選んで、Claude Code を動かすだけ。そう思っていました。
結論から言うと、ローカルで試したモデルは、全部だめでした。
「今日は何日ですか」で、もう崩れた
最初に選んだ軽いモデルは、起動した瞬間にエラーで止まりました。tool（道具呼び出し）に対応していない、と。
Claude Code は、ファイルを読むのも、コマンドを動かすのも、全部この「道具呼び出し」でやります。そこが使えないモデルだと、最初の一歩でこける。猫がドアノブを回せないのと同じで、賢さ以前に仕組みがかみ合わない。
じゃあ、道具呼び出しに対応したモデルを選べばいい。話はそこからややこしくなりました。
条件をつけたら、選択肢がごっそり減った
欲しい条件はこうでした。
・道具呼び出しに対応している
・8GBのGPUに収まる
・できればコーディングが得意
・中国製は避けたい
最後のは、ただの好みです。ただ、これを足した瞬間に候補がごっそり減りました。8GBに収まってコーディングが得意なモデルは、けっこうな割合が中国製なんです。残ったのは、IBMが出している8Bのモデルくらい。これにしました。
道具を「使うふり」をして、命令文を垂れ流す
選んだモデルは、起動はしました。エラーも出ない。
でも、「今日は何日ですか」と聞くと、画面に変な記号がひとつ出るだけ。「群馬の気温は」と聞くと、道具を呼び出すための命令文を、そのまま文字として吐き出してくる。呼び出しているつもりが、ただ独り言を画面に書いているだけでした。
ファイルを読ませようとしても、読めない。形だけは「道具を使います」という顔をして、中身がともなっていない。
これは、なんでだ、と少し悩みました。
モデルが、自分の取扱説明書を音読しはじめた
次に、道具呼び出しの評判がいいとされる、別の8Bモデルに替えました。中国製ではない、定番のやつです。
「今日は何日ですか」と聞きました。
返ってきたのは、Claude Code がそのモデルに渡している指示書きそのものでした。役割の説明、環境の情報、注意事項。それを丁寧に日本語へ訳して、頭から音読しはじめたんです。
質問には、一文字も答えていない。
正直、笑いました。同時に、ああこれは8Bの限界だな、と腹に落ちました。賢さが足りないと、「これは自分への指示」「これはユーザーへの返事」の区別すらつかなくなる。
念のため、Ollama本体のバージョンは最新でした。だからこれは環境のせいじゃない。モデルそのものの実力です。
クラウドに逃がしたら、別世界だった
ローカルにこだわるのをやめて、Ollamaのクラウド側にあるモデルを使ってみました。手元のGPUでは動かせない大きなモデルを、向こうのデータセンターで動かして、API越しに借りる仕組みです。
中国製を避けて、無料枠で使えて、コーディングもこなす。その条件で残ったのが、OpenAIが公開している大きめのモデルでした。
これを選んで、同じ質問をしました。
「今日は何日ですか」には、ちゃんと日付で答える。「群馬の気温は」には、自分でWeb検索の道具を呼んで、調べて答える。「この設定ファイル読める?」には、ファイルを読んで要約する。
さっきまでの8B勢とは、完全に別世界でした。
もちろん完璧ではない。気温を調べたとき、日付を一年間違えていました。本家のClaude ほどの正確さは、まだ出ません。それでも、道具をちゃんと使えるかどうかの差は、想像していたよりずっと大きかった。
未練で大きいモデルを手元に落としたら、PCごと固まった
それでも、ローカルをあきらめきれませんでした。
クラウドで動いていたモデルの、小さい版。これなら手元のGPUでも動くかもしれない。そう思ってダウンロードしました。13GBくらいあります。
落とした。動かした。「今日は何日ですか」と打った。
そこから、地獄でした。
このモデルは8GBのGPUには収まりません。あふれた分は、PCのメインメモリに逃げます。ところが、そのメモリはもう8割埋まっていた。仮想マシンにも割り当てているので、空きがほとんどない。
逃げ場をなくしたデータは、最後にSSDへ押し出されます。ここからが本番で、PC全体がディスク待ちで固まる。リモート接続も切れる。マウスがまた動くようになるまで、5分かかりました。Ollamaを止めて、やっと息を吹き返した。
「今日は何日ですか」の一言で、ここまでやられるとは思っていませんでした。
結局、本丸はメモリだった
冷静になって考えると、原因ははっきりしていました。
ひとつは、GPUのメモリが8GBしかないこと。大きいモデルは、そもそも乗りきらない。もうひとつは、PCのメインメモリが薄いこと。乗りきらなかった分の逃げ場すら、なかった。
メインメモリを増やせば、固まるのは避けられるかもしれません。でも、それで速くなるわけではない。GPUに乗らなければ、結局CPUでのろのろ動くだけです。本丸は、やっぱりGPUのメモリのほう。
ローカルで大きいモデルを気持ちよく動かすには、たぶん16GB、できれば24GBのGPUがいる。今の8GBでは、土俵が違いました。
学んだことは、このくらいです。
・道具呼び出しに「対応」と「実用になる」は、別の話
・小さいモデルは、賢さが足りないと指示と返事の区別すらできない
・手元で動かせないものは、クラウドに借りるほうが早いことがある
・メモリの逃げ場がないと、たった一言の質問でPCごと落ちる
今回試したモデル
順番に並べると、こうなります。
ローカル（手元のGPUで動かそうとして、全部だめだった組）
・gemma3:4b … 道具呼び出しに非対応。起動した瞬間にエラーで停止
・granite3.3:8b（IBM）… 道具の命令文を、そのまま文字として垂れ流す
・llama3.1:8b（Meta）… 渡された指示書きを音読して、質問には答えない
・gpt-oss:20b（OpenAI・ローカル版）… 8GBに乗りきらず、PCごとフリーズ
クラウド（データセンターのGPUを借りる側。こっちは動いた組）
・gpt-oss:120b-cloud（OpenAI）… 道具呼び出しもファイル読みも正常。今回の現実解
・nemotron-3-super:cloud（NVIDIA）… こちらも候補。中国製を避けたいときの、数少ない選択肢
中国製を避けたいという縛りを外せば、コーディング最強クラスはむしろ中国のモデルに多い、というのも今回の正直な感触でした。
次の一手は、まだ決めきれていない
今の構成では、クラウドのモデルに任せるのが現実解でした。手元のGPUは、いったんお休みです。
ただ、これで終わりにする気はないんです。次の手は、いくつか方向があります。
・もっと小さい極小モデルを試す。賢さは期待できないけど、軽さなら手元でも回る
・避けていた中国モデルを、割り切って使ってみる。コーディングの実力でいえば、ここがいちばん強い
・素直にクラウドのモデルに寄せる。手元のGPUには、もうこだわらない
・そもそも、AIベンダー純正のClaude や Codex を普通に使うのが、トータルではいちばんコスパがいいんじゃないか
最後のは、今回いちばん身にしみた疑問です。ローカルでこれだけ転んで、フリーズまでして、それでも本家のほうが速くて正確なら、何のために手元で動かしているんだろう、と。
どれも一理あって、まだ決めきれていません。
そもそも、RTX4060でローカルLLMはいけるのか。8GBで、Claude Code を実用的に動かせる日は来るのか。
その問いを抱えたまま、また小さく試していきます。次は、メモリを増やしてからかな。
次回記事
※ ヘッダー画像は AI（画像生成）で作成しています。
書いた人: ishizakahiroshi
群馬の北部で、保護猫2匹と暮らす、在宅エンジニア（何でも屋）
https://github.com/ishizakahiroshi
X（業務委託・各種相談はこちら）
バックエンド・インフラ・AI連携まわりで、業務委託のご相談を受け付けています。フルリモートです。スポットや週2〜3時間からでも歓迎で、いろんな案件に携われたらうれしいです。こんな相談、歓迎です。
