見出し画像

筆者が利用しているおすすめローカルLLMランキング①【2026年版】

Catapp-Art3D

はじめに

2026年現在、筆者が実際に利用しているオープンでローカルで利用可能なLLM（大規模言語モデル）を紹介します。

※ 例によってすぐ古くなるので、定期的に更新しているシリーズ記事です

ローカルLLMの基礎知識

大規模言語モデル（Large Language Model）とは

ChatGPTなどのAIと対話できるAIモデルの事をLLMと言いますが、それら大手企業のクラウドLLMをパソコンで動かす事はできません。なぜなら単純に大きすぎるからです。そして、LLMが登場してから現在に至るまで順調にスケーリング・巨大化し続けています。

ChatGPTにきいてみた必要なVRAM

ChatGPTの計算がおかしい場所もありましたが、VRAMが6000GB〜20,000GB必要という世界は、ゲーミングPCでは無理だというのがわかると思います。そして限界まで買占めする必要があることも

2026年の一般的なゲーミングPCのVRAMは8GB〜16GBです。※ ハイエンドなら24〜32GBが存在しますが、車を購入するのと同じぐらいの覚悟が必要なので除外します。

また、オープンに公開されているAIモデルであっても、パソコンで動作しなければ意味がないので、小さなモデルに限定します。

パラメータ規模

AIモデルの大きさを表す指標として良く利用されるのがパラメータ規模です。アナロジーとして人間の脳細胞で言うシナプス数に相当するもので、神経細胞同士の接続数を表します。

つい最近、中国Alibaba社が、最新のオープンLLMモデルQwen3.5を公開して話題になっていますが、パラメータ規模のラインナップは、以下です（Bはbillion１０億）。

0.8B　2B　4B　9B　27B　35B　122B

一般に、ミドルクラスのゲーミングパソコンで動作可能なものは〜80Bまでです。※ ただし、20Bを超えるものはMoE限定です

  • ✅ 0.8B/2B/4B/9B

    • 8〜12GB VRAM

  • ✅ 9B/35B

    • 16GB〜 VRAM

が現状で妥当だと思います。後述する適切な量子化・コンテキストサイズを利用した場合です。

量子化

実際にLLMモデルを利用する際は、量子化モデルを利用します。概念として画像圧縮のJPEGに似ています。Web画面などの実利用で劣化のない無圧縮の画像（RAW形式等）を利用する事がないのと同様に、通常は圧縮されたAIモデルを使います。若干の性能劣化と引換えにファイルサイズを数分の１に圧縮する事ができます。

※ 勘違いされる事が多いのですが、（ぶつ切りする事以外）量子力学の量子化とは全く関係ありません

量子化手法にも様々な手法があるため、その圧縮手法や程度を示す添字がファイル名にあります。たとえば、おすすめLLMの一つUnsloth氏の量子化バージョンのQwen3.5 9Bのファイル名では、Q4_K_Mという表示が圧縮率の度合いになります。

※ LLMでは、Q4_K_M・Q4_K_Sあたりがもっともバランスが良いとされています

※ Qwen3.5のUnsloth氏のggufファイルは、現バージョンのollamaでは動作しないので、LM Studioでの利用になります

Qwen3.5-9B-Q4_K_M.gguf
引用：https://huggingface.co/unsloth/Qwen3.5-9B-GGUF

コンテキストサイズ

コンテキストサイズは意外と知られていないので注意が必要です。gpt-oss-120bが公開された当初、〜でも動いた！という情報が多く出ましたが、そのほとんどがコンテキストサイズが最小（4k）の場合という条件下なので、あまり実用的ではありません。

コンテキストサイズとは、LLMが扱える文脈量です。もちろん、サイズが増えれば必要なVRAMは増加し、動作速度も低下します。

LLMでは、処理の最小単位として「トークン」を利用します。英語ではおよそ、１単語、日本語では１文字で1トークンです。

たとえば4kコンテキストでは、入出力を合わせて日本語4,000文字程度しか扱えない事になります。画像生成AIに例えるなら、解像度のような位置付けです。小さな512x512解像度は生成できても、1920x1080解像度はメモリが足りないという状況が分かり易いと思います。

ちょっとした処理であれば4k〜8k程度でも問題ありませんが、最近はリーズニングを行うモデルが標準なので、快適さを考えると、24〜32k程度は確保する必要があります。GeminiやChatGPTの無料枠でも32k程度だと言われています。

パフォーマンス

最近は前処理も非常に重くなってきているので一概に言えませんが、一般に、応答速度（文字生成速度）が最も良い動作パフォーマンス指標になります。

  • 10 token/s ギリギリ実用的

  • 30 token/s 快適（標準的な人間の読取速度）

  • 60〜 token/s 超快適

※ ただし、人間が読む必要のないコード生成では、60 token/sでも遅いと感じるので注意が必要です。

さらに、ゲーミングPC運用であれば、SSD等のストレージの読み込み速度も重要になります。

業務利用などで、特定のモデルだけを占有できる状態の専用ハードを利用できる場合は問題になりませんが、個人ゲーミングPCで利用する場合は、１台で異なるAIを何度も入れ替える必要があります。10〜40GB超えの巨大なAIモデルファイルを（取っ替え引っ替え）読み込む必要があるため、ストレージの読み込み性能も重要になります。

ただし、基本は「シーケンシャル（連続）リードオンリー」なので、書き込み性能を上げる高価なDDRキャッシュ搭載のSSDは必要ありません。動画編集のように、巨大ファイルを書き出すという処理もありません。大量の書き込み処理が発生するのは、モデルファイルのダウンロード（インストール）時のみです。

ハードウェアの選定

ローカルLLMを動作させるには、（dGPUでないアーキテクチャが特殊な）LLM専用パソコン、またはNVIDIA/AMD製GPUカードを搭載したゲーミングPCが必要になります。

少し注意が必要なのは、商業的な理由で「AI」を表記しているノートパソコン等のAI PCでは動作しない事です。これらのAIは、リアルタイムの音声ノイズ除去などを低電力で動作する事に特化したもので、相応規模のLLMを動作するには非対応、全く力不足である事がほとんどです。

※ LLMだけでなく、他のAI全般を視野に入れるなら、寡占状態のNVIDIA製（つまりCUDA）が無難で失敗がありません

もちろん、ゲーミングPCで最もお金をつぎ込む必要があるパーツは、ゲーム利用と同じでGPU性能ですが、異なる点は、演算速度よりもVRAM容量重視という点です。

2026年現在、現実的な価格（ミドルクラス）のおすすめGPUは、

  • NVIDIA GeForce RTX 3060 12GB

  • NVIDIA GeForce RTX 4060ti 16GB

  • NVIDIA GeForce RTX 5060ti 16GB

です。しかし昨今の値上がりで、どれも入手困難になっています。

また、変則的な利用になりますが、ATXマザーボードでは、物理的なx16カードを２枚挿せますので、LLM利用ではVRAMを合算利用できます。動作速度は１枚のハイエンドに及びませんが、24GBや32GBとしても利用できます。もちろん、それらに耐えうる電源と冷却も必要です。

ただしVRAM合算できるのはLLM利用時のみで、一般に画像生成等他のAIでは、VRAM合算はできないと考えた方が無難です。

AI処理では、システムRAMの容量も重要になります。最近は32GB以上が必須で、64GBでも力不足である事が目立ってきています。VRAMと同じで、速度よりも容量重視です。特にdGPUで演算する限り、DDRの性能はまず影響しません。AI演算は行わず、GPUへメモリを送信するためのバッファ的な利用しかしないからです。

※ 一方で最近の傾向として、MoEアーキテクチャ（Mixture of Expert）が増えてきています。たとえば、gpt-oss 20bやQwen3.5 35bもMoEで、実際に動作する規模が3B程度です。一部をCPUで演算したり、またはCPUだけでも現実的な速度で動作します。CPUを利用する重い前処理も増えているので、CPUやメモリの性能が良くて悪い事はありません。相対的、コスパの問題です。

ソフトウェア

IT技術者であるなら無限の選択肢がありますが、一般利用では、次のソフトウェアがローカルLLMソフトウェアの２強です。WindowsやLinuxで利用可能です。

  • ✅ ollama + OpenWebUI

    • ollamaはコマンドライン（またはAPI）でLLMを実行できます

    • ollama単体でもGUIを扱えるようになっていますが、少し貧弱です

    • OpenWebUIはChatGPTなどの大手のWebインターフェースをパクっasdfg..

  • ✅ LM Studio

    • 通常のWindowsアプリケーションとしてインストール、操作できます。初めての方にも最適です。

    • ollamaのように、コマンドラインやAPIでの動作も可能です。

ただし、筆者がollamaが優れていると思う点は、GPUメモリを即開放（0秒解放）する機能がある事です。LM Studioもサーバー動作した時の解放設定項目がありますが、0秒設定ができません。1分程度のidle後に解放という設定しかできません。限界までVRAMの使い回しを迫られる１台のゲーミングPC上での利用では必須機能です。いちいち「eject」ボタンを押してられませんから。LM Studioではなぜ０秒をあえて「禁止」仕様にしているのか理解できません。

基礎知識のまとめ

2026年前半、一般的なゲーミングPCでLLMを動作させるポイントは、

  • 〜12B、MoEなら〜35B程度のパラメータ規模のAIモデルが妥当

  • Q4（4bit）程度の量子化モデルを利用するのが一般的

  • 実用を考えるなら、コンテキストサイズは32k以上は欲しい

  • 推論速度（テキスト生成）は30 token/s欲しい

  • LLMの場合、画像生成よりもハードの選択肢が広いが、それでもNVIDIA製が無難で、12GB/16GB VRAMが現実的

  • システムメモリは32GB必須で64GB欲しい

  • ソフトウェアは、ollamaかLM Studioがおすすめ

です。

総合おすすめランキング

※ 基本的にollama + Open WebUIの運用です。一部LM Studioを利用します。

１位：Qwen3.5 4B/9B

中国アリババ社のLLMであるQwenの最新の小型モデルです。

一般的なゲーミングPCであれば動作するので、圧倒的おすすめ１位です。ほとんどの人にとって、Qwen3.5 4B/9Bを一つ入れておけばすべて事足りるぐらいの性能です。性能重視なら9B、よりコンテキストサイズを大きく取りたい場合は4Bです。

# 4B版ダウンロード
ollama pull qwen3.5:4b

# 9B版ダウンロード（デフォルト）
ollama pull qwen3.5

Coder性能や数学の解答は相対的に弱い感じがしますが、それ以外の性能は同規模では圧倒的です。筆者の感覚では、9B版はgpt-oss 20Bを超える性能だと思います。

また、おすすめ最大の理由は、VLM（Vision Language Model）である事です。gpt-ossにはない機能です。

ローカルAIの最大の利点は、データを外部に送信しないので、どんな画像でも気にせずAI利用できる事です。

ハルシネーションはありません
正確です（一部誤植のような「ボケテ取られ」がありますが）

また、OpenWebUIではComfyUIの画像生成と画像編集に対応しているため、設定をしておくと、GeminiやChatGPTのような画像生成と編集が可能になります。現バージョンのOpen WebUIは、画像生成を行った後にVLMで応答するのでVLMが必須です。

Qwen-Image 2512
Qwen-Image-Edit 2511

※ 上記のように、Qwen3.5のthinking機能をoffにして利用する場合は、Open WebUIで設定できます。（この手の利用では、thinking機能が邪魔です）

この機能は対応モデルのみで有効です

筆者環境RTX 3060×2枚＝24GB環境であれば、モデル最大コンテキストである256kを設定できるので、gpt-oss 20bと同程度以上の性能で、256kコンテキストを利用できる事になります。（ただし、OLLAMA_KV_CACHE_TYPE=Q8_0）

つまり、理論上は25万文字を扱えます

2位：GLM 4.7 Flash 30B A3B MoE

GLM（Zhipu AI/Z.ai社）は中国の清華大学発のAIスタートアップ企業が開発したLLMで、当初はChatGLMといういかにも中国発のブランド名を利用していましたが、今では米本家やQwenに匹敵する勢いで独自のGLMブランドを確立しています。

# ダウンロード（30B版）
ollama pull glm-4.7-flash

最新版はGLM 5ですが、小型モデルの最新版はGLM 4.7 Flashです。VLM機能はありません。※ 前バージョンGLM 4.6V FlashはVLMですが、日本語性能がイマイチでした

AIエージェント・コーダー向けとされていますが、通常用途でも十分高性能なモデルです。

30BのモデルはA3B（アクティブパラメータが3B）なので、VRAMに100％載る状態であれば、Qwen3.5 9Bよりも動作は軽快です。

ただし、GLM 4.7 FlashはOllama用のモデルしか動作しないため、少し小さなモデルが利用できる
Uncensored版を利用しています。筆者用途だと、性能は通常版と変わりません。
約70kのコンテキストサイズ（全てVRAMに載る状態）
66 token/s

デメリットは12/16GBのGPUでは100％VRAMにできない事ですが、MoEなのでCPU利用でも実用的な速度で動作します。

約200kのコンテキストサイズ
26％溢れている状態
23 token/s

まとめ

①では、2026年前半の総合おすすめトップ２を紹介しました。
次回②へつづきます。

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう！