ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方
なぜ高いマシンでもローカルLLMが遅いことがあるのか。速度は「メモリ帯域÷モデルサイズ」という1本の式でほぼ予測できます。
ハードの名前を並べた比較記事は多いのに、この原理から書いた記事はほとんどありません。式を1本覚えるだけで、どのマシンでどのモデルがどれくらいの速度で動くか、買う前に自分で計算できるようになります。
「速いマシン」の直感が外れる理由
ローカルLLM界隈でよくある落胆があります。
128GB統合メモリの最新マシンを買い、70Bモデルを動かしたら毎秒数トークンしか出ない
CPUを最上位にしたのに、LLMの生成速度がほぼ変わらない
「AI性能◯TOPS」をうたうPCで、Ollamaが期待外れに遅い
PCの速さの直感(CPU世代、コア数、クロック、TOPS)は、LLM推論にはほぼ通用しません。LLMには固有の律速要因があるからです。
LLM推論の2つのフェーズ
LLMの推論は、性質の違う2つのフェーズでできています。
プリフィル(入力の読み込み): 投げたプロンプト全体を一気に処理する。計算力(GPUの演算性能)が効く。長い文書を貼り付けたときの「考えている時間」はここ
デコード(トークン生成): 1トークンずつ文章を生成する。体感速度はこちら
デコードには重要な構造があります。1トークン生成するたびに、モデルの全パラメータをメモリから読み出すのです。20GBのモデルなら、1トークンごとに20GBの読み出しが発生します。計算そのものは軽く、データを運ぶ作業が支配的になります。
だからデコード速度は、演算性能ではなく「メモリからデータを運ぶ速さ」=メモリ帯域で頭打ちになります。
速度を予測する式
デコード速度は次の式で近似できます。
毎秒トークン数 ≈ メモリ帯域(GB/s) ÷ モデル占有サイズ(GB)
計算例を3つ挙げます。
RTX 4090(帯域1,008GB/s)で20GBの32Bモデル → 約50トークン/秒
DGX Spark(帯域273GB/s)で43GBの70Bモデル → 約6トークン/秒
ノートPC(帯域135GB/s)で6.6GBの9Bモデル → 約20トークン/秒
実際にはKVキャッシュの読み出しなどが加わるため、実効値は理論値の7〜8割程度に落ちます。それでも「桁を外さない」精度で予測でき、購入判断には十分です。
冒頭の落胆例の種明かしもこの式です。128GB統合メモリ機は「容量」は立派でも「帯域」が273GB/s程度しかないため、70Bの高密度モデルでは毎秒4〜5トークンにしかなりません。
主要ハードのメモリ帯域一覧(2026年7月)
この式に代入するための帯域一覧です。カタログの「メモリ帯域幅」の行だけ見れば、マシンのLLM適性は読めます。
要点を文章でも押さえます。コンシューマGPUの上位は1TB/s級、Appleの上位チップは500〜800GB/s級、話題の統合メモリ機(DGX Spark・Strix Halo)は250〜270GB/s級、普通のノートPCとCPU実行は90〜140GB/s級。この4つの階級を覚えておけば、スペック表を見た瞬間におおよその速度が浮かびます。
なお「どのモデルがメモリに載るか」は容量の問題なので、別途『[2026年7月更新] ローカルLLM必要VRAM早見表。あなたのPCで動くモデル』と掛け合わせてください。容量で「載るか」、帯域で「速いか」。この2軸でハード選びは完結します。
MoEが速度問題を変えた
2026年のモデル事情には、この式の読み替えが1つ必要です。主流になったMoE(Mixture of Experts)型モデルは、総パラメータのうち一部(活性パラメータ)だけを毎トークン読み出します。
MoEの速度 ≈ メモリ帯域 ÷ 活性パラメータ分のサイズ
gpt-oss 120B(総117B・活性5.1B): メモリは65GB必要だが、毎トークンの読み出しは数GB。DGX Sparkでも毎秒30トークン級が狙える
Qwen3.5 122B-A10B(活性10B)、35B-A3B(活性3B)も同じ構造
ここから2026年の新しいハード選びの定石が生まれました。大容量・低帯域のマシン(DGX Spark、Strix Halo、128GB Mac)は、高密度70Bではなく100B超MoEを動かすための箱と考えると、性能を最大限引き出せます。逆に高密度モデル狙いなら、容量より帯域(=GPU)に投資すべきです。
実践: 購入前チェックの4ステップ
機材を買う前に、この順番で計算してください。
使いたいモデルの占有サイズを確認する(量子化後の実サイズ。VRAM早見表参照)
候補マシンのメモリ帯域をカタログで確認する
帯域÷サイズで理論速度を出し、0.7〜0.8を掛ける
その速度が用途に対して許容できるか判断する
許容ラインの目安は用途によって変わります。
チャット対話: 毎秒10トークン以上あれば会話としてストレスが少ない
コーディング補完: 毎秒30トークン以上ほしい。待ち時間が作業リズムを壊すため
夜間バッチ処理(要約・分類など): 毎秒数トークンでも成立する。速度より容量を優先してよい
「最新で高い=速い」ではなく、「自分のモデルサイズと帯域の割り算」で決まる。これがローカルLLMの機材選びで唯一覚えるべき原理です。
まとめ
LLMの体感速度はデコードで決まり、デコードは毎トークン、モデル全体をメモリから読み出す
だから速度 ≈ メモリ帯域 ÷ モデル占有サイズ。実効はその7〜8割
ハードは4階級: GPU上位1TB/s級 / Apple上位500〜800GB/s級 / 統合メモリ機250GB/s級 / ノートPC・CPU 90〜140GB/s級
MoEモデルは活性パラメータで読み替える。大容量・低帯域マシンはMoE向き
買う前に「帯域÷モデルサイズ」を計算し、用途別の許容ライン(対話10、補完30トークン/秒)と比べる
用途に合う機材構成を確かめたい方へ
TodoONadaでは、ローカルLLM・生成AIの導入判断からPoC・構築までを支援しています。
用途と予算に合わせた機材・モデル構成の設計
「その構成で本当に必要な速度が出るか」の事前検証
社内データを扱う構成のセキュリティ設計
まずは30万円・2週間規模のミニ検証から。高価な機材を買う前に、狙いの構成で速度が出るかを確かめるところからでもご相談ください。お問い合わせはこちら。
