NVIDIA、AI推論時代の支配者 | その名を呼べ、そして叫ぶのだ

2026年1月6日 19:36

2026年1月。CES 2026でNVIDIAはRubin世代のラインナップを正式発表した。220兆トランジスタを搭載するVera Rubin NVL72。派手な数字だ。

しかし、私が注目したのはGPUそのものではなかった。

Rubin世代は、GPUの外側にある6つのチップの組み合わせによる最適化とコスト削減で高速化を図った。

特に、BlueField-4。

DPU（Data Processing Unit）と呼ばれるこのチップが動かす「Inference Context Memory Storage Platform」。LLMのKey-Valueキャッシュを階層管理することで最適化、つまり、アテンション機構の再計算コストを激減させる仕組みだ。「遂に出たか！」と興奮した。実に素晴らしい。

なお、この辺りの背景は以下のnote記事で書いているので参照して欲しい。

しかし、分離型推論、ネットワーク帯域、KVキャッシュ管理。すべてGPUコアの「外側」で起きている改善だ。

（あれ、CES 2026でGPUの「内側」の話がなかったんだが…どうなるのだ…？）

遡るは2025年12月、NVIDIAはGroqを買った。

いや、正確にはライセンス契約だが、200億ドル規模（報道ベース）という数字を見れば、実質的な買収と言っていい。

SNSでは様々な解説が溢れている。CoWoS制約の解決、HBM不足への対応、ハイパースケーラーへの先手…どれも一面の真実だ。

でも、私はそこに違和感を覚えた。

供給問題を解くだけなら、もっと安い方法がある。TSMCへの追加発注、SK Hynixとの長期契約。NVIDIAにはその交渉力がある。200億ドルは、新しい市場機会か、競争優位の根本的な組み替えのために払う金額だ。

十数年NVIDIAを見てきて、Jensen Huangが「守り」のためにこの規模を動かした記憶がない。

（革ジャンは、いったい何を攻めようとしている…?）

前回の記事で私はJensen Huangは推論計算における「境界線」を引くための「知識」を得るためだと論じた。私が十数年NVIDIAを見てきて学んだことがある。Jensen Huangは、常に次の波が来る前に準備を終わらせている。NVIDIAは、推論時代に向けて「外側」だけでなく「内側」についても具体的に動いているはずだ。

本稿では、直近の「Rubin」に取り入れられた推論時代に向けた各種技術とGroqの実質的買収から見える次世代NVIDIAチップ設計について考察し、CES2026では公開されなかった2028年の「Feynman」に投入すると推測される技術に対する私の考えを提供してみたい。

あくまでも調査をもとにした私の推測であり、技術寄りの話となるが、非技術者の方にも理解いただけるように、可能な限り分かりやすく解説したつもりだ。NVIDIA含め、周辺セクターへの今後の投資判断の参考にしていただきたい。

Rubin世代の回答 : CPXとInference Context Memory Storage Platform

2025年9月9日、NVIDIAはRubin CPXを発表した。HBM4ではなくGDDR7を採用した分離型推論（Disaggregated Inference）への布石となるチップだった。

詳細は、以下の記事で詳しく論じたので、ここでは要点だけを振り返る。

AI推論には2つのフェーズがある。プレフィル（質問の理解）とデコード（回答の生成）。この2つは、必要なリソースが根本的に異なる。プレフィルは計算集約的。デコードはメモリ帯域集約的。

従来のGPUは両方を1つのチップで処理していた。どちらにも最適化されていない。

NVIDIAの答えは、役割を分けることだった。Rubin CPXがプレフィルを担当し、Rubin R200がデコードを担当する。

Vera Rubin NVL144 CPXプラットフォームは、144個のRubin CPXと144個のRubin R200を組み合わせ、8エクサFLOPSの計算能力と100TBの高速メモリを1ラックに収める。

経済性は劇的だ。トークンあたりコストは従来比70%削減。粗利率は60-70%以上。NVIDIAは「1億ドルの投資で50億ドルのトークン収益」という数字を提示した。

分離型推論は、推論時代の経済基盤を作る第一手だ。

しかし、Rubin世代の最適化はこれだけではなかった。

序章で触れたCES 2026 で発表されたBlueField-4を、もう少し深掘りしよう。

BlueField-4が動かす「Inference Context Memory Storage Platform」。これはLLMのKey-Valueキャッシュ（KVキャッシュ）を専用ハードウェアで管理するシステムだ。

LLMのアテンション機構は、過去のトークンに対するKey-Value（KV）ペアを保持する必要がある。コンテキストが長くなればなるほど、このKVキャッシュは肥大化する。100万トークンのコンテキストでは、KVキャッシュだけで数百GBに達することもある。

従来、このKVキャッシュはGPUのHBM上に固定サイズのメモリプールとして置かれていた。しかしHBMは高価で容量に限りがある。長いコンテキストを扱おうとすると、すぐに限界に達する。

BlueField-4のInference Context Memory Storage Platformは、この問題にGPUの「外」から対処する。KVキャッシュを専用ストレージに逃がし、必要なときにGPUに供給する。アテンション機構の再計算コストを削減しながら、GPUのHBMを本来の用途、つまり、モデルの重みとアクティベーションに使える。