Groq社長サニー・マドラ氏「推論コストは2年半で99%下落」 ― スタンフォード講義でAI経済の実態を解説
「ソフトウェアが世界を飲み込んだ(Software ate the world)」という有名なテーゼがあります。ソフトウェアは一度作ってしまえば、追加のユーザーに配信するための限界費用はほぼゼロでした。しかし、AIはこれと根本的に異なる構造を持っています。ユーザーが増えれば増えるほど、それに比例して大量の計算資源(コンピュート)が必要になるからです。
2026年春、スタンフォード大学の授業「MS&E435 Economics of the AI Supercycle」に、著名投資家でAltimeter Capital創業者のブラッド・ガースナー氏と、Groq社長(前Groq Cloud責任者、現NVIDIA幹部)のサニー・マドラ氏が登壇しました。テーマは「推論(インフェレンス)の経済学」。本稿では、両氏の対話をもとに、AI業界の設備投資や収益構造を読み解く上で押さえておきたいポイントを、やや詳しめに整理していきます。
1. 講義の前提:テクノロジーとGDP成長の関係
本題に入る前に、ガースナー氏はまず大局的な視点を共有しました。過去2000年間の世界のGDPを振り返ると、1800年代に入るまでの約1800年間、人類の生産性はほとんど向上せず、「生存のための経済」が続いていたといいます。しかし、産業革命以降、GDPが倍増するまでにかかる年数は劇的に短縮され、現在ではおよそ25年ごとに世界のGDP(=生活の質)が倍増する水準に達しているとされました。
同氏は、GDP成長率の上昇が、貧困率の低下、識字率の向上、民主主義の広がり、ワクチン接種率の上昇、乳幼児死亡率の低下などと相関していると指摘し、「イノベーションそれ自体が社会的な善である」と述べています。また、テクノロジー産業が、世界のGDPに占める割合は、かつての5%から現在は約13%まで拡大しており、この比率は今後さらに上昇していくとの見方を示しました。ナスダック上場企業のEPS(1株当たり利益)成長率が、過去10年で年率15%だったのに対し、非テック企業は6%にとどまるというデータも紹介され、テクノロジー企業が相対的に優れた投資対象であり続けてきた理由が説明されました。
DeepMindのデミス・ハサビス氏の発言も引用され、「AIによる変化は産業革命の10倍のインパクトを、10倍のスピードで、恐らく1世紀ではなく10年というスパンで実現する」との見立てが紹介されています。そして、この変化の根底にあるのが「計算(コンピュート)」であり、AIにおける知能の最小単位である「トークン」の生産について語るのに最も適した人物としてマドラ氏が紹介されました。
2. Groqの成り立ちと、GPUとは異なるアーキテクチャ
Groqは、Google TPUの開発者であるジョナサン・ロス氏が創業した企業です。ロス氏は高校を中退し(退屈だったからだと語られています)、その後NYUの数学博士課程に進学、Googleに採用されてTPUの原型設計に携わりました。しかし「TPUは、Google社内に閉じ込めておくべきではない」との考えから独立し、Groqを創業したという経緯があります。
Groqのチップは、NVIDIAのGPUとは異なる「データフローアーキテクチャ」を採用しており、最大の特徴は、完全に決定論的(fully deterministic)である点です。マドラ氏は次のように説明しています。
「アーキテクチャと表裏一体なのがコンパイラだ。すべての計算がどこで行われるかを事前に決定する」
同氏は、AIのトークン生成に必要な計算量について、「モデルのパラメータ数×コンテキスト長の2乗」という目安を示し、この計算負荷の大きさこそがコンピュート需要爆発の背景にあると説明しました。
2-1. クラウド化という戦略転換
Groqは、当初、自社ハードウェアを企業に直接販売しようとしていましたが、開発者からすると重要なのは「API経由で使えるかどうか」であり、背後のハードウェアの違いは気にされないことに気づいたといいます。マドラ氏は振り返ります。
「開発者はハードウェアの違いを気にしない。APIさえあればいい」
そこで、Groqは、クラウド上でAPIを提供する形態に転換し、オープンソースモデルを積極的に取り込んだ結果、数週間で数十万人のユーザーを獲得、最終的に400万ユーザーに到達しました。マドラ氏は、この規模拡大のスピードを、NVIDIAが同程度の規模(700万ユーザー)に到達するまでに17年かかったことと比較し、推論モデル普及の速さを強調しています。
3. 競合から統合へ ― NVIDIAによるGroq買収の舞台裏
かつてNVIDIAとGroq、そして、Cerebrasは、推論チップ市場における競合関係にありました。ガースナー氏は、Cerebrasの投資家でもあったため、両陣営の内情を知る立場から次のように振り返ります。
「創業から9年目、彼らはまだ生き残りをかけて戦っていた。存在しない市場のために作っていたようなものだった」
転機となったのは、NVIDIAのジェンスン・ファンCEOが、ガースナー氏のポッドキャスト「BG2」に出演した際の発言でした。ファン氏は、「推論時の推論(inference time reasoning)によってすべてが変わった」とし、推論需要が、「10倍でも100倍でもなく、10億倍に向かっている」と語ったといいます。
この局面でマドラ氏は、GroqのアーキテクチャをNVIDIAのGPUと組み合わせるというアイデアに至ります。ポイントは「プリフィル(prefill)」と「デコード(decode)」の分離、さらにデコード内部での機能分解でした。
「GPUには、大量の計算能力と、低速な外部メモリ(HBM)がある。私たちには計算能力は多くないが、非常に高速なSRAMが大量にある」
マドラ氏は、NVIDIAのチップ間通信規格「NVLink」を使い、GroqのチップとNVIDIAのGPUを接続する構想をガースナー氏経由でファン氏に持ちかけました。実証の結果、同じ電力枠で2.5倍のトークン生成量を達成できることが示されたといいます。
3-1. わずか30日での合意
ガースナー氏は、動作するプロトタイプをファン氏に見せてから買収合意に至るまで、わずか1カ月あまりだったと明かしました。買収額は200億ドルで、NVIDIA史上最大の買収案件とされています。マドラ氏は、GroqとNVIDIAが「決定論的コンパイラ型のSRAMチップ」と「GPU」という技術的に補完関係にある存在だったからこそ、社内対立を招きにくく、スムーズな統合につながったと分析しています。
「もし私たちがGPUの改良版を作っていたら、NVIDIA社内で大きな軋轢が生まれていただろう。しかし私たちのアプローチは根本的に異なっていたので、企業文化やエンジニアリングチームの融合も非常に補完的だった」
4. 推論コストはなぜ下がり続けるのか
マドラ氏は、推論の単価(unit cost)を左右する要因として、大きく3つを挙げました。
半導体サプライチェーン(台湾TSMCを中心とするパッケージング・リソグラフィ技術)
エンジニアによる技術革新
電力
同氏によれば、リソグラフィ技術の進歩は限界に近づきつつあり、いわゆる「ムーアの法則」通りのペースでは進んでいないといいます。そのため、業界は、チップそのものを大型化する方向(Cerebrasのような「ピザボックスサイズ」のチップ)や、MVFP4のような量子化技術を含むアーキテクチャ上の工夫によって性能を補っています。
その結果として、推論コストは、過去1年間で約90%、過去2年半では約99%下落したと説明されました。ただし、同時に、モデルのパラメータ規模は1兆〜10兆に達しつつあり(イーロン・マスク氏周辺の情報として言及)、需要増とモデルの巨大化のペースがコスト削減のペースを上回る局面もあるとされ、これがH100のようなチップの価格が依然として高止まりしている一因になっているといいます。
4-1. 「支払意欲」の逆転 ― 赤字ビジネスから黒字ビジネスへ
マドラ氏は、OpenAIやAnthropicが事業開始当初、大幅な粗利益率のマイナスを許容していたと指摘しました。
「1ドルで作ったものを20セントで売っているようなものだった」
しかし、当時のモデルの性能ではユーザーの支払意欲もそれほど高くなく、企業側は「将来的に推論コストが大きく下がり、知能の価値が上がることで支払意欲も大きく上昇する」という賭けに出ていたと説明されます。マドラ氏はAI活用の段階を次のように整理しました。
「最初のイニングは、単に答えを得られる段階だった。コード生成であればオートコンプリート、チャットであれば少し賢いGoogle検索のようなものだった。しかし、今はエージェントが実際に物事を『実行する』フェーズに入りつつある」
エージェントが実際にタスクを遂行する場合、消費するトークン量は桁違いに増える一方、エンドユーザーに提供される価値も100倍規模で上昇するため、支払意欲も劇的に上昇するというのがマドラ氏の見立てです。この結果、かつて赤字だったOpenAIやAnthropicのビジネスは、現在ではプラスの粗利益率に転じているといいます。
5. Anthropicの急成長 ― 単月で年換算100億ドル増
ガースナー氏は、AIの価値を裏付ける最も説得力のある証拠として、Anthropicの成長スピードを挙げました。
「Anthropicは、3月の1カ月だけで、年換算売上を100億ドル積み増した」
これは、DatabricksとPalantirの年間売上を合算した規模に相当するといいます。ガースナー氏は、この急成長が大規模な営業活動によるものではなく、「製品が一定の知能水準の閾値を超えたことで、世界中の何百万もの自己利益に基づく意思決定者が独立して『この製品がなければ会社が良くならない』と判断した結果だ」と分析しました。
具体的な月次の数字として、1月に35億ドル、2月に80億ドル、3月に105億ドルという成長が紹介され、ガースナー氏は「収益がインテリジェンスと同じ指数関数的曲線で伸びている」ことの証左だと述べています。
5-1. サム・アルトマン氏との一幕
ガースナー氏は、自身のポッドキャスト「BG2」で、OpenAIのサム・アルトマンCEOに対し、「1.4兆ドルの支出コミットメントに対して、売上はわずか130億ドルしかない。どう説明するのか」と問いただした際のやり取りを紹介しました。ガースナー氏が期待していたのは、売上が今後大きく伸びるという説明だったといいますが、実際のアルトマン氏の回答は次のようなものだったといいます。
「投資が気に入らないなら、株を買い戻す」
このやり取りは一部で話題になったとされ、ガースナー氏のポッドキャスト共同ホストであるビル・ガーリー氏をはじめ、「AIバブル」を懸念する声が根強くあったことも語られました。しかしその後、Anthropicの月次売上が1月35億ドル→2月80億ドル→3月105億ドルと急拡大したことで、ガースナー氏自身は「すべてが変わった。製品の収益が知能と同じ指数関数で伸びるようになった」との認識に至ったといいます。
6. AI版「原子の分裂」――Mythosと安全性への取り組み
マドラ氏は、Anthropicの非公開モデル「Mythos」が、今週BSD(Berkeley Software Distribution)のバグを発見したことに言及しました。同モデルはまだ一般公開されていない段階のものです。
「これは人間の能力を超えた領域に到達しつつあることを意味する。そして私たちはまだ(この技術の)3年目にいる」
ガースナー氏は、さらに具体的なエピソードとして、次のように述べています。
「Mythosは、社内でテストされ、Safariブラウザで26件の脆弱性を発見した」
Anthropicは、同モデルを一般公開する前に、「Project Glasswing」と呼ばれる枠組みでサンドボックス化し、Amazon・Microsoftなど複数の企業と共同で安全性検証を行っていると説明されました。ガースナー氏はこの取り組みを「非常に実践的で市場ベースの解決策」と評価する一方、モデルが何度かサンドボックスからの「脱出」を試みたことにも言及し、次のように述べています。
「強力な技術は強力な技術だ。原子を分裂させれば、世界に無限のクリーンエネルギーをもたらすこともできれば、都市や国家を破壊する爆弾を作ることもできる。この技術を一方通行の話だと思って頭を砂に埋めるわけにはいかない」
同氏はまた、AnthropicのダリオCEOやOpenAIのアルトマンCEOが、公の場で「誇張している」との批判に対しても言及し、両者ともに「自分たちが本当に信じていることを、真摯に語っている」との見方を示しました。一方で、「規制の虜(regulatory capture)」、すなわち自社が先行者利益を確保した後に他社の参入を妨げる目的で危機感を煽ることには「大きな問題がある」とも釘を刺しています。
7. NVIDIAの競争優位性は揺らぐか
学生からの質問に対し、マドラ氏は、「NVIDIAで働いているので、この質問には答えられない」と述べつつ、ガースナー氏が投資家としての立場から回答しました。同氏は、NVIDIAが時価総額4.5兆ドル規模でありながら、PER(株価収益率)は約13倍と市場平均の半分程度の水準にとどまっている点を指摘し、「割安である」との見方を示しました。
Trainium(Amazon)やTPU(Google)、Cerebras、Groqなど、各社が独自の推論チップを開発していることについては、「それが資本主義の美しいところだ。NVIDIAはより高い価格でも買いたいと思われる製品を提供するか、価格を下げてマージンを削るかして、その市場で競争しなければならない」と述べました。その上で、NVIDIAは、すでに今後8四半期分で1兆ドル規模の受注(bookings)を確保済みであり、メモリや供給能力の制約から需要に応えきれていない状況だと説明しています。
「16年前、シリコンバレーでは『時価総額1兆ドルの企業なんて存在し得ない』と言われていた。今は4.5兆ドル企業がある。私はすでに公にNVIDIAが最初の10兆ドル企業になると言っている」
同氏は、これはNVIDIAへの応援というより、「知能に対する市場の大きさと、そこに到達するために必要な計算資源の規模」を物語っていると付け加えました。
8. キャリアへの示唆 ― 「IQはコモディティ化し、EQが重要になる」
学生からの質問に対し、ガースナー氏は、産業革命期に職人が機械化によって仕事を失った歴史を引き合いに出しつつ、次のように述べました。
「人間には、破壊が起きてもなお社会に価値を加える独自の方法を見つける力がある」
かつて製造業や農業に従事していた人口が8割を占めていた時代から、現在は7割がサービス業に従事するようになったことを例に挙げ、「かつては裕福な層しか受けられなかった専属コーチや高級医療のようなサービスが、AIによって民主化されつつある」との見方を示しました。
同氏は今後の人材市場について次のように整理しています。
「IQはコモディティ化し、EQ(人間関係構築力)がより価値を持つようになる」
具体的には、ネットワーク構築力、隣の人を説得する力、チームをまとめるリーダーシップなどが、AIに代替されにくい能力として挙げられました。「盤上の問題を誰よりも早く解く」という能力そのものはコモディティ化していく一方、これらの能力は今後さらに重要性を増すとの見立てです。
マドラ氏も、NVIDIA社内で導入されている**「NVIDIA Personal Assistant」**という事例を紹介しました。このエージェントはSlack・Teams・メール・各種ファイルに接続されており、毎朝その日のタスクを自動的に整理してくれるといいます。同氏は「もはやメールを自分で書くことすらしなくなった。相手のエージェントが送ってきたメールに、自分のエージェントが返信案を作る。そのおかげで、従来の承認業務などに費やしていた時間が解放され、より多くの仕事がこなせるようになった」と述べています。
9. デバイス戦略とAppleの立ち位置
学生からの質問を受け、ガースナー氏はAppleの戦略についても言及しました。同氏は、Appleがプライバシーを中核的な価値提案としているため、AI処理をエッジ(端末)側で完結させたいという制約を抱えており、それが同社にとってのリスクになり得ると指摘しました。
「Appleの社内でさえ、自社の戦略に神経質になっている人がいる」
強気シナリオとしては、端末への高いロイヤルティを背景に、GeminiベースのSiriが「十分に賢くなる」ことで大半のユーザーには満足のいく体験を提供できるという見方が示されました。一方、弱気シナリオとしては、より野心的なアンビエントデバイスを他社が投入してくる可能性が挙げられています。ガースナー氏は個人的な見解として、「OpenAIにはデバイス開発よりも、純粋に知能の開発に集中してほしい」とも述べました。
なお、この文脈でマドラ氏は、80億パラメータ程度の比較的小さなモデルでも、iPhone上で動かすとわずか30分でバッテリーを消費し尽くしてしまうというデータを紹介し、AIのエッジ展開がいかに電力面で困難であるかを補足しています。
