次世代AIインフラを制するのはどこか？NVIDIA、AMDそれともGoogleか？

近年の生成系AI（Generative AI）の普及に伴い、大規模言語モデル（LLM）の開発や運用コストの高騰が大きな話題になっています。これまではモデルを「どう学習（トレーニング）するか」に注目が集まっていましたが、大規模モデルを実際にサービスとして提供し続ける「推論（インファレンス）」のフェーズにも莫大な計算資源と運用コストがかかることが明らかになってきました。

さらに、NVIDIAがGPU市場を独占的にリードしてきた状況から、GoogleによるTPUの活用やAMDの台頭、あるいはAmazonが提供する独自チップ（Trnなど）など、AIを取り巻くハードウェアの選択肢も急速に広がっています。
本記事では、AIインフラの専門家であるSteeve Morin（ZML所属）の発言を引用しながら、AI分野におけるトレーニングとインファレンスの違い、主要なハードウェアプラットフォームの特性、今後5年の展望についてわかりやすく解説していきます。

1. トレーニングとインファレンスの基本的な違い

1-1. トレーニング：研究開発フェーズ

トレーニングとは、大規模言語モデルや画像生成モデルなどの“学習”を指します。極めて大量のデータを用い、モデルのパラメータを最適化することで精度を高める工程です。
Steeve Morin氏は、このトレーニング段階を「研究や実験に近いフェーズ」だと述べています。繰り返し実験するスピード（＝イテレーションの速さ）が重要であり、「より大規模なGPUクラスターを組む」、「高性能のインターコネクト（GPU同士のデータ通信）」を用いるといった、“もっと多く・もっと速く学習できる環境が必要” という点が大きな特徴です。

1-2. インファレンス：本番運用フェーズ

一方、インファレンスは、学習済みのモデルを“本番のユーザー”に対して動かす（推論を返す）段階です。チャットボットであればユーザーからの入力に応じてレスポンスを返し、画像生成ならテキストを入力して画像を出力するといった動作になります。
ここで重要になるのは、安定稼働とコストの最適化です。サービスとして24時間稼働し、膨大なリクエストに耐えられるだけのスケーラビリティを確保しつつ、必要以上のリソースを浪費しない工夫が求められます。

2. GPU市場の現状とNVIDIAの強み・弱み

2-1. NVIDIAが独占的地位を築いた理由

NVIDIAはGPUの計算資源を活用して深層学習ブームを牽引してきた中心的存在です。そもそもGPUは、画像レンダリングで多くのピクセルを同時処理するための並列処理ユニットですが、この並列構造が行列演算を多用するニューラルネットワークにも適していました。
さらに、「CUDA」という開発環境をNVIDIAが独自に整備し、PyTorchやTensorFlowといった主要フレームワークがCUDAに深く依存してきたため、多くの研究者・エンジニアがNVIDIA GPUを使わざるを得ない状況が生まれました。Morin氏は、「誰も本当はCUDAなんか気にしたくないのに、結局NVIDIAを使わざるを得なくなっている」 と苦笑交じりに語っています。

2-2. H100バブルと“巨大GPUアプローチ”への懸念

NVIDIAは、A100の後継機であるH100（通称Hopper）を投入し、さらに次世代のBlackwell（B100/B200とも呼ばれる）へと進む中で、サーバーグレードGPUの価格は非常に高騰しています。
Morin氏は、この“超高性能GPU”一本足打法が将来バブル崩壊を起こす可能性を指摘します。特に、インファレンスでは「大規模GPUを増やしても、スループットが2倍になるわけではない」という効率性の問題があり、価格と性能のバランスが崩れたまま拡張していけば、「いずれ辻褄が合わなくなる」 と強調しています。

3. AMDやTPU、専用チップの可能性

3-1. AMDは“価格効率”で優位を狙う

AMDは、GPUアーキテクチャ自体はNVIDIAと近しく、かつハードウェア価格がNVIDIAより安い場合が多々あります。さらに大容量メモリ（VRAM）を積んだGPUを提供できれば、インファレンス時には1枚のGPU上に複数のモデルを搭載して効率良く動かせるという利点も。
しかしながら、これまでは供給面（大企業に売り切れてしまう）やソフトウェアスタック（PyTorch + CUDAによる“慣れ”）の問題もあり、NVIDIAほど普及が進んでいないのが実状です。Morin氏によると、すでに「AMDに乗り換えれば4倍近い性能効率が得られるケースもある」ものの、ソフトウェア移行コストや供給不足といった大きなハードルが存在するといいます。

3-2. Google TPU、Amazon独自チップTrnの狙い

クラウド事業者も自社のAI向けチップを積極的に投入しています。代表的なものがGoogleのTPU（Tensor Processing Unit）やAmazonのTrainium（Trn）・Inferentia（Inf）です。
これらは外販される汎用GPUと違い、“自社クラウドの利用を促進する” というインセンティブの下で開発されるため、利用者にとっては「高いNVIDIAマージンを払わなくても済む」可能性が出てきます。
ただし、移植性の問題が大きく、結局はNVIDIA GPUに比べて活用事例が少ないのが課題となっています。

4. インファレンス比率の増大と今後5年の展望

4-1. 95%がインファレンス、5%がトレーニングになる未来

生成AIのサービス化が進むにつれ、インファレンスに必要な計算リソースが圧倒的に大きくなると予測されます。Morin氏は、「5年後にはAI計算全体のうち約95%がインファレンスに費やされるだろう」と指摘し、トレーニングに必要なリソースは全体の5%程度にとどまると予想しています。
そのため、大規模GPUクラスターを組んでのトレーニングは一部の巨大プレイヤーや特定の研究所に集約され、一般企業は学習済みモデルをどれだけ効率よく運用（推論）できるかが重要になるわけです。

4-2. “眠れる巨人”はGoogleか

Morin氏はまた、「製品（プロダクト）、データ、そして自前の大規模計算資源（コンピュート）」という3要素すべてを握る企業こそがAI時代の頂点に立つと説きます。その観点で見ると、「Googleこそが3つすべてを持つ“眠れる巨人”」であり、モバイル（Android）からビジネス（Google Workspace）まで多くのユーザーとデータを抱えている点を強調します。
一方で、OpenAIは大きな飛躍を遂げましたが、計算資源自体はMicrosoft Azure上に依存しているため、真に“Compute”を握っているとは言えません。最終的なマージンをどこが獲得するのかを考えると、クラウドの所有者や独自チップを持つ企業の強みが際立ちます。

5. さらなる効率化へのアプローチ

5-1. 大型モデル vs. 小型モデルとRAG（Retrieval Augmented Generation）

巨大な汎用モデルを“そのまま”動かすのは高コストです。そこで、小型モデルを用途ごとに最適化（ファインチューニングや蒸留など）し、軽量かつ高速に推論するアプローチが注目されます。
一方で、巨大モデルでも推論時に外部データを動的に取り込むRAG（Retrieval Augmented Generation）の仕組みを使うと、あたかも個別タスクに合わせて専門知識を呼び出せるようになります。RAGは、「ユーザーの質問に対し、ベクター検索などで関連文書を検索し、その文書をコンテキスト（プロンプト）としてモデルに与える」という形で実装されます。

5-2. “レイテンシ重視”へのシフトと専用チップ

モデルの“推論速度”は、テキスト生成のトークン単位のスループット（1秒あたりの生成トークン数）だけでは測れません。ユーザー視点では、リクエストを投げてから応答が返ってくるまでの待ち時間（レイテンシ）こそ重要です。
エージェント型のシステムが発展すれば、モデルが「内部的に思考（計算）を繰り返す時間」が長くなるため、GPUよりもオンチップメモリを大容量で積んだ専用ハードウェアの方が有利になる可能性があります。そうした“Compute-in-Memory”型アーキテクチャを研究するスタートアップも増えており、NVIDIA支配を揺るがす存在が出現する余地があります。

トレーニングとインファレンスの違い
トレーニングは研究開発に近く、巨大クラスターを活用してスピード重視の実験サイクルを回すフェーズ。インファレンスは本番運用であり、安定稼働とコスト効率が勝負になる。

• NVIDIAの強みと懸念
  CUDAとPyTorchによるソフトウェアの“抱き込み”が巨大な優位性を生んだが、H100など超高額GPUによる“巨大化”路線は将来的なバブル崩壊リスクもはらむ。

• AMDやクラウド専用チップの台頭
  AMDはハードウェアコスト効率が高い場合があるが、供給量とソフト対応が課題。Google TPUやAmazon独自チップも注目度大ながら、こちらも移植性のハードルがある。

• インファレンスが市場の中心に
  今後5年でAI計算リソースの約95%がインファレンスに費やされるようになる。ここをいかに効率化するかが事業の成否を左右する。

• “3要素”をすべて握るGoogle
  Googleは製品（多様なサービス群）、データ（世界中のユーザーから収集）、コンピュート（自社クラウドとTPU）をすべて有しており、最終的に大きな優位を築く可能性がある。

• 今後の展望：専用チップとモデルアーキテクチャの進化
  レイテンシを重視するエージェント型AIの登場や、トランスフォーマー以外のアーキテクチャ、Compute-in-Memoryをはじめとする革新的な専用チップの登場によって、次の5年でAIインフラは大きく再編される可能性がある。

Morin氏は「AIの最終的な勝利者は、巨大モデルをただ大きくするのではなく、“効率化と専用アーキテクチャの最適化”を実現したプレイヤーになるだろう」と語ります。さらに「製品・データ・コンピュートの3要素すべてを制し、推論が当たり前に使われる時代のコスト管理ができる企業」こそが、強靭な勝者になるという視点は非常に興味深いと言えます。
AIを支える基盤技術・ハードウェアへの理解は、今後もビジネスや研究開発の成否を左右する極めて重要な要素となるでしょう。大規模モデルブームの先にある“インファレンス中心の時代”をにらみながら、より効率的で柔軟なAI運用のかたちを模索する動きは加速していくと考えられます。

関連記事