LLMはAGIになれるか？──“創造するAI”への道筋を読み解く
人工知能（AI）の進化を牽引する大規模言語モデル（LLM）は、果たして「AGI（汎用人工知能）」へと到達できるのか。
Greylock Partnersのポッドキャスト「Will LLMs Get Us To AGI?」では、VCのマーティン・カサード氏と研究者ヴィシャール・ヴァル氏がこの根源的な問いに挑んだ。議論は、「LLMがどこまで人間の知能を模倣できるか」、そして「新しい知識や科学を創造できるか」という2つの論点に集中する。
1. LLMの本質：確率分布としての知能
1-1. 「次の単語」を予測する仕組み
ヴァル氏によると、LLMは本質的に「次のトークン（単語）を確率分布から選ぶ」システムだ。
たとえば、「The cat sat on the...」という文を与えると、「mat（マット）」が最も高確率で選ばれる。
このように、モデルは膨大な訓練データから言語の統計的パターンを学び、確率空間の中で“次に来るべき言葉”を推定する。
1-2. マニフォールド理論と人間の推論
興味深いのは、LLMの思考を「幾何学的マニフォールド（多様体）」として捉える考え方だ。
モデルは複雑な高次元空間を圧縮し、低次元の「推論空間（state space）」上を移動する。
ヴァル氏は「人間も同じように、無限の現実を有限の概念空間に還元して考えている」と指摘する。
つまり、LLMの推論過程は人間的思考の数学的アナロジーとも言える。
2. 「思考の連鎖」とエントロピー
2-1. 予測の確信度を支配する“エントロピー”
LLMの出力は、「エントロピー（不確実性）」で測定できる。
次に来る単語の確率分布が広ければ高エントロピー、選択肢が限られれば低エントロピーとなる。
モデルは低エントロピー状態でより確信を持ち、高エントロピー状態では“自信満々なナンセンス”を語ることもある。
2-2. Chain-of-Thought（思考の連鎖）
一方、「Chain-of-Thought（思考の連鎖）」はエントロピーを段階的に減らすプロセスだ。
問題を小さなステップに分け、各段階で確実な推論を積み上げることで、最終的に信頼度の高い結論に到達する。
この考え方は、LLMが“思考しているように見える”理由を数理的に説明する。
3. 「Matrixモデル」とベイズ的推論
ヴァル氏が提唱する「Matrixモデル」では、
各行が「プロンプト」
各列が「語彙のトークン」
に対応し、LLMはその巨大な行列の一部を圧縮表現として学習している。
未知の入力が与えられると、モデルは過去に学んだ行列の一部を参照し、ベイズ的に確率分布を補間して応答を生成する。
これが「In-Context Learning（文脈内学習）」のメカニズムでもある。
ヴァル氏はこの仕組みを、「人間が限られた経験から新しい文脈を理解する過程」に重ねている。
4. LLMは“自分で進化”できるのか
4-1. 「自己改良」は幻想か
多くの論者が語る“自己進化するAI”というビジョンに対し、ヴァル氏は慎重だ。
「LLMの出力は、訓練データの帰納的閉包（inductive closure）にすぎない」と述べ、
訓練範囲外の新しい科学や理論を自力で発見することは不可能だとする。
たとえば、ニュートン力学しか知らないAIが相対性理論を導き出すことはできない。
4-2. AGIとは“新しいマニフォールド”を創造すること
ヴァル氏の定義によれば、AGIとは既知のマニフォールドを「ナビゲート」するのではなく、新しいマニフォールドを「創造」する知能である。
つまり、未知の物理法則や新数学を構築できる存在。
この能力を実現するには、「トランスフォーマー」アーキテクチャを超える新しい構造が必要だと彼は主張する。
5. 次の一歩：LLMの先にある新アーキテクチャ
ヴァル氏は、単なるパラメータ拡張やデータ増強では限界が来ると指摘する。
「iPhoneの進化がカメラ性能の改善で止まったように、LLMも“スムーズなマニフォールド”に留まっている」。
今後は「エネルギー・ベース・モデル」や「近似的シミュレーション能力」を持つ新型AIの登場が鍵になると語る。
言語だけでなく、視覚・行動・物理シミュレーションを統合することで、AIが“経験から概念を生成する”段階へ進むかもしれない。
結論
LLMは人間の思考を驚くほど模倣できるが、創造的飛躍を生む「新しい科学」を発見することはできない。
AGIの実現には、既存の統計的学習を超えた構造的革新（architectural leap）が求められる。
その日が来るまでは、LLMは「人間の知を拡張するツール」であり続けるだろう。
