Transformerの発明者が語る“次の10年”：連続思考マシンCTMと、研究自由がつくるAIの新Sカーブ
「Transformerを発明した人物が、Transformer研究から身を引く」と聞けば、多くの読者は驚くだろう。
大規模言語モデル（LLM）を支える基盤技術として、Transformerは社会・産業・研究を一変させた。にもかかわらず、その中心にいた研究者はこう語る。
「この分野は過飽和になった。面白い研究ができる自由が失われつつある」
本記事では、Transformerの共同発明者による新たな挑戦——Continuous Thought Machine（CTM：連続思考機械）とは何か、なぜ彼はTransformerを離れたのか、そして、この技術がAI研究と産業にどのような転換をもたらす可能性があるのかを、具体例と引用を用いて解説する。
1. なぜ「Transformerの発明者」は離れたのか
1-1. 研究自由度の喪失
Transformerが成功したことで、AI研究の重心は急速に「自由な探究」から「商業的成果」へと移っていった。大規模企業やスタートアップには多額の資金が流入し、その代わりに、研究者にはより短期的でわかりやすい成果が強く求められるようになっている。
研究者は、現在の状況について、かつてのように研究者が自由に数ヶ月も一つのアイデアに集中できる環境は失われつつあり、投資家や経営サイドからは常に「成果」や「製品化」を問われるようになったと指摘する。こうしたプレッシャーのもとでは、思い切った新規アーキテクチャの提案よりも、「今流行しているモデルをどう少しだけ改良するか」という安全なテーマが選ばれやすくなる。
その結果として、同じアーキテクチャに対する微修正の論文が大量に生まれ、真に新しい方向性を模索する研究が相対的に減ってしまう。彼が「ローカルミニマムにとらわれている」と表現するのは、まさにこの空気感に対してである。
1-2. Transformer成功の“副作用”
Transformer以前、RNNやLSTMを用いた研究では、1.26ビット／文字が1.25になり、さらに1.24になるといった、わずかな改善が論文として評価される時代が続いていた。
ところが、Transformer登場後、同じタスクにTransformerを適用した途端、性能が一気に飛躍し、それまで積み重ねられてきた多くの工夫が、相対的には意味を失ったように見えてしまった。
本人も、RNNベースのキャラクターレベル言語モデルの研究が一瞬で古びてしまった経験を振り返り、
「とても良い研究だったにもかかわらず、Transformerの登場で一気に時代遅れになった」
と語る。この「劇的成功」は、以後の研究コミュニティに大きな影響を与えることになった。研究者たちはTransformer以外のアプローチに手を出しにくくなり、大規模な計算資源とデータを投じて“ひたすらスケールさせる”方向へと流れていく。
しかし、彼はこう警鐘を鳴らす。
「今のAIは、“十分に良すぎる”がゆえに、根本的な問題が隠蔽されている」
2. Continuous Thought Machine（CTM）とは何か
2-1. CTMが解決しようとする根本問題
現在の大規模言語モデルには、よく知られた矛盾がある。一方の文では、博士課程レベルの問題を見事に解きながら、次の瞬間には小学生でも気づくような誤りを平然と返す、という「ギザギザの知性（Jagged Intelligence）」の問題である。
研究者は、この現象を、人間の思考構造と現行アーキテクチャの表現方法との間にある根本的なギャップの表れだと見ている。単に計算量やデータ量を増やせば解決する「スケールの問題」ではなく、「どのような単位で世界を表現し、どのように時間的に思考を進めるか」という構造の問題だという立場である。
2-2. CTMの核心：内部思考の導入
CTMの最大の特徴は、モデルの内部に「思考の時間軸」を持たせている点にある。
従来のTransformerでは、入力が与えられれば一度の前向き計算で出力が決まり、その内部プロセスはユーザーからはほぼブラックボックスとして扱われる。
これに対して、CTMでは、内部に100ステップ前後の「連続した思考ステップ」を用意し、モデルが徐々に解に近づいていくプロセスを持つ。迷路問題を例に取ると、従来のアプローチは、「迷路画像を入力し、一発で正しい経路全体を出力する」ことを目指すが、CTMは、「上に進む→右に曲がる→もう一度上へ」というように、順番に経路を構築していく人間的な解法に近づけようとする。
この内部思考ステップは、単にステップ数を増やしているわけではなく、難しい問題に対してはより多くのステップを自然に使い、簡単な問題に対しては数ステップで解いてしまうという「適応計算」の性質も併せ持つ。
2-3. 重要な技術要素
CTMでは、いくつかの重要な新規性が組み合わされている。
まず一つ目は、すでに述べたように、内部に明示的な「思考次元」を導入して、推論を逐次的なプロセスとして表現している点である。
二つ目は、各ニューロンを単なる「ReLUのオン・オフ」のような単純なユニットではなく、小さなモデル（Neuron-Level Model）として扱い、ニューロン自身が過去の履歴を参照しながら振る舞いを変えるように設計している点だ。これは、生物学的なニューロンの複雑さに一歩だけ近づく試みと捉えることができる。
三つ目は、「同期（Synchronization）」を表現の中核に据えている点である。CTMでは、各ニューロンの時間的な発火パターン同士の内積を計算し、その同期の強さをもとに「思考の状態」を表現する。ニューロンの数が増えれば、ペアの組み合わせは二乗的に増え、その分だけ豊かな表現空間が生まれることになる。この構造によって、時間をまたいだ複雑な関係性を表現しやすくしている。
3. なぜCTMは「次の大波」になり得るのか
3-1. Transformerが苦手な領域での強み
CTMが、特に強みを発揮すると期待されているのは、推論や計画、スパースな離散構造を扱う問題領域である。迷路タスクにおいては、CTMが一度選んだルートが行き止まりだと気づいた際に、途中まで戻って別のルートを探索し直す様子が観察されたという。これは、単に訓練データをなぞるのではなく、探索戦略そのものを学習している兆候といえる。
こうした振る舞いは、方針転換やバックトラッキング、メタ推論といった、人間の問題解決に不可欠な要素に近い。現状のLLMは、プロンプトを工夫したり、ツールや外部ループを大量に組み合わせたりすることで擬似的にそれらを実現しているが、CTMはそれをアーキテクチャの内側で実現しようとしている点に本質的な違いがある。
3-2. カルブレーション性能という「副産物」
もう一つ注目すべきなのは、CTMが自然なかたちで高い確率校正（calibration）を示したという報告である。
通常のニューラルネットワークは、長く訓練すればするほど「自信過剰」になりやすく、「90%の確率で正しい」と出力しているにもかかわらず、実際にはそれほど当たっていない、といった現象が起きる。これを補正するために、従来は後処理で温度スケーリングなどのテクニックを用いる必要があった。
ところが、CTMでは、特別な工夫を加えなくとも、学習後のモデルがほぼ正しく校正された確率を返していたという。これは、内部で「いつ考えるのをやめるか」を自律的に決める適応計算や、同期ベースの表現が、結果的に不確実性を適切に扱う構造へとつながっている可能性を示唆している。
4. Sudoku Benchが示す「真の推論の壁」
研究者は、CTMと並行して「Sudoku Bench」という新しい推論ベンチマークも提案している。これは、表面的には、「数独」であるため一見地味に見えるが、実際には現在のLLMの限界をあぶり出す設計になっている。
ここで扱われるのは通常の数独ではなく、複雑な追加ルールを持つバリアント数独である。ルール自体が自然言語で説明され、その説明文の中に「わざと間違った数字」が紛れ込んでいる問題や、数独の盤面の上に迷路が重ねられ、ネズミがチーズまでたどり着くルートと数字の制約を同時に満たさなければならない問題など、個々のパズルがそれぞれ異なる「発想の転換」を要求してくる。
このデータセットの特徴は、YouTubeチャンネル「Cracking the Cryptic」の協力により、熟練解き手が何時間もかけてパズルを解く過程で口頭で説明した「思考の跡」を大量に収集している点にある。つまり、「答え」だけでなく、「どう考えたか」という推論のプロセスそのものがデータ化されている。
にもかかわらず、現状の最先端モデル（GPT-5を含む）は、このベンチマークにおいて人間レベルにはほど遠く、ごく簡単な問題群でしかそれなりのスコアを出せていない。モデルは行き詰まると「1を試す→ダメなら2→ダメなら3…」と単純な試行錯誤に戻ってしまい、人間が見せるような「ルールへの洞察」や「新しい手筋の発見」には到達していないのである。
この結果は、「推論タスクっぽく見えるベンチマーク」で好成績を収めている現状のLLMが、本当に推論しているのか、それとも単にパターンを当てはめているだけなのかを問い直す材料になっている。
5. 研究者が守ろうとしているもの
こうした問題意識の延長線上で、彼が立ち上げたのがSakana AIである。
この会社では、研究者が自分の興味に従ってテーマを選び、長期的でリスクの高いアイデアにも挑戦できるようにすることを、経営方針として明確に掲げている。
本人は新しく入った研究者に対して、「あなたが本当に面白いと思うこと、重要だと思うことに取り組んでほしい」と繰り返し伝えているという。短期的なプロダクト要求や投資家の期待が膨らむにつれ、研究自由度は必ず削られていく。その圧力をどこまで抑え込めるかが、自分の役割だと自覚しているのが印象的だ。
結論：AI研究は次のフェーズへ
Transformerが築いたこの10年は、間違いなくAIの歴史を塗り替えた。しかし、その当事者だからこそ見える「行き詰まり」も存在する。
彼の問題提起はシンプルだ。
「本当にこのアーキテクチャの延長線上にAGIはあるのか？」
Continuous Thought Machineは、まだ初期段階の研究成果にすぎない。それでも、内部に思考の時間軸を持ち、表現方法そのものを見直すという発想は、単なる“巨大化競争”とは違う、新しい方向性を示している。
今後の争点は、Transformerをさらにスケールさせる路線がこのまま覇権を維持するのか、それともCTMのような「構造そのもの」に踏み込むアプローチが次のブレイクスルーを生むのか、という点に移りつつある。
