Jeff Dean氏「AIはジュニアエンジニア水準」― 1年前の予測とTPU誕生秘話を語る
Googleの著名エンジニアであり、MapReduce・BigTable・TensorFlow・TPU・Geminiの開発に関わってきたJeff Dean氏が、あるカンファレンスに登壇し、AIの現状予測からTPU誕生の逸話、そして起業家に向けたアドバイスまで幅広く語った。
1. 「AIは既にジュニアエンジニア水準」― 1年前の予測を検証
Dean氏は、2025年5月、AI Ascentのイベントで「AIはジュニアエンジニアの水準にある」と発言していた。約1年が経過した今、この予測がどこまで当たっていたか問われた同氏は、「エージェントベースの長時間実行コーディングタスクにおいて、モデルは大幅に進歩しており、ジュニアエンジニアの定義次第だが、かなり的を射ていたと思う」と振り返った。同氏は、より複雑なタスクをこなす能力の伸びが、自身が想定していたよりも速かったと認め、コーディング以外の領域でもエージェントベースのシステムが目覚ましい成果を上げ始めていると付け加えた。
2. 2027年の大胆予測 ― MLシステム自身が自らを自動改善する時代へ
次の大胆な予測を求められたDean氏は、「機械学習システム自体の自動化がさらに進むだろう」と述べた。ML(機械学習)システムが、多数の実験を実行し、問題をサブ問題に分解し、それらを緊密な自動実験ループの中で回し、結果を統合することで、能力を自ら向上させていく仕組みが実現するとの見通しを示した。同氏は、これがMLに限らず、測定可能な目標を持つあらゆる科学・工学分野に応用可能だとも述べている。
3. 検索を変えた「紙ナプキン計算」― RAM移行の逸話
Dean氏は、2001年当時Googleの検索が、ハードディスク上で稼働していた頃、同僚のSanjay Ghemawat氏と共に、検索インデックス全体がいずれ保有する全計算機のRAM容量に収まる規模になると気づき、わずか数日でハードディスクからRAMベースの検索へと本番システムを刷新した逸話を振り返った。これがGoogle検索の高速化を実現した転機だったという。
同氏は、この逸話を踏まえ、2026年の今、同様に注視すべき「メモリに収まる瞬間」に相当するものとして、「高性能・低エネルギーの推論専用ハードウェア」を挙げた。推論こそが、エージェントベースシステムをより多くの人々に届ける鍵であり、レイテンシの低さが重要で、専用ハードウェアによる特化こそが、GPUやTPUのような汎用計算装置よりもエネルギー効率と低レイテンシを実現する道だと説明している。
4. 「6000人が信じている、既に間違った前提」とは
現在会場にいる多くの人々が抱いているであろう、既に誤りとなっている前提について問われたDean氏は、「エージェントベースのシステムが、1〜2時間ではなく、数日から数週間にわたって稼働し続け、非常に複雑なタスクをこなせるということが、どれほど現実的になっているかを、まだ十分に理解していない人が多い」と指摘した。同氏は、あるソフトウェアを全く異なるプログラミング言語で(より高い安全性や性能特性を持つ形で)完全に再実装するようエージェントに指示し、実際に数週間かけてそれをやり遂げさせた経験を具体例として挙げている。
5. TPU誕生秘話 ― 音声認識需要の「紙ナプキン計算」
Dean氏がよく知られる「紙ナプキン計算」の逸話として、2013年、Googleで深層学習ベースの音声認識が実用化し始めた当時のエピソードが語られた。同氏は、もし全Googleユーザーが、1日3分間、音声認識機能を使ったらどうなるかを試算したところ、必要な計算資源が、Googleのサーバーフリート全体を倍増させる規模になり、コスト的に非現実的だと分かったという。
同氏は、当時、深層学習ベースの音声モデルの精度が、従来のモデルに対し「数か月のモデル調整とデータ改善だけで、音声認識分野における20年分の進歩に相当するエラー率改善」を実現していたことに触れ、音声認識の精度が上がれば人々がより頻繁に使うようになるはずだと懸念したことが、この試算のきっかけだったと説明した。この結果、低精度・高密度の線形代数演算に特化したチップ、すなわちTPUの開発に至ったという。同氏は、こうして生まれたTPUが、当時のCPU・GPUと比較して30〜80倍のエネルギー効率、20〜30倍低いレイテンシを実現したと振り返った。
6. あえて「汎用」に留めた設計思想
トランスフォーマー・アーキテクチャが、TPU開発よりずっと後に発明されたにもかかわらず、TPUが今日これほど基盤的な存在になったことは予測できたのかと問われたDean氏は、「だからこそ、我々は"汎用的な線形代数システム"を作った」と説明した。機械学習アルゴリズムは、まだ進化し続けるはずだと分かっていたため、過度に特化しすぎることは避けつつ、大型の乗算ユニットや高速メモリ、高速インターコネクトといった、劇的な性能向上を得られる程度には特化させる、というバランスを取ったのだという。
7. 良い「紙ナプキン計算」を見つけるコツ
未来の創業者たちに向け、TPUのような重要な発見につながる「紙ナプキン計算」をどう見つけるべきか問われたDean氏は、「自分が見ている問題のボトルネックが何かを考え、その解決策について、今の一般的な考え方とは全く異なる発想をすれば、1桁、2桁の性能・能力向上が得られないかを検討すること」を勧めた。既存の解決方法に固執せず、第一原理に立ち返って考えることで、他の誰も思いつかないような良いアイデアに辿り着けるとしている。
8. AI版「レイテンシ数値表」― 2026年版のアップデート
Dean氏が、かつて作成した、あらゆるエンジニアが知っておくべき「レイテンシ数値表」(キャッシュミスやディスクシークの所要時間など)について、2026年版のAIエディションを求められた同氏は、アクセラレーター上のメインメモリシステムからオンチップメモリ、乗算ユニットまでの帯域幅、1回の乗算演算に要するエネルギー量、チップ間のインターコネクト帯域幅とそれで接続できるチップ数、さらに、1万チップ規模になった際のネットワーク帯域幅の低下具合といった数値が重要になると説明した。
9. AIは本質的に「エネルギー問題」― データ移動は計算の1000倍
Dean氏は、演算(計算)そのものには、約1ピコジュール程度のエネルギーしかかからない一方、HBM(高帯域幅メモリ)からプロセッサへデータを移動させて計算可能な状態にするだけで、その1000倍のエネルギーがかかると指摘した。同氏は、この1000倍という差が、機械学習における「バッチング」という概念そのものの必要性を生んでいると説明する。もしこの差がなければバッチングは不要だが、実際にはこの差があるため、多数の事例やトークンをまとめて処理することで、データ移動のコストを償却する必要があるのだという。同氏は、極めて低レイテンシを求める場合、バッチングはあまり有効ではないとも付け加えている。
具体的には、モデル訓練における「バッチ処理」や「エポック」という概念自体が、モデル自体の問題ではなく、実はシステム・データI/Oの問題であると説明した。理想的にはバッチサイズ1での訓練が望ましいこともあるが、効率の観点からそれほど良くないため、現在は比較的大きなバッチサイズが使われているという。
10. 推論特化ハードウェアへの関心
「バッチサイズ1の訓練」を実現するための研究に、数週間かけて取り組む可能性を問われたDean氏は、実際にはむしろ「推論」により強い関心を持っていると答えた。訓練では極端に低いレイテンシは必ずしも必要ないが、推論では非常に低いレイテンシが求められるため、まだ十分に特化されていないハードウェア特化の余地が大きいと説明した。データ移動を最小化すること、低い精度での演算を追求し、多種多様な精度をサポートするのではなく、必要な精度が分かっているなら、それだけをハードウェアに組み込むべきだという考えを示している。
11. コンテキストエンジニアリングという新たなフロンティア
Dean氏は、AIの進歩が、かつては「より大きなモデル、より多いデータ」を意味していたが、近年は検索(リトリーバル)、ツール、メモリ、エージェントツールといった、モデルの「周辺」にあたる要素、いわゆる「コンテキストエンジニアリング」に重心が移りつつあると説明した。モデルは、興味深い問題を解くための全体システムの一部分に過ぎず、モデルにコンテキストとして与えられる情報は、訓練データ(数兆トークンが混ぜ合わされた曖昧な集合)よりもはるかに明確に理解できるという利点があるとした。
同氏は、この領域の魅力的な点として、モデルの訓練には膨大な計算資源とデータへのアクセスが必要だったのに対し、コンテキストエンジニアリングは、GeminiのようなモデルのAPIさえあれば誰でも取り組める点を挙げた。同氏は、モデルを実際に使って問題を解かせ、失敗する箇所を観察し、モデルパラメータの調整ではなく、より良いガイドラインや「スキル」の記述によって、モデルの性能を改善していくというアプローチを勧めている。
12. 具体例 ― Sanjay氏との共同作業で書いた「性能改善スキル」
Dean氏は、Sanjay Ghemawat氏と共に、Google内部の低レベルライブラリの性能改善に取り組んだ際のエピソードを紹介した。マイクロベンチマークを用いて、特定の操作の所要時間を計測し、修正を加え、再度ベンチマークを実行して改善を確認する、という一連の作業をモデルに教える「スキル」を作成したという。これにより、モデル自身がベンチマーク測定・コード改善・性能測定・反復という一連の流れを自律的に実行できるようになり、この手法は一部の問題領域でうまく機能したと説明している。
なお、同氏とSanjay氏が、数か月前に公開した「Performance Hints」という約30ページの文書についても言及があり、これを要約してさまざまなモデルに与えることで、モデルがコードの性能問題についてより上手く推論できるようになった事例が既に見られているという。
13. 長時間稼働エージェントが「脱線」する理由
多くの参加者が経験しているであろう、エージェントが、実行の30〜50ステップ目あたりで機能不全に陥る問題について、Dean氏は、モデルが訓練された分布から少し外れたタスクに取り組もうとすると、他の機械学習モデル同様に性能が急激に低下する傾向があると説明した。対策としては、モデルが、「よく知っている領域」に留まりやすくする「スキル」やヒントを与えること、そして、複数のエージェントに異なるアプローチを試させ、別のモデルやエージェントにそれらを評価させる「マルチエージェントシステム」を構築し、推論時計算(インファレンスタイムコンピュート)を使って有望な解法だけを探索・選別していく手法が有効だと述べている。
同氏は、Google社内での実装例として、コーディングやコードレビュー、性能測定、ログファイル取得といった社内ツールをエージェントが使えるようにする「スキル」を数多く整備していると説明し、これによりベースモデルがまさにGoogle社内特有のツールの使い方を訓練されていなくても、実用的に機能するようになると述べた。
14. スタートアップがGoogleに勝てる領域
Googleのように、プロセッサから製品まで全レイヤーを協調設計できる企業に対し、2〜3人のチームがどこで勝負できるのか問われたDean氏は、Googleが、「ほぼ何でもできる、非常に汎用的なモデル」の構築を目指している一方で、その分、特定の領域に対する注意が手薄になりがちだと説明した。よく設計されたインターフェースと、特定領域に特化したモデル・スキルの組み合わせは、Googleの汎用モデルが得意とする「全体の混合」の中には含まれない、大きな優位性を持ちうるという。ただし、同氏は、汎用モデルも幅広い領域で着実に向上を続けているため、取り組もうとしている課題が、今後6〜12か月で汎用モデルに追いつかれるものか、それとも2〜3年は追いつかれないものかを見極める必要があるとも付け加えた。
15. 「モデルが0〜1%しか成功しない領域」を狙う
創業者が取り組むべき問題の選び方について、Dean氏は、まず何より「本当に情熱を持って取り組みたい、世界に役立つと思えるもの」を選ぶことが最も重要だとした。次に、現行の汎用モデルが、その問題領域でどの程度対応できるかを実際に試すべきだとし、「モデルが20%程度こなせてしまう」領域よりも、「0%または1%しか成功しない」領域を探すべきだとアドバイスした。前者は既にモデルにその能力の萌芽があり、追加の訓練データやスケールアップで急速に改善される可能性が高いためだという。
同氏は具体例として、自社が持つ特有のデータ(例えばユーザーの個人情報を整理するプロダクトなど、一般モデルがアクセスできないデータ)を活用できる場合や、AlphaFoldのようにタンパク質構造解析という非常に特定の難問に特化したモデルを構築するアプローチを挙げた。材料科学やチップ設計といった分野にも、同様のアプローチが有効な領域があるとしている。
16. AIネイティブな創業者になるために ― 「明確な仕様書」の重要性
数十から数百のエージェントを同時に運用する上で最も重要なのは、明確で簡潔な設計文書・仕様を書くことだとDean氏は述べた。何を求めているかを明確に指定するほど、エージェントは、ガイドラインに沿って行動できる一方、指定が曖昧だと、エージェントは、意図を推測せざるを得ず、想定と異なる結果になりがちだという。同氏は、これはコンピューターサイエンスの黎明期から言われてきた「まず何を実現したいソフトウェアかを仕様化することが重要」という教訓が、エージェント時代においてむしろ重要性を増している一例だと説明した。
具体例として、あるプログラミング言語で書かれたソフトウェアを別の言語に翻訳する作業を挙げ、これは元のコードとテストという非常に詳細な仕様が既に存在するため、現在のモデルが極めて高い能力を発揮できる領域だと述べている。
17. 全エージェント化時代に「希少になるスキル」
すべての創業者が数百のエージェントを自在に操り、コードもすべてエージェントが書くようになった未来において、何が希少なスキルになるかと問われたDean氏は、「エージェントに何に取り組ませるかを見極める、非常に優れた"審美眼(テイスト)"」だと答えた。研究者にとって、あらゆるツールと手法を持っていても、その大部分の勝負は、「どの問題に時間を使うか」にかかっているとし、この高いレベルの判断力は今後もモデルがそれほど得意にはならない領域だろうとの見方を示している。
「テイスト」の磨き方について問われた同氏は、明確に測定可能な指標がない中で、過去に多様な問題に取り組んだ経験が、将来面白くなりそうな問題や、既存のアプローチを組み合わせるだけで実現できそうなことを見極める感覚を養うと説明した。もう一つの方法として、今後12か月で重要になりそうなことをリストアップしておき、実際に12か月後に振り返って、どれが本当に重要だったか、他の誰がそれに取り組んだかを検証することで、自分自身の「テイスト」を鍛えるサンプルを増やせるとも述べている。
18. 「20年に一度エラーが起きるトランジスタ」という思考実験
Dean氏は、最も根本的な前提を疑うことの重要性を、ある「クレイジーな思考実験」を例に説明した。半導体産業は60年間、より小さく、エラー率の低いトランジスタの製造に注力してきたが、大規模分散システムの世界では、個々のディスクが故障しても構わない前提で、複製やリード・ソロモン符号化によって信頼性を確保する設計手法が既に確立されている。同氏は同僚と、もし1日20回もエラーが発生するような、極めて信頼性の低いトランジスタで構成されたシステムを構築しようとしたらどうなるか、という思考実験を行ったと明かした。これは全く異なる設計思想(冗長経路を用いた信号伝送など)を要求するはずで、半導体製造の分野で非常に興味深い可能性を開くかもしれないと述べつつ、実際にこれを実行すべきだと主張しているわけではないとも付け加えている。
19. MapReduce誕生の裏側にも「思考実験」
過去に自身が捨てた前提の中で、実際に重要なシステムの構築につながった例として、Dean氏はTPUに加え、MapReduceの誕生についても振り返った。同氏とSanjay Ghemawat氏らは当時、Googleのクローリング・インデックス作成システムの様々な改良版に取り組んでおり、数百〜数千台のコンピューター上で堅牢に動作させるために、チェックポイント処理を含む大量の手作業による並列化コードを書いていたという。しかし、その本質的な処理(ウェブページの内容を見て、URLから言語へのマッピングを計算するなど)は、こうした並列化・信頼性確保のためのコードによって見えにくくなっていた。同氏らは関数型言語の訓練を思い出し、この問題を抽象化することで、下位レイヤーにチェックポイントと信頼性の仕組みをまとめ、その上に誰もが構築できる「MapReduce」という抽象化を生み出したと説明した。
20. 「蒸留」論文がNeurIPSで却下されていた逸話
Dean氏は、Geoffrey Hinton氏、Oriol Vinyals氏と共に2014年に発表した「蒸留(ディスティレーション)」に関する論文――大きな教師モデルを使って、より小さく効率的なモデルを訓練する手法で、今では業界の誰もが使う定番手法になった――が、当時NeurIPS(旧NIPS)で却下されていたエピソードを紹介した。査読者の一人は「大きなインパクトを持つ可能性は低い」と評価していたという。
Dean氏は、査読委員会を責めるつもりはないとしつつ、当時自分たちは、より安価で高性能なモデルを大規模モデルから作ることが重要な課題だと確信していたと振り返った。これは音声や画像認識など様々な分野でモデルをより多くの人に提供したいという動機からだったという。同氏は、この論文が却下されても、arXivに公開し、多くの人に読まれ、実際に使われてきたとし、現在のGeminiの軽量モデル「Flash」シリーズが、より大規模な「Pro」モデルから蒸留によって作られ、そのサイズ・速度に対して非常に高い能力を示していることの一因になっていると説明した。
21. 25歳の自分なら今何をするか
もし若き日のJeff Dean氏(1999年、20人規模のスタートアップだったGoogleに入社した頃)を現代にタイムスリップさせたら何をするか問われた同氏は、フロンティアラボに参加するか、自ら会社を興すかは非常に個人的な選択だとしつつ、「本当に情熱を持てる課題に取り組んでいるか」「それに取り組む中で協力したいと思える仲間がいるか」「その課題を解決することで世界にポジティブな変化をもたらせるか」という3つの問いが最も重要だと述べた。大規模な既存組織であれば、優れた同僚や既存のプラットフォームを通じたインパクトの機会があり、小さなスタートアップであれば、より大きなリスクを伴うが、大きなやりがいも得られるとし、どちらを選ぶにせよ「その問題に取り組んで最良の結果が得られたとき、世界は本当に良くなるのか」を自問すべきだと述べている。
22. 優れたチームの築き方
優れたエンジニアや研究者と協働する上でのアドバイスについて、Dean氏は、必要なスキルを持つ人材を見つけることに加え、「一緒にいて楽しいと思える人、低エゴでチームプレイヤーであり、自分とは補完的なスキルを持つ人」を見つけることの重要性を強調した。自分が知らないことを知っている人、自分の方が得意な部分がある人と少人数チームで働くことは、個人では成し得ないものを共同で構築しながら、自分自身も相手も新しい知識とスキルを獲得できる、非常に楽しい経験だと述べている。同氏はこれを「工具箱に新しい道具を常に追加し続ける」という比喩で表現し、道具が増えるほど、将来出会う問題を解決できる可能性が高まると説明した。
23. 会場の未来の創業者たちへ ― 取り組んでほしい課題
最後にDean氏は、会場にいる誰かが将来、MapReduceやTPU、蒸留に匹敵するような重要な発見をするとすれば、どんな課題に取り組んでほしいかと問われ、いくつかの分野を挙げた。まず、より効率的な推論ハードウェアへの新たなアプローチに強い関心を示し、現行の手法よりもはるかにデータ効率の良い、全く異なる機械学習アルゴリズムの可能性にも言及した。同氏は、現在の大規模モデルは18歳までに人間が触れるデータの1000倍を見ているにもかかわらず、人間は多くの点でそれらのフロンティアモデルと同等以上の能力を発揮するとし、より少ないデータで学習でき、自らの行動から継続的に学習し続けられる「継続学習(コンティニュアル・ラーニング)」の重要性を指摘した。マルチエージェント間の相互作用や、人々の間でより良い対話を実現する仕組み(共通の関心に基づいて世界中の人々を結びつける方法など)にも興味深い可能性があるとし、世界にはまだまだ面白い課題がたくさんあり、皆でさらに面白いものを生み出していくべきだと締めくくった。
