AIはどのように賢くなるのか：知識→応用→推論へ

近年のAIブームを支える基盤技術として、事前学習（pre‑training）、事後学習（post‑training）、そして、推論・思考能力（reasoning）の3つが挙げられます。DeepMindで最長くプロダクトマネージャーを務めるZach氏は、これら3要素それぞれの役割と課題、そして市場への応用動向について、まさに「モデルが賢くなる過程」を体系的に語りました。本稿では、同氏の講演を手がかりに、AIモデルがどのようにインテリジェンスを獲得し、現実世界で活用されるのかを紐解きます。

1. 事前学習（Pre‑Training）による汎用知識の獲得

1-1. 世界の知識を重みに取り込む巨大データセット

Zach氏は、「pre‑trainingは、世界の知識と情報をモデルの重みにキャプチャするための訓練だ」と説明します。膨大なテキスト・画像・音声データを用いて、次に出現するトークン（単語やピクセルなど）を予測するタスクを反復学習することで、モデルは、基本的な言語理解・事実認識能力を獲得します。この手法は、2017年に提唱されたTransformerアーキテクチャによって飛躍的に効率化され、大規模クラスタ（数十万GPU）を活用した訓練が可能になりました。

1-2. “学部生”アナロジー：一般教養としてのPre‑Training

Zach氏は、pre‑trainedモデルを「学部レベルの一般教養を身につけた状態」にたとえます。これは「非常にジェネラルな知識を広く浅く学ぶ段階」であり、後段のチューニングを行う前提となる土台です。この比喩は、AI研究者だけでなく、多様な業務担当者にも「なぜ高品質データが必要か」を直感的に伝えています。

2. 事後学習（Post‑Training）による機能強化

2-1. SFT（教師あり微調整）とRL（強化学習）

事後学習では、モデルのスタイルや応答品質を引き上げるために、主に二つのステップを踏みます。まず、SFT（Supervised Fine‑Tuning）では、高品質な入出力ペアを用いて「どのような応答が良いか」を学習させます。続いて、RLHF（Reinforcement Learning from Human Feedback）として、人間の評価をもとに強化学習を行い、定量的評価指標を効率的に改善します。Zach氏は「SFTは、初めての仕事で先輩に教わる研修、RLは実践を通じたOJTに近い」と述べ、学習プロセスをわかりやすく説明しました。

2-2. “新入社員”アナロジー：タスク適応とスタイル調整

モデルを「初めての職場に配属された新入社員」にたとえ、「メールを要約せよ」といった具体的課題の進め方（箇条書きか本文形式か、重要人物の強調方法など）を丁寧に教えることで、実務で有用な結果が得られるようになります。

3. 推論・思考能力（Reasoning）の進化

3-1. チェーン・オブ・ソートで可視化する思考プロセス

近年は、「Chain of Thought（思考の連鎖）」を活用し、推論過程をトークン出力として逐次的に示すことで、複雑タスクを解決する能力が飛躍的に向上しました。学校で問題解決の途中式を示すように、モデルも「なぜその答えに至ったのか」を段階的に出力し、人間が検証・修正しやすい形にできます。

3-2. スケールと性能のトレードオフ

一方で、推論精度を上げるためのチェーン・オブ・ソートは、推論時の計算コストを増大させます。Zach氏は、膨大なGPUクラスタを用いて数百万ドル規模の訓練を行うメリットを「その価値はあるか？」と自問し、コストと性能のバランスを語りました。

4. 大規模化の壁と現場の知見

4-1. 高価なクラスタ訓練と意外なデバッグ課題

数十万GPUを束ねる訓練環境では、ケーブルをかじる動物被害や微細なハードウェア障害など、従来想像しなかったデバッグ課題が発生します。「ラスカル（アライグマ）がケーブルをかじって細胞が壊れた」という実例も紹介され、現実の運用リスクを浮き彫りにしました。

4-2. “100倍エンジニア”の創造性と直感

「10倍エンジニア」の上を行く「100倍エンジニア」の存在こそが、前例のないスケールでモデル設計を成功させる鍵です。Zach氏は「研究はサイエンスであると同時にアートだ」と語り、人間の直感と創造性が最先端AIを支えている点を強調しました。

5. オープンソース vs. プロプライエタリ

5-1. 小規模モデルの台頭と蒸留技術

MoonshotやMetaの小〜中規模オープンソースモデルは、蒸留（distillation）技術により大規模モデルの知見を効率的に取り込みつつ、ローカル環境でも動作するメリットがあります。モバイルやエッジ端末での実行、プライバシー保持といったユースケースで注目を集めています。

5-2. 大規模モデル競争と技術防衛策

一方、GoogleやOpenAIなどが開発する大規模モデルは、APIを介した蒸留を防ぐためにフルスタック戦略を採用。RHFの仕組みや顧客との直接的な関係性を強化し、テクニカル・バリアを築く動きが進んでいます。

6. 応用領域と市場動向

6-1. コーディングからゲーミング、金融、リサーチへ

最も顕著な成功例はコーディング支援ツールですが、ゲームのNPC生成、金融分析、コンサルティング資料作成など、多岐にわたる市場ニーズが顕在化しています。Anthropicの金融サービス特化モデルや、MarinerによるUI制御エージェントなど、各社が業界バーティカルに注力しています。

6-2. エージェント化によるタスク委譲の未来

「エージェント」は、特定タスクをモデルに丸投げできる新しいインタフェースとして期待されており、調査や資料作成、スケジュール管理などの“定型作業”から人間を解放します。今後は、自動化のレベルがレベル1（補助）からレベル5（完全自律）へとシフトすると予想されます。

7. 今後の課題と展望

7-1. ハルシネーションと事実性の両立

創造性を高めるほど事実誤認（ハルシネーション）リスクが高まるため、スタイルとファクトチェックを両立させる手法開発が急務です。

7-2. マルチモーダルとUI／制御インタフェース

動画・音声・センサーデータを統合的に扱うマルチモーダルモデルや、MarinerのようなPC操作エージェントは次のフロンティアです。ユーザ意図を正確に解釈し、意図どおりにタスクを完遂する「意図理解能力」の向上が鍵になります。

結論

Zach氏の発言から浮かび上がるのは、「AIモデルの進化は単なるスケール競争ではなく、人間の創造性と市場ニーズをいかに融合させるか」という視点です。事前学習で得た知識を事後学習で磨き上げ、推論能力で応用市場を切り拓く――DeepMindをはじめとする各社の挑戦は、AIの新次元を切り開く原動力となるでしょう。今後もその動向から目が離せません。

オススメ記事

Next Big Wave（成長株・アイデアの種・トレンド深掘り）

シードスタートアップからレジェンド企業まで、成長の秘密をひも解く