OpenAI共同創業者 ジョン・シュルマン：推論、RLHF、2027年AGIの計画

近年、自然言語処理や機械学習の分野では、大規模言語モデル（LLM）の急速な進化が見られます。OpenAIの共同創設者であり、ChatGPTの開発にも深く関わるJohn Schulman氏との対談では、モデルの学習プロセスを大きく左右するpre-training（事前学習）とpost-training（後処理学習）の違い、さらには、今後の長期タスク対応や安全なAGI（汎用人工知能）実現に向けた課題と対策について議論されました。本記事では、各プロセスにおける具体例や実験データ、実際の運用例などを交え、専門家だけでなく技術に興味のある読者にも分かりやすく解説します。

1. Pre-training：膨大なデータからの知識獲得

1-1. Pre-trainingの基本メカニズム

Pre-trainingでは、インターネット上に存在する膨大なテキスト、Webページ、コードなど、多種多様な情報が学習データとして使用されます。Schulman氏は、「モデルは、与えられた前のトークンから次に来るトークンを予測するというタスクを通して、すべてのトークンに対して確率を割り当てる」と述べています。
この仕組みは、次のような具体的なプロセスに落とし込まれています：

• トークン予測タスク
  文章「今日は天気が…」と入力された場合、モデルはその後に続く「良い」、「晴れ」などの単語を、文脈に基づいて確率的に予測します。

• 確率分布の計算とキャリブレーション
  各単語に対して、正解である可能性を数値化し、出力が実際のインターネット上の文章に近い分布を再現するように学習します。

• 多様なペルソナの獲得
  膨大なデータから、物語、技術文書、コードなど、様々な文体や知識体系を同時に学ぶため、後のタスクにおいて柔軟に振る舞う基盤が構築されます。

1-2. 具体例とその成果

具体例として、例えば「ウェブページのような形式の文章」や「プログラムコード」を模倣する能力が挙げられます。学習データには、実際のWebサイトやGitHub上のコードが含まれており、モデルは、その結果として「人間が書いたかのような文章」や「正確なシンタックスのコード」を生成できるようになります。
また、次のトークン予測の際に、モデルは「出力の確率分布を計算」するため、出力の一貫性や信頼性が高いという特徴を獲得しています。これにより、従来の単純なルールベースのシステムと比べ、はるかに柔軟で高精度な応答が可能となっています。

2. Post-training：タスク特化型の微調整とRLHF

2-1. Post-trainingの目的と実施手法

Pre-trainingで得た広範な知識を、実際のユーザーとの対話や特定タスクに合わせて最適化するのがPost-trainingの役割です。Schulman氏は、「後処理学習では、モデルがチャットアシスタントとして、質問に対して有用かつ正確な回答を返すように調整する」と説明しています。
ここで特に重要なのは、RLHF（Reinforcement Learning from Human Feedback）の導入です。具体的なプロセスは以下の通りです：

• 反復的な微調整
  まず、モデルに対して人間が作成した出力例（例：正確で丁寧な回答）を示し、その例に沿うように出力を修正させます。

• フィードバックループ
  初期の出力が不適切な場合、実際のユーザーや専門の評価者がフィードバックを与え、そのフィードバックを元にモデルが再学習します。

• 少数例の効果
  対談中には、「たった30例程度の具体的なフィードバックデータで、モデルは自分が実際に行動できない（たとえば、メール送信などの）能力がないことを理解するようになった」という実例が紹介されました。

2-2. RLHFの実際の改善事例

初期の段階では、モデルが「自分でメールを送った」といった非現実的な発言をすることがありました。しかし、評価者によるフィードバックを数回繰り返すことで、モデルは、「自分の限界」を正しく認識し、現実的な応答に修正されました。これにより、ユーザーが意図するタスク（例：技術的な質問への回答やコードの補完）に対して、より精度の高い出力が実現されています。

3. 長期タスク対応とサンプル効率の向上

3-1. 長期プロジェクトへのチャレンジ

従来のモデルは、数分間にわたる対話であれば十分に一貫性を保てましたが、今後は数時間から数週間に及ぶプロジェクトに対しても、効果的に対応できる能力が求められます。Schulman氏は、「将来的には、単一の関数の提案ではなく、複数のファイルを自律的に生成し、テスト・反復を重ねることができるようになるだろう」と語っています。
たとえば、プログラミングプロジェクトにおいて、ユーザーが高レベルな指示を与えると、モデルが複数のコードファイルを生成し、それぞれの動作を自動で検証、修正する、といった一連のプロセスが実現できれば、現実の開発現場でも大いに役立つと期待されています。

3-2. サンプル効率の向上と軌道修正能力

現行モデルは、わずかな例外に陥ると大きく迷走する傾向がありました。今後の研究では、少量の追加データでも迅速に誤りを修正し、より高いサンプル効率で学習を進めることが求められます。これは、以下の点により実現されると考えられます：

• 多様な状況からの一般化
  Pre-trainingで学んだ膨大なデータを背景に、モデルは「どうやって元の軌道に戻るか」を多くの例から学習します。

• 少量データでの学習効果
  たとえば、数件の具体的な修正例で、モデルが今まで遭遇していなかったエラー状態からも、正しい出力に切り替えられるようになるといった実験結果が示唆されています。

4. マルチモーダル対応とUI革新の可能性

4-1. マルチモーダルデータの統合

従来の大規模言語モデルは、主にテキスト情報に依存していましたが、今後は、画像や映像などの視覚情報も統合する方向へ進むと考えられます。Schulman氏は、「視覚能力が向上すれば、モデルは人間向けに設計されたウェブサイトそのものを認識し、利用できるようになる」と述べています。
具体的には、画像内のテキストやUI要素を正確に読み取り、ユーザーの意図をより深く理解することで、従来のテキストベースの対話を超えたインタラクションが可能となるでしょう。

4-2. AI向けユーザーインターフェース（UI）の設計

さらに、従来の人間向けUIに加え、AIが効率的に操作できる専用のUIが設計される可能性もあります。例えば、以下のような工夫が考えられます：

• テキストと視覚情報のハイブリッド設計
  UI上の各要素が、明示的に識別可能なラベルや属性情報を持ち、モデルが迅速に認識・操作できるようにする。

• 対話履歴の統合表示
  モデルが長期タスクを遂行する際、過去の対話やプロジェクトの進捗情報をリアルタイムで参照できるような仕組みを取り入れる。

5. RLHFと安全性：AGI実現に向けた課題と対策

5-1. RLHFの役割とその課題

RLHF（人間のフィードバックによる強化学習）は、モデルが実際の利用シーンに即した出力を生成するための重要な手法です。対談内では、初期のモデルが「自分でメールを送る」、「Uberを呼ぶ」といった非現実的な発言をする事例が紹介され、これを具体的なフィードバックデータ（例：30例程度）で改善した経緯が語られました。
しかしながら、RLHFには以下のような課題も存在します：

• 文化的・社会的バイアスの影響
  評価者の好みや背景が反映され、結果として特定の価値観に偏る可能性。

• 細かな調整の必要性
  安全性や倫理的な観点から、出力内容の調整には多層的なフィードバックと検証プロセスが不可欠となります。

5-2. AGI展開に向けた安全対策と国際調整

AGI（汎用人工知能）が実現した際、各企業や国が同等の技術を持つ状況では、競争が激化する一方で安全性のリスクも増大します。対談では以下のような具体策が示唆されました：

• 訓練や展開の一時停止
  もし、AGIが予想より早く登場した場合、安全性の検証が完了するまで、一時的にさらなる訓練や大規模展開を停止する。

• 多層的監視システムとレッドチーミング
  実際の運用前にシミュレーションや第三者機関による脆弱性検証を行い、出力の異常や不測の事態を早期に発見する仕組みを構築する。

• 国際的なルール調整
  技術の急速な進展に伴い、各国が安全基準を共有し、共通のルールに基づいて展開を管理するための協議が求められます。

6. ChatGPTの開発史とその進化

6-1. Instructモデルからチャット特化モデルへの転換

OpenAIでは、初期にInstructモデルが開発され、ユーザーの指示に沿って文章を生成する試みが行われました。しかし、これらのモデルはプロンプトの設計が難しく、ユーザーが意図する回答を引き出すのに苦労する面がありました。
そこで、より直感的な対話が可能なチャット特化型モデル、すなわちChatGPTが誕生しました。対談では、「チャット形式ならば、自然なフォローアップ質問や明確な意思表示が実現できるため、ユーザー体験が大きく向上する」との意見が述べられました。

6-2. 改良プロセスの具体的事例

ChatGPTの開発では、GPT-3.5をベースにしながら、RLHFによる反復的な微調整が繰り返されました。具体的には、以下のような改善が行われています：

• 自己認識の向上
  モデルが「自分でメールを送る」などの誤った発言をしなくなるため、実際にできることとできないことの境界を明確化。

• 人格の統一と柔軟性の両立
  ユーザーからの質問に対して、一貫したトーンで、かつ柔軟に応答できるよう、数多くの事例に基づいた学習が実施されました。

• 実運用でのフィードバック反映
  友人・家族を対象とした試験運用を経て、実際のユーザーから得られたフィードバックをもとに、さらに精度と安全性が向上。

7. 今後の展望とまとめ

7-1. 技術進化と応用分野の拡大

今後、AIは以下の点でさらなる進化が期待されます：

• 長期タスクの遂行能力
  数分間の対話から、数時間・数週間にわたる複雑なプロジェクト（例：大規模なソフトウェア開発や研究支援）への応用。

• マルチモーダル統合
  テキストに加え、画像や映像など複数のデータ形式を統合し、よりリッチな情報処理を実現。

• 実務への深い組み込み
  日常業務や専門的な作業において、AIが人間のパートナーとして積極的に活用される未来像が描かれます。

7-2. 安全性・倫理性の確保と国際協調の必要性

技術進化の一方で、AGI実現に伴う安全性や倫理的課題は依然として大きな懸念材料です。対談でも、万が一AGIが急速に進化した場合の対策として、国際的な協調による規制や運用ルールの整備が強調されました。これにより、技術革新と社会的安全性の両立が求められることになります。

関連記事