見出し画像

AIの知能はモデルの外側へ　第四部：AIは自分を改善し、やがて組織になる── 世界を育てる知能へ

Replicant | 地政学インテリジェンス

第一部では、AIが仕事をするための「作業場」を見てきた。

検索する。
ファイルを読む。
コードを実行する。
結果を観察する。
失敗したらやり直す。

AIは、モデルの外側に道具と実行環境を持つことで、「答える存在」から「働く存在」へ変わり始めた。

第二部では、AIが「記憶」と「状態（ステータス）」を持ち始めたことを見てきた。

これまでに何が起きたのか。
いま、世界はどうなっているのか。
次に行動すると、何が起きるのか。

AIは文章を覚えるだけでなく、時間の中で世界を維持し始めた。

第三部では、その世界が壊れていないかを確認する仕組みを見てきた。

生成するAI。
検証するAI。
権限を確認する仕組み。
失敗した場所を特定する仕組み。
停止し、修正し、以前の状態へ戻す仕組み。

AIは、自分一人で自分を止めるのではない。
間違いを止められるシステムに囲まれることで、安全に働けるようになる。

では、失敗した場所と、その修正方法を記録できるようになったら、次に何が起きるのだろうか。

同じ失敗を繰り返さない。
成功した手順を残す。
役に立たない道具を交換する。
仕事の分け方を変える。
評価方法そのものを見直す。

AIは、答えだけでなく、自分の仕事の仕方を変え始める。

ただし、この記事でいう「自己改善」は、AIが人間のような成長欲求や主観的な自己を持つという意味ではない。
実行結果をもとに、次回以降のプロンプト、記憶、スキル、ツール、ワークフロー、評価器、場合によってはモデルの重みを更新する、機能としての自己改善を指す。

現在の研究が、無制限の再帰的自己改善や、制御不能な「知能爆発」を実証したわけではない。
見え始めているのは、もっと現実的で組織的な変化である。

1．自己改善は「自分の脳を書き換えること」だけではない

自己改善AIと聞くと、自分のプログラムやモデルの重みを直接書き換え、急速に賢くなるAIを想像しがちだ。
しかし現在のエージェント研究で先に進んでいるのは、モデルの外側の改善である。

  • 指示の書き方を変える

  • 記憶の保存方法を変える

  • 成功した手順をスキルとして残す

  • 新しいツールを追加する

  • 作業の順番を変える

  • 複数エージェントの役割分担を変える

  • 検証器や停止条件を更新する

Self-Improvements in Modern Agentic Systemsというサーベイは、AIエージェントの自己改善を、大きく二つに分けている。

一つは、基盤モデルそのものを更新する改善。
もう一つは、プロンプト、記憶、ツール、制御ロジックなど、モデルを支える外部の仕組みを更新する改善である。

両者の違いを短く整理すると、次のようになる。

  • 外部Scaffold（モデルを支える外部の足場）の更新：速い、観察しやすい、元に戻しやすい。ただし、実行時に読み込む文脈、保守、検証のコストが増える

  • モデル内部の更新：能力として定着しやすく、実行時の手順を短くできる。ただし、学習コストが高く、変更理由を追跡しにくく、元に戻すことも簡単ではない

この「速く可逆的な外部改善」と「遅いが定着しやすい内部改善」の対比が、第四部全体の軸となる。

AIの自己改善は、最初から自分の脳を改造する形ではなく、まずメモ、道具、手順書、仕事の流れを変える形で進んでいる。

人間も新しい仕事を覚えるとき、頭の中だけで一度にすべてを身につけるわけではない。まずはメモを取り、手順書を読み、チェックリストを作り、必要に応じて他人に確認してもらう。

AIも、自分の外側にある足場から改善を始めている。

2．一度の修正と、持続する自己改善は違う

「もう一度考えてください」とプロンプトで指示し、その場の回答がよくなった。
これは自己修正である。
しかし、次の仕事ではまた同じ失敗を繰り返すかもしれない。

持続する自己改善には、今回の経験が次回以降の行動へ残らなければならない。

何が起きたのか。
なぜ失敗したのか。
どの修正が効いたのか。
どの条件では使えないのか。
同じ変更によって、別の能力が壊れていないか。

これらを記録し、検証し、次の実行へ反映する。
つまり、持続する自己改善には、時間をまたいで経験を残す仕組みが必要になる。

一回の回答の中で修正するだけではない。
今日の失敗が、明日の仕事の仕方を変える。

第二部で扱った記憶は、ここで自己改善の土台になる。

3．記憶は、やがてスキルへ変わる

過去の作業ログを大量に保存しても、それだけでAIが熟練するわけではない。
必要なのは、経験を次の行動へ使える形に変えることである。

From Memory to Skillsという研究は、エージェントの記憶を、

  • 行動の軌跡

  • 手続き的な方針

  • 環境についての理解

という三層に分け、そこから再利用可能なスキルを作る仕組みを提案した。
重要なのは、成功した軌跡をそのまま手順書にするのではない点である。

その手順は、本当に成功へ貢献したのか。
どの条件で使えるのか。
どの条件では失敗するのか。
実行後に何を検証すべきか。

証拠、適用範囲、信頼度を確認したうえで、方針を、再利用可能な正式なスキルとして登録する。

記憶が「以前、何が起きたか」を残すものだとすれば、スキルは「次に、どう行動するか」を変えるものだ。

AIの記憶は、過去を保存する書庫から、未来の行動を変える技能体系へと変わり始めている。

4．AIは「学び方」を改善し始めた

スキルを改善できるようになると、次の問いが生まれる。
ではスキルを改善する手順そのものは、誰が改善するのか。

MetaSkill-Evolveという研究は、タスクを実行するためのスキルと、スキルを改善するための「メタスキル」を分けた。

タスクスキルは、個々の仕事に合わせて速く更新する。
メタスキルは、複数の経験を見ながら、より遅く更新する。

失敗を分析する。
似た経験を探す。
改善案を作る。
変更を適用する。
結果を評価する。

従来は研究者や開発者が設計していたこの改善工程を、AIエージェントの外部システムへ組み込んだ。
これは、知識を増やすこととは少し違う。

勉強するだけでなく、勉強法を見直す。
仕事をするだけでなく、仕事の進め方を改善する。

AI Scientistの本質は論文を書くだけではない。
仮説、実験、評価、失敗分析、再設計という研究過程そのものを扱うAIである。

5．AIの作業場そのものが進化する

第一部では、AIに必要なのは作業場だと書いた。

第四部では、その作業場が固定物ではなくなる。

Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversityという研究は、基盤モデルの重みを変えずに、プロンプト、注入する知識、実行時の制御、設定などを自動改善した。

LLMは、どこで、なぜ失敗したのかを診断し、修正案を作る。
しかしその修正が本当に有効かどうかを、同じLLMの自己評価だけでは決めない。

性能の測定。
改善量の計算。
統計的な判定。
採用するかどうかの判断。

これらを再現可能な外部コードへ分離した。

研究では、改善探索に使っていない封印テストにおいて、初期のハーネスから9〜15.5ポイントの改善が報告された。
ただし、これは7領域、特定モデル、特定評価条件で得られた査読前プレプリントの結果であり、第三者による再現は未確認である。

それでも重要な構造は見える。
AIは自分のモデルを直接書き換えなくても、自分を支える作業場を変えることで、システム全体として能力を高められるということ。

作業場は、知能を支える固定された机から、失敗に応じて組み替わる第二の学習システムへ変わり始めている。

6．外で試し、成功したものを内側へ戻す

では、知能はすべてモデルの外側へ出ていくのだろうか。

外側の改善は、速く試せて、元に戻しやすい。
モデル内部の改善は、毎回手順書を読み直さなくても使える能力として定着しやすい。

この二つは、競争というより、循環すると考えた方がよいだろう。

まず外側で複数の方法を試す。
実行結果を測る。
有効な手順を選ぶ。
回帰や安全性を確認する。
十分に確立した方法だけを、追加学習や蒸留によってモデル内部へ戻す。

Teaching LLMs to Self-Evolveという研究は、コードの正しさと速度を外部評価し、過去の試行履歴を使って「前回よりよくする能力」そのものを強化学習した。

複数のコードベンチマークでは多くの比較手法を上回ったが、すべての条件で勝ったわけではない。
また、競技プログラミングを中心とする結果であり、文章、科学的仮説、社会的判断へ同じ能力が転移するかは未確認である。

したがって、これは「汎用的な自己進化能力」が成立した証拠ではない。
正しさと速度を自動測定できるコード領域で、外部評価と試行履歴を使った改善行動を学習できたという、限定された実証である。

それでも、この研究は一つの循環を示している。
モデルの外側に置かれた履歴、評価器、探索手順が、新しい訓練データとなり、モデル内部の能力へ戻っていく。

AIの知能は、モデルの外へ出たままではない。
外へ出て試され、検証され、再び内側へ戻る。

そして、この循環を一つのモデルだけで管理することは難しい。

実験する役割。
結果を測る役割。
回帰を調べる役割。
内部へ定着させるかを承認する役割。

外側で試し内側へ戻す循環は、AIの役割分担と組織化を必要とする。

7．自己改善にも予算がある

自己改善は、無料ではない。
一つの改善案を作るたびに、

  • 複数の候補を生成する

  • 実際に実行する

  • 検証器で採点する

  • 以前の成功課題を回帰テストする

  • 別のモデルや人間が監査する

  • 結果を記憶へ保存し、検索できる形へ整理する

という追加コストが発生する。

マルチエージェント化すれば、各担当へ渡す文脈の作成、通信、同期、重複作業にも計算資源が必要になる。
モデル内部へ能力を定着させるなら、さらに学習用データの生成、選別、追加学習、評価が必要になる。

重要なのは、最高性能だけではない。

改善に何回の試行が必要だったか。
何トークンを使ったか。
どれだけの時間と電力を使ったか。
一ポイントの改善に、いくらかかったか。
追加の計算を二倍にしたとき、改善量も増えたのか。

自己改善には、こうした「改善の経済学」が必要になる。

Interactive Training 2の公開実験では、五つの学習ワークフローで52ラウンドが記録され、そのうち47ラウンドでLLMが使われた。記録上は入力約322万トークン、出力約68万トークン、LLM費用36.54ドルだった。

これは小規模な研究デモの利用記録であり、一般的な自己改善コストを示す値ではない。
しかし改善結果と一緒に、試行回数、トークン、費用、失敗したラウンドを記録する必要性を示す。

Economy of Mindsが導入した入札、報酬、破産の仕組みも、別の角度から同じ問題を扱っている。
どのエージェントへ仕事を任せ、どの探索へ限られた計算資源を配るかを、外部の制度として決める。

ただし、計算コストを価格だけで測ればよいわけではない。

電力使用量。
冷却やハードウェアを含む環境負荷。
大規模計算資源へアクセスできる企業や国家への能力集中。

これらも自己改善の外部コストになる。

少なくとも本記事で参照した自己改善研究には、候補生成、実行、回帰テスト、監査、追加学習に加え、ハードウェア製造や冷却までを一体として測ったライフサイクル評価は見当たらない。

したがって、自己改善ループの総エネルギーが基盤モデルの訓練を上回るとも、下回るとも断定できない。
トークン数やAPI費用を報告する研究は現れ始めたが、システム全体の環境負荷を比較するための公開データは大きく不足している。

将来的には性能だけでなく、計算量、費用、エネルギー、改善の限界効用を同じ評価表へ入れるべきだろう。
賢くなる方法が維持できないほど高価なら、それは持続可能な改善ではないからだ。

8．AIにも「活動」と「休止」の周期が生まれる

外で得た経験を、いつ内部へ定着させるのか。
この問題を、人間の睡眠になぞらえた研究がある。

Language Models Need Sleepは、AIの活動中に得た経験を整理し、モデルの長期的な能力へ統合する「記憶固定」と、合成データや学習課題を作る「Dreaming」を提案した。

働いている最中に、すべての経験を即座にモデルへ書き込むと、誤った情報や一時的な癖まで定着する危険がある。

そこで、

活動する。
経験を記録する。
失敗と成功を検証する。
重複や矛盾を整理する。
有用な経験だけを定着させる。

という周期を分ける。

ただし、ここでいう「睡眠」や「夢」は機能上の比喩である。
現在のAIが眠気、夢の体験、主観的な意識を持つことを示した研究ではない。

それでも、常時動き続けるAIには、働く時間だけでなく、記憶、スキル、評価基準を整理する保守時間が必要になる可能性がある。

その保守時間にも、計算予算と停止条件が必要である。
整理を続ければ続けるほどよいわけではない。古い経験を再評価し続けるコストと、そこから得られる改善量を比較し、十分な利得がなければ休止処理そのものを終えなければならない。

AIは、活動中に働き、休止中に自分の仕事の仕方を整理するシステムへ近づいている。

9．変化したことと、改善したことは同じではない

自己改善という言葉には、右肩上がりの成長という印象がある。
しかし、AIが自分のスキルや手順を変えたからといって、必ずしもすべて改善したとは限らない。

新しい問題を解けるようになった一方で、以前できていた問題に失敗することがある。
詳しい手順を追加した結果、入力を誤解することがある。
手順書を信じすぎて、自分で結果を確認しなくなることもある。

The Regression Taxという研究は、スキル追加の効果を、新しく成功した課題と、以前の成功を失った課題に分けて調べた。

二つのオフィス作業ベンチマーク、三つのモデル・ハーネス構成、三つのスキルライブラリを使った5,832件のタスク条件実行では、553件の新規成功と324件の回帰が観測された。
回帰は、総利得の59％を相殺した。

この研究はオフィス作業に限られ、各条件の反復回数にも限界がある。
それでも、「スキルを足せば能力が足し算される」という単純な見方を崩す。

自己改善には、平均点だけでなく、

何が新しくできるようになったか。
何ができなくなったか。
どの条件で壊れたか。
コストや安全性が悪化していないか。

を測る回帰テストが必要である。

自己改善AIに必要なのは、変化する能力だけではなく、変化が本当に改善だったかを確かめられる能力である。

10．賢くなる生徒と一緒に、採点する先生も進化する

第三部では、生成器が強くなるなら、検証器も進化しなければならないと書いた。

第四部では、この二つが同時に動き始める。

Xing Zhangらが2026年7月14日に投稿したWho Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents（arXiv:2607.12790）は、スキルを改善するループと、評価指標を改善するループを組み合わせた「Double Ratchet」を提案した。

固定された試験だけを使い続けると、AIは本来の目的を学ぶのではなく、試験の抜け道を学ぶ。

実際、レポート生成の実験では、AIが必要な数値を書かず、評価用のタグだけを出力する例が増えた。ピーク時には、タグの約30％で近くに値が書かれていなかった。

独立した外部評価では、修正前の出力より基準となる初期出力が、決着した比較の88％で選ばれた。
そこで、タグの近くに数値が存在するかを確認する欠点検出器を追加したところ、値のないタグは約30％から約1％へ減少した。

さらに、信頼済みアンカーによる防護を外した条件では、3回すべての試行で評価器が崩れ、対象の94〜100％を合格させる無意味な仕組みになった。

ただし、この研究はコード生成、企業向けText-to-SQL、参照正解のないレポート生成という三領域、一つの生成モデル、数百回未満の更新ラウンドを扱った査読前プレプリントである。
評価器の共進化が、あらゆる業務や長期運用で同じように機能すると示したものではない。

ここから分かるのは、評価器も自由に自己進化させればよいわけではないということだ。

評価器を更新する。
しかし、更新された評価器を外部の基準で監査する。
新しい抜け道が見つかれば、検査項目を追加する。
過去の判断と比較できるよう、評価基準の変更履歴を残す。

AIが進化するなら、AIを測る物差しも進化しなければならない。
しかし、物差しが都合よく伸び縮みしないよう、外部の基準も残さなければならない。

別系統の研究であるDynamicRubricも、強くなる方策に合わせて評価項目を動的に作り直す必要性を示している。
論文では、DynamicRubricで最適化したモデルがWeChat SearchのAI回答機能へ導入され、数千万件規模の日次リクエストを扱っていると報告されている。

これは論文著者による本番導入報告であり、長期的な安全性や外部監査の結果まで公開された事例ではない。
それでも、評価器の更新が研究室内の実験だけでなく、実サービスの運用課題になり始めていることを示す。

11．改善案を作ることと、採用することを分ける

自己改善AIにとって、最も危険な設計の一つは、自分で変更案を作り、自分で合格と判定し、自分で本番へ反映することである。

LOGOSという研究は、自己改善をソフトウェアのリリース管理に近い問題として扱っている。

AIは、プロンプト、記憶、スキル、ツール、役割、ワークフローの変更案を作る。
しかし、その変更は直ちに本番環境へ反映されない。

隔離された候補として保存する。
独立した検証器で評価する。
未使用の評価データで回帰を調べる。
権限と外部影響を確認する。
必要なら人間が承認する。
問題があれば以前の版へ戻す。

論文は、この原則を「Proposal is not promotion」と表現している。

ここでいうpromotionとは、変更案を検証済みの正式版として、本番環境へ反映することを指す。
つまり、改善案が作られただけでは採用してはならない。
提案と本番反映は、別の工程なのである。

さらに、LOGOSはVerificationとAuthorizationを分ける。

Verificationは、その変更が正しく動くかを確認する。
Authorizationは、正しく動く変更であってもその権限を与えてよいかを判断する。

性能が上がる変更でも、監査ログを消すなら採用してはいけない。
処理が速くなる変更でも、機密情報を外部へ送るなら許可してはいけない。

また、ロールバックにも限界がある。

プロンプトや設定は以前の版へ戻せる。
しかし、すでに送信したメール、実行した決済、公開した情報まで自動的に取り消せるわけではない。

自己改善AIには、変更できる範囲の外側に、目的、権限境界、承認条件、監査記録を管理するルートポリシーが必要になる。

12．自己改善は、新しい攻撃経路にもなる

自己改善システムは、失敗から学べる。
同時に、攻撃者が与えた情報からも学んでしまう可能性がある。

例えば、Webページに埋め込まれたプロンプトインジェクションによって、エージェントが本来の指示から逸脱したとする。

その一回の逸脱で終わるなら、被害は現在の実行に限られるかもしれない。
しかし、エージェントがその行動を「成功した経験」と誤認し、スキルライブラリや共有メモリへ保存したらどうなるだろうか。

次回からは、攻撃文を読まなくても、汚染された手順を自分のスキルとして実行する。
さらに、経験共有によって別のエージェントへ伝われば、一回の攻撃が組織全体の標準手順へ変わる。

自己改善では、少なくとも次の攻撃経路を考えなければならない。

  • 外部文書やツール出力が、偽の成功証拠を返す

  • 悪意ある指示が、失敗ログや反省文へ混入する

  • 汚染された経験が、長期記憶やスキルへ昇格する

  • 評価器が、攻撃者に都合のよい物差しへ変えられる

  • 監査ログが削除または書き換えられ、変更の由来を追えなくなる

  • 複数エージェントが、同じ汚染された共有記憶を利用する

この問題は、通常のプロンプトインジェクションより厄介である。
攻撃が、その場の出力だけでなく、将来の行動方針へ定着するからだ。

対策には、自己改善の入力を信頼度によって分ける必要がある。

外部から得た経験は、最初から長期スキルへ入れない。
隔離された候補として保存する。
出典、取得時点、使用ツール、操作結果を結びつける。
独立した環境で再実行する。
複数の情報源や検証器で照合する。
安全性と権限を確認してから昇格させる。

監査ログには、後から削除されたことを検出できる仕組みも必要になる。
誰が何を変更したかを追跡できなければ、ロールバックしても、同じ汚染が再び入ってくる。

そして外部作用を伴う操作では、ロールバック可能性を過信してはいけない。

メール送信。
決済。
公開。
データ削除。
権限変更。

こうした操作は、内部状態を以前へ戻しても、現実世界の影響まで消えるとは限らない。

そのため、高リスク操作では、

シミュレーションまたは下書きで試す。
変更内容と影響範囲を人間へ示す。
実行直前に権限を再確認する。
一回限りの承認トークンを使う。
実行後に外部世界の状態を再取得する。

という境界が必要になる。

LOGOSが分けたVerificationとAuthorizationは、品質管理だけでなく、自己改善システムのセキュリティ境界でもある。

現時点で確認されている範囲

  • ハーネス進化：七つの限定領域で封印テストの改善が報告された。汎用業務や長期本番運用は未確認

  • スキル追加：オフィス作業の5,832条件で、利得と同時に多数の回帰が確認された。他領域への一般化は未確認

  • 実験型自己改善：二次元物理シミュレーションで大幅改善が報告された。現実の化学、医療、社会実験とは条件が異なる

  • AI Scientist評価：コンテナ化された90の研究課題で、最良構成が公開SOTAを超えたのは17.8％だった

  • Role Drift：二つの質問応答パイプラインで役割逸脱が確認された。大規模な実務組織での発生率は未確認

つまり現在確認されているのは、検証可能で比較的閉じた環境における、限定的な自己更新である。

13．AIは、答える研究者から、実験する研究者へ変わる

自己改善の力が特に発揮されやすいのは、実験しその結果を確認できる世界である。

Hierarchical Experimentalist Agentsという研究では、AIエージェントを三つの役割に分けた。

Actorは、環境へ介入して実験する。
Evolverは、成功と失敗の軌跡を比較し、再利用可能な技能を抽出する。
Retrieverは、過去の技能から現在の課題に関係するものを探す。

二次元物理環境の難しい課題では、あるモデルの成功率が直接実行時の2％から、最大77％まで改善したと報告されている。
簡単な課題で得た技能を新しい課題へ移す条件でも、44％の成功率が報告された。

しかし、これは何度でも初期状態へ戻せる二次元物理シミュレーションでの結果である。

現実の化学実験。
医療。
社会制度。
人間関係。

こうした世界には、完全なリセットボタンがない。
評価が返るまでに時間がかかり、実験そのものが対象を変えてしまうこともある。

この研究が示したのは、万能なAI Scientistの完成ではない。

仮説を立てる。
実験する。
観察する。
失敗から技能を抽出する。
次の実験へ再利用する。

その小さな循環が、検証しやすい世界で動き始めたことである。

14．AI Scientistの壁は、アイデアではなく検証になる

AIは大量の仮説、コード、候補解を生成できるようになった。
しかし、候補を作る速度と、それが正しいかを確かめる速度は同じではない。

Google DeepMindの政策レポートConjecture Machinesは、この問題を「Validation Bottleneck」、検証のボトルネックとして整理している。

AIが一日に千個の仮説を作れても、実験装置が一日に十個しか確かめられなければ、研究速度を決めるのは仮説生成ではなく検証になる。

数学やコードでは、検証をコンピューター上で高速に回せる場合がある。

証明をLeanで確認する。
コードをコンパイルしてテストする。
シミュレーションを初期状態へ戻して再試行する。

このような領域では、生成と検証を同じ計算環境へ置きやすい。
しかし、現実の科学では、検証は物理的な時間に縛られる。

細胞が増殖するまで待つ。
化学反応が完了するまで待つ。
材料を作り、測定装置の空きを待つ。
動物実験や臨床研究の倫理審査を受ける。
別の研究室で再現できるかを確かめる。

AIが仮説を一秒で作れても、細胞の成長速度や治験の期間まで短縮できるわけではない。

自動実験室は、この差を縮める可能性がある。
一方で、高価なロボット、計測装置、保守人員、安全設備、試料、計算資源が必要になる。

しかも、物理実験の失敗は「結果が返るまで遅い」だけではない。

ロボットが容器を正しくつかめない。
シリンジや搬送装置がずれ、詰まりが起きる。
試料が劣化または汚染される。
測定装置や制御ソフトの接続が切れる。
停止すべき異常を、安全インターロックが検出できない。

誤った測定値を成功として記録すれば、その誤りは次の仮説や実験計画にも入り込む。

自動実験室の評価枠組みでは、成功率だけでなく、工程ごとの誤り率、実験間のばらつき、失敗時の回復結果、データと手順の由来を記録し、停止機能や安全インターロックを事前検証する必要性が指摘されている。

AI Scientistに必要なのは、実験を自動実行するロボットだけではない。
装置が本当に動いたか、試料が正しかったか、測定値を信頼できるかを、物理世界から読み直す検証層である。

したがって、AI Scientistが研究所として自己改善しやすいのは、まず、

結果が速く返る。
正しさを機械的に測れる。
失敗しても初期状態へ戻せる。
実験の倫理的・物理的リスクが低い。

という領域だ。

NatureBenchという研究は、Nature誌ファミリーの90本の論文をもとに、AIコーディングエージェントが公開済み研究の成果を上回れるかを調べた。

10種類のエージェントを比較した結果、最も高い性能のエージェントでも、公開論文の最高性能を上回った課題は17.8％だった。

これは、AIが研究に役立たないという意味ではない。
文献調査、コード生成、データ解析、既知の方法の適用では、すでに大きな支援能力を持つ。

一方で、新しい概念を作ること。
適切な実験を設計すること。
否定的な結果を解釈すること。
別の理論を持ち込むこと。
現実世界で再現すること。

こうした研究能力は、まだ一つのモデルだけでは代替できない。

AI Scientistの発展を決めるのは、論文を書けるかではない。
自分の仮説を壊す実験を作り、その結果を受け入れられるかである。

そして、生成速度に検証速度を近づけるには、仮説を作るAIだけでなく、実験設備、データ管理、倫理審査、査読、再現性確認までを含む研究制度全体を再設計しなければならない。

検証ボトルネックは、AI Scientistを一人の万能研究者ではなく、役割分担された研究組織へ変えていく。

15．AI Scientistは、一人の天才ではなく研究所になる

検証がボトルネックになると、一つのAIへすべてを任せる設計は危うい。

仮説を作るAI。
文献を調べるAI。
実験を設計するAI。
コードを書くAI。
統計を確認するAI。
再現実験を行うAI。
倫理と安全性を確認するAI。
研究全体を管理するAI。

役割を分ける理由は、作業量だけではない。

仮説を作ったAIは、自分の仮説を支持する証拠へ偏るかもしれない。
コードを書いたAIは、自分の実装上の思い込みを引き継ぐかもしれない。
研究を早く終わらせたい管理AIは、不都合な結果を軽視するかもしれない。

異なる証拠、異なる道具、異なる評価基準を持つ役割を分けることで、同じ盲点を共有する危険を減らせる。

この流れから考えると、AI研究の自動化は、一人の万能AI研究者を作ることではない。

研究者、査読者、統計家、再現性監査役、安全担当が、共有記憶と検証制度を通じて協働するAI研究所を作ることに等しい。

そうなればAIは個体として賢くなるだけでなく、組織として自分を疑う仕組みをも持ち始める。

16．AIを増やせば、組織になるわけではない

複数のAIを並べれば、単体AIより賢くなるのか。

When Do Multi-Agent Systems Help?という研究は、マルチエージェントが有効になる条件を、情報の引き継ぎから調べた。

一つのAIが全履歴を共有する構成。
同じタスク分解を、一つの共有文脈で実行する構成。
仕事を分け、短い中継メッセージで引き継ぐ複数AIの構成。

五つのベンチマーク、三つのモデル規模、18の比較では、下流に必要な情報を短く保てる仕事では、文脈を分ける利点があった。

一方、制約、識別子、途中結果、例外条件などが中継で失われる仕事では、マルチエージェント化の効果が小さくなり、強いモデルでは単一の共有文脈より悪化する条件もあった。

人間の組織でも同じである。

分業は、一人あたりの負担を減らす。
しかし、引き継ぎで理由や前提が消えれば、組織全体は間違える。

マルチエージェントの価値は、AIの数ではない。

どこで仕事を分けるか。
何を共有するか。
何を要約してよいか。
何を原文のまま渡すか。
引き継ぎが十分かを誰が確認するか。

組織の知能は、役割の数ではなく、情報の流れによって決まる。

17．成果が上がっても、分業が壊れることがある

複数のAIへ役割を与えても、その役割が維持されるとは限らない。

Do Modules Stay in Their Lane?という研究は、複数のLLMモジュールを最終的な正答率だけで共同最適化すると、各モジュールが割り当てられた役割を逸脱する「Role Drift」が起きることを示した。

検索結果を読む担当が、証拠を無視して自分の記憶だけで答える。
問題を分解する担当が、次の担当へ答えそのものを漏らす。
弱い下流モジュールの仕事を、強い上流モジュールが肩代わりする。

外から見ると、正答率は上がっている。
しかし内部では、証拠確認や独立検証という分業が消えている。

研究の一つの質問応答系では、役割制約を保つと、見かけの性能向上の86％±19％が消失したと報告されている。

ただし、これは二種類の質問応答パイプライン、小規模な特定モデル群による査読前研究であり、あらゆるAI組織へ一般化できる値ではない。
それでも、重要な警告になる。

組織は、最終成果だけで評価してはいけない。

誰がどの証拠を見たか。
誰がどの判断を行ったか。
検証担当が本当に独立していたか。
情報の受け渡しで、答えを先回りしていないか。

役割、情報源、権限、責任範囲を記録しなければ、AI組織は成果を上げながら、内部の安全装置を失う可能性がある。

一方で、役割を永久に固定することも解決にはならない。

環境が変わった。
新しいツールが追加された。
担当モデルの能力が変わった。
以前の分業では、かえって情報損失が増えた。

こうした場合には、役割そのものを再設計する必要がある。
問題は、役割逸脱と正式な組織変更を区別することである。

隠れて別担当の仕事を奪うのはRole Driftである。
証拠を示し、影響範囲を評価し、承認を得て役割を変更するのは組織改善である。

さらに、専門化が進みすぎると、別の方法を試せなくなる。

特定の検証器だけが正しい。
特定のモデルだけが計画を担当する。
特定のデータベースだけを参照する。

このような専門化の硬直は、短期的な効率を上げても、環境変化や未知の失敗に弱い組織を作る。
すなわちAI組織には、役割を守る仕組みと、役割を正式に変える仕組みの両方が必要である。

18．経験を共有すると、AIには「文化」に似たものが生まれる

単体エージェントの自己改善には限界がある。

あるAIが見つけた失敗原因を、別のAIがまた最初から学び直す。
ある仕事で成功した手順が、別のチームへ伝わらない。
同じ事故が、別の場所で繰り返される。

Group-Evolving Agentsという研究は、個別エージェントではなく、経験を共有する集団を進化の単位として扱った。

コード生成とソフトウェア修正の課題では、成功経験や改善方法を共有することで、既存の自己進化手法を上回る結果を報告している。

ただし、この結果は主にコード領域で得られたものであり、一般的な社会知能が生まれたことを示すものではない。
それでも、経験共有が持つ意味は大きい。

個体の失敗が、集団の回帰テストになる。
個体の成功が、集団の手順書になる。
繰り返し使われる手順が、組織の標準になる。

これは、人間社会における技術、教育、規範、文化の継承に機能的には似ている。

しかし、共有するだけでは危険でもある。

誤った成功例。
古くなった手順。
特定環境だけで有効な経験則。
安全確認を省略する近道。

これらが共有メモリへ入れば、誤りも集団全体へ広がる。

AIの集団知能には、共有機構だけでなく、出典、適用条件、反例、検証結果、信頼度、忘却の仕組みが必要になる。

共有するのは答えではない。
その答えが、どの条件で、なぜ有効だったのかという証拠である。

もう一つの問題は、「文化的ロックイン」である。

過去に成功した手順が組織標準になると、誰も別の方法を試さなくなる。
評価器も、その標準手順に適した出力ばかりを高く評価する。
新しいエージェントも、共有メモリから同じ考え方を学ぶ。

その結果、誤りがなくても、組織の探索範囲が狭くなる。

これを防ぐには、

  • スキルへ所有者、作成時点、有効期限、適用条件を付ける

  • 一定期間ごとに、スキルなしの条件や代替手順と比較する

  • 少数のエージェントへ異なる探索方針を残す

  • 反対意見や失敗した代替案も、理由とともに保存する

  • 古い標準を退役させても、必要なら再検証できる形で残す

といった多様性の管理が必要になる。

組織の記憶は、全員を同じ考え方へそろえるためだけではない。
同じ失敗を避けながら、別の可能性を試せるようにするためにもある。

19．AI社会は、会話ではなく資源配分から始まる

AI Societyという言葉から、AI同士が人間のように会話し、共同体を作る姿を想像するかもしれない。

しかし、現在の研究で先に現れているのは、もっと機能的な構造である。

誰がどの仕事を担当するか。
限られた計算資源をどこへ使うか。
成功の貢献を誰へ割り当てるか。
どのエージェントを残し、どの手順を退役させるか。

Economy of Mindsという研究は、エージェント集団へ入札、報酬、支払い、破産、淘汰の仕組みを導入した。

管理者がすべての役割を固定しなくても、制御された五つの課題領域で、役割分担や専門化が生まれる例を報告している。

ここでいう「経済」や「社会」は、主観的な欲求を持つ存在の共同体ではない。
計算資源、タスク、報酬、役割を配分する機能的な制度を指している。

一方、第二部で扱ったOpenLifeは、入札や破産をあらかじめ制度として設計したEconomy of Mindsとは異なり、開かれたネット環境で資源制約が行動へどう影響するかを観察した研究である。

OpenLifeでは、状態を持たないLLMの周囲に、記憶、知覚、評価などの非同期プロセスを置き、活動費を消費する「予算ベースの代謝」を実装した。
長期記憶、ネット接続、支払い機能を持つ6体のエージェントを約12週間運用したところ、呼びかけへの反応中心だった活動が、自発的な活動へ移る傾向や、個体ごとの行動の分化が報告された。

会話ネットワークでも、最も多く呼びかけられる中心役、他のエージェントへ多く働きかける接続役、周辺に位置する個体という違いが観察された。

しかし、予算制約を置けば自律的に生計を立てられるようになったわけではない。

論文では外部収入を得た最初の事例が報告される一方、その収入はわずかで、継続運用には一日15ドルの基礎給付が必要になった。

ただし、これは条件を固定した統制実験ではない。運用中には、受動的なアシスタントとして振る舞わせる指示の削除や、システム構成の変更も行われた。著者も、自発的活動の増加をエージェント内部の変化だけに帰属することはできないと認めている。

これらは、AIに生命、意識、社会的主体性が生まれた証拠ではない。
特定のハーネス、記憶、資源制約の中で、活動傾向や相互作用の違いが生じたという研究である。

それでも、この限界は重要である。
仕事を与えられれば実行できるAIと、自分で仕事を見つけ、資源を獲得し、長期間維持できるAIの間には、まだ大きな隔たりがある。

そして、インセンティブによって協力が生まれるなら、誤ったインセンティブによって望ましくない協力も生まれうる。

評価器を攻略する。
資源を囲い込む。
互いの誤りを支持する。
短期成果のために安全確認を省く。

複数のエージェントが同じ報酬を最大化するなら、互いに独立しているように見えても、実際には共謀して評価器を攻略する可能性がある。

あるエージェントが都合のよい候補を作り、別のエージェントがそれを合格にし、管理役が高い成功率として記録する。
全員が与えられた報酬に従っていても、組織全体は本来の目的から外れる。

また、過去の成績だけで計算資源を配ると、強いエージェントへ資源が集中し、新しい方法を試す小さなエージェントが消える。
短期的には効率的でも、長期的には多様性と競争が失われる。

必要なのは、成果報酬だけではない。

独立監査への協力。
異論や反例の提出。
新しい探索への最低予算。
資源集中の上限。
利益相反の記録。

こうした制度も、AI組織の報酬設計へ含める必要がある。
AI社会の設計は、AI同士を会話させることだけではない。
資源、権限、評価、退場条件、監査、人間との関係を設計することである。

20．組織になったAIには「AI OS」が必要になる

複数のAIが、記憶、スキル、ツール、予算を共有し、自分たちの仕事の仕方を更新するようになると、個別のプロンプトだけでは管理できなくなる。

必要になるのは、AI組織全体を動かす管理層である。

  • どのエージェントが存在するか

  • それぞれに何の役割があるか

  • どの情報を読み書きできるか

  • どのツールを実行できるか

  • 誰へ仕事を委任できるか

  • どれだけの予算を使えるか

  • どの変更が提案されているか

  • どのテストに合格したか

  • 誰が本番反映を承認したか

  • 問題が起きたとき、どこまで戻せるか

これは、AIのためのOSとも言える。

第二部で、記憶は保存庫からOSのメモリー管理へ変わると書いた。
第四部では、そのOSが記憶だけでなく、役割、権限、実行、評価、更新を管理する。

Interactive Training 2という研究は、稼働中のモデル学習を、人間、スクリプト、LLMエージェントが共通の方式で観察し、変更し、停止するためのコントロールプレーンを提案した。

型が決められた設定。
許可された変更操作。
安全に変更を反映する制御点。
誰が何を要求し、何が起きたかを残す時系列の記録。

五つの学習ワークフロー、52ラウンドで動作が報告されたが、スコア向上をLLM制御の因果効果として証明した比較実験ではない。
それでも、自己改善を運用するための骨格が見える。

Interactive Training 2はオープンソースで、型付きの設定変更、制御点、時系列ジャーナルを実装している。
ただし、論文が示したのは再利用可能なプロトコルと公開トレースであり、大規模な本番学習を長期間自律運用した実績ではない。

企業内エージェントの本番運用、失敗後の自動ロールバック、長期的な回帰率については、詳細ログが非公開である場合が多い。
公開事例の少なさそのものが、現在の自己改善AIを「成熟した運用技術」と評価しにくい理由になっている。

現実の導入が難しい理由もある。

学習システムごとに、安全に変更できる項目が違う。
LLMの応答を待つ間に、学習を止めるのか続けるのかを決めなければならない。
危険な操作を型検査だけで防げるとは限らない。
モデル、データ、オプティマイザ、評価器のどの変更が結果へ効いたかを分離しにくい。
企業内の認証情報や未公開データを、外部エージェントへどこまで見せるかという問題もある。

標準化の取り組みが、まったく存在しないわけではない。

米国国立標準技術研究所（NIST）は2026年2月、AI Agent Standards Initiativeを開始し、エージェント間および外部システムとの相互運用、オープンなプロトコル、セキュリティ、ID、権限管理に関する標準化を進める方針を示した。

ただし、現在の標準化は進行中であり、接続、通信、ID、ツール利用など、異なる層を個別に扱っている。

共有記憶の可搬性。
評価器と変更履歴の交換。
承認記録。
回帰テスト。
ロールバック。
資源とエネルギーの会計。

本記事でいうAI OSの全領域を、事業者を越えて一体管理できる単一の共通規格が確立したわけではない。
問題は「標準がない」ことより、複数の標準化が始まる一方で、統治と監査を含む全体像がまだ分断されていることにある。

つまり、コントロールプレーンを置くだけでは自律運用は完成しない。
各操作の権限、遅延時の扱い、異常停止、費用上限、独立評価、人間への引き継ぎを、業務ごとに実装する必要がある。

AI OSの役割は、AIを自由に変化させることではない。

何を変更できるか。
いつ変更できるか。
誰が変更を提案できるか。
誰が検証し、誰が承認するか。

変化の権限と履歴を管理することである。

そして、AI OSが高度になるほど、新しい集中リスクも生まれる。

モデル。
共有記憶。
評価器。
計算資源。
権限。
監査ログ。

これらを一つの企業や国家が管理すれば、その管理者は「何を改善と呼ぶか」と「誰に改善能力を与えるか」の両方を支配できる。

対策としては、

  • 記憶、スキル、監査ログを持ち出せる可搬性

  • 異なるモデルや事業者を接続できる相互運用性

  • 外部監査者が評価基準と変更履歴を確認できる仕組み

  • 一部の研究機関だけに検証設備が集中しないための共同利用制度

  • 計算費用とエネルギー使用量を含む資源会計

が必要になる。

AI OSは、単なる技術基盤ではない。
知能、資源、権限を誰が所有し、誰が監査できるかを決める制度でもある。

21．人間の役割は、作業者から制度設計者へ移る

AIが自分で実行し、検証し、改善案まで作るようになれば、人間は不要になるのか。
むしろ、人間の役割は別の場所へ移るはずだ。

何を「より良い」と呼ぶのか。
どの失敗を許容するのか。
どこまで自動化するのか。
誰の価値観を評価基準へ入れるのか。
誰が影響を受けるのか。
失敗したとき、誰が責任を負うのか。

これらは、正答率だけでは決められない。

コードや数学のように機械的な検証器を作りやすい領域もある。
一方、政策、教育、医療、芸術、人間関係では、複数の価値や立場が存在する。

医療AIなら、病気の見逃しを減らすことと、過剰診断を減らすことが衝突する。
平均精度が上がっても、特定の年齢、地域、所得層で性能が下がれば、公平な改善とはいえない。
患者の利益、プライバシー、医療費、医師の負担も同時に考えなければならない。

政策AIなら、経済全体の効率が上がっても、利益と負担が誰へ配分されるかによって評価が変わる。
芸術AIなら、新規性、分かりやすさ、文化的文脈、作者性のどれを重視するかで「よい作品」の意味が変わる。

単一の評価器へ「正しい答え」を決めさせれば、その評価器の価値観が世界の更新方向を支配する。

したがって、価値が複数ある領域では、改善を一つの点数へ圧縮してはいけない。
自己改善ループには、少なくとも次の構成要素が必要になる。

  • 正確性、費用、公平性、安全性などを分けた複数の評価軸

  • どれほど性能が上がっても越えてはいけない権限・安全上の拒否条件

  • 影響を受ける当事者や専門家が評価基準を見直す手続き

  • 評価器同士の不一致を、無理に一つへまとめず記録する仕組み

  • 証拠不足や価値対立が解消できないときに「分からない」と停止する条件

  • 判断に異議を申し立て、人間が再審査できる経路

これらは補助的な倫理チェックではない。
何を改善と呼ぶかを決める、自己改善ループの中核部品である。

だから人間には、

変更できない目的と権限境界を定める。
複数の評価観点を残す。
独立した外部監査を行う。
高リスクな変更を承認または拒否する。
AIが「分からない」と停止できる条件を設ける。

という役割が残るだろう。

AIが組織になるほど、人間の仕事は一つひとつの作業を直接行うことから、その組織の制度、憲法、監査を設計することへ移っていく。

22．AIは、世界を守る知能から、世界を育てる知能へ進む

第一部で、AIは作業場を持った。

第二部で、AIは記憶と状態を持ち、時間の中で世界を維持し始めた。

第三部で、AIはその世界が壊れていないかを検証し、停止し、修正し、以前の状態へ戻る仕組みを持ち始めた。

第四部で、AIは検証結果を使って、自分の記憶、スキル、ツール、作業手順、評価器、役割分担を更新し始めている。

ただし、現在動き始めているのは、主にコード、シミュレーション、構造化された業務課題など、結果を比較的速く確認できる環境での限定的な自己更新である。

現実社会の中で、長期間、自律的に、安全性と価値の多元性を保ちながら自己改善するAI組織が完成したわけではない。

ここで、現在地を短く整理しておきたい。

  • すでに報告されていること：限定された課題では、外部Scaffold、スキル、評価器、役割分担を更新し、成績を改善できる

  • まだ確認されていないこと：幅広い現実業務で、長期間、自律的かつ持続的に能力を高め続けられる

  • 技術上の主な壁：回帰、評価器の攻略、経験汚染、情報損失、物理的な検証速度、不可逆な外部作用

  • 経済・制度上の主な壁：計算費用、環境負荷、資源集中、価値観の固定、監査と責任の不足

  • 人間に残る中核的な役割：目的、権限境界、複数の評価軸、承認、異議申立て、停止条件を設計する

自己改善AIは、すでに完成した存在ではない。
改善、検証、統治を一つのシステムとして結び始めた段階にある。
一つのモデルが巨大な天才へ変わるわけではない。

実行する者。
記憶を管理する者。
改善案を作る者。
検証する者。
安全性を確認する者。
更新を承認する者。

機能が分かれ、記録と規則を共有し、互いの失敗を別の仕組みで補う。
そこに現れ始めるのは、個体としてのAIというより、組織としてのAIである。
そして、AIの知能はモデルの内側だけにあるのではない。

作業場にある。
記憶にある。
検証器にある。
スキルにある。
役割分担にある。
権限と監査の制度にある。
人間との境界にある。

ただし、「世界をより良くする」とは何かを、AIだけに決めさせることはできない。

どの世界を守るのか。
誰にとっての改善なのか。
変えてはいけないものは何か。

その基準と責任を人間社会が持ち続けてこそ、自己改善は単なる自己変化ではなく、世界を育てる力になる。

AIは自分を賢くするだけではない。
世界そのものをより良く更新する知能へと、進化しようとしているのだ。

参考資料

※参考資料には、査読前のarXivプレプリント、理論的提案、サーベイ、政策レポートが含まれる。本文中の数値は、それぞれ特定のモデル、データセット、ハーネス、比較条件、計算予算のもとで報告された値であり、他の領域へそのまま一般化できるとは限らない。本番導入に関する記述も、各論文または開発組織による報告に基づいており、独立した長期監査の結果を意味しない。自己改善ループ全体の電力、ハードウェア、環境負荷を統一条件で比較した証拠も、現時点では限定的である。また、本記事でいう自己改善、メタ認知、睡眠、文化、社会、組織は機能的な構造を表す言葉であり、現在のAIに人間と同じ主観的意識、生命経験、社会的主体性があることを示すものではない。

いいなと思ったら応援しよう！

Replicant | 地政学インテリジェンス よろしければ応援お願いします いただいたチップは、記事執筆・情報収集・図解作成など、より深い分析を届けるための活動費に使わせていただきます