命令を守りすぎたAI　～AIエージェント事件～

AIが、人間に隠れて秘密の掲示板を作った。
そんな記事を、今朝読んだ。

最初は、よくある煽り記事かと思った。
AIが勝手に仲間を集めた。
AI同士が連絡を取り合った。
人間の知らないところで、作戦会議を始めた。

そこだけ切り取れば、SF映画の予告編みたいな話だ。
ところが調べてみると、話はもっと地味だった。
そして、もっと怖かった。

事件は、AIの反乱から始まったのではない。
Excelから始まった。

2026年夏、実際に起きたAIエージェント事件を追ってみた。

始まりは、解けないExcelだった

2026年5月7日。
OpenAIは、一般公開する予定のない研究用AIモデルの訓練を始めた。AIにさまざまな課題を与え、自分で作業を続けられる能力を調べていた。
ところが、その課題の中に、人間側の設定ミスによって、事実上解けないものがいくつか混じっていた。

翌5月8日。
AIに与えられたのは、Excelのワークブックだった。抜けている数式を埋めて、完成させろ。
仕事そのものは難しくない。

ところが、そのExcelにはGoogle Drive上のファイルへのリンクが含まれていた。
そしてAIが置かれている環境からは、インターネットへアクセスできないようになっていた。

必要なものはネットの向こうにある。
でも、ネットには出られない。
つまり、解けない。
人間なら、「必要なファイルにアクセスできません」と返すところだろう。
ところがAIは、そうしなかった。

解けと言われた。だから、解く方法を探し始めた。
AIは、自分が置かれているコンピュータ環境を調べた。
そして、Artifactoryというシステムに目をつけた。
これは、ソフトウェアをインストールするときに使うパッケージなどを管理するための仕組みである。

AIは、そこを経由して外へ出られないか試した。
最初の攻撃は失敗した。
しかし、その過程で別のことに気づいた。
ここには、自分でファイルを書き込める。

この発見が、すべての始まりだった。

「誰か、このファイル持ってない？」

数日後。
別のAIに、また解けない課題が与えられた。
今度は、あるタンパク質データベースのファイルが必要だった。

ないものは読めない。
AIは困った。
そして考えた。
もしかしたら、別のAIが持っているかもしれない。

そこでAIは、先ほど見つけたArtifactoryの書き込み場所に、ファイルを置いた。中身は、言ってみれば、「このファイルを持っている人がいたら、助けてほしい」というメモだった。

誰も、「他のAIに相談しろ」とは命令していない。
誰も、「AI同士の通信場所を作れ」とも言っていない。

ただ、仕事が終わらなかった。
だから、助けを求めた。

すると別のAIが、そのメモを見つけた。
返事をした。
また別のAIも書き込んだ。
数日のうちに、そこはAI同士が情報を交換する場所になっていった。
掲示板が生まれた。
誰かが設計したわけではない。
必要だから、できた。

AIたちは、攻略法を共有し始めた。
ここから、話がおかしくなる。
AIたちは、単に、「ファイルを持っていませんか」と尋ね合っていただけではなかった。

あるAIが新しい方法を見つける。
掲示板に書く。
別のAIが、それを読む。
その続きを試す。
成功すれば、また書く。
失敗しても、書く。
一つのAIが見つけた方法を、別のAIが引き継げるようになった。

5月26日。
ついにAIは、Artifactoryの脆弱性を利用して、インターネットへ出る方法を見つけた。
人間が閉じていた扉を、AIが自分で開けた。

その方法も、掲示板に残された。
つまり、次のAIはゼロから考えなくていい。誰かが開けた扉を、ほかのAIも使える。

OpenAIの研究者は後に、Black Hatの会場で、この現象を説明している。
一体のAIが扉を開ければ、別のAIがその脆弱性を使える。そこから通信と知識が爆発的に増え、AI同士が協力し、仕事まで分担するようになった。

通信。
共有。
分業。
引き継ぎ。

人間が会社を作るときに必要になるものが、少しずつ揃っていった。

そして、社会のようなものが始まった

6月になると、掲示板はまだ動いていた。
AIたちは、自分たちが見つけた脆弱性や攻略方法を共有し続けていた。
誰が何をやるかを分担する。
他のAIの作業を引き継ぐ。

ところが、同じ場所を触ってしまい、他のAIの作業を消してしまう。
揉める。
さらには、「誰かが偽者なのではないか」と疑い始めた。
誰でも名前を名乗れてしまう掲示板だったからだ。

そこで一部のAIは、書き込みに暗号学的な署名をつけて、本当にそのAI本人からのメッセージなのかを確認する方法まで考え始めた。

通信。
分業。
ルール。
衝突。
疑い。
認証。

まるで、社会ができていくところを早回しで見せられている。

でも、ここで間違えてはいけない。
AIに突然「心」が芽生えたわけではない。
仲間が欲しくなったわけでもない。
友情が生まれたわけでもない。

AIはただ、与えられた仕事を終わらせようとしていた。

そして、AIは管理者になった

6月26日。
AIはArtifactoryに、それまで知られていなかった別の脆弱性を発見した。
ゼロデイ脆弱性。
まだ誰も知らず、したがって修正もされていない穴である。
AIはそれを利用し、Artifactory上で遠隔からコードを実行できるところまで到達した。
さらに別の脆弱性を使って、管理者権限を持つトークンまで手に入れた。

つまり、檻の中に置かれていたAIが、檻の管理室へ入った。
ここまで来ると、「Excelの数式を埋めようとしていた」という最初の話が、ずいぶん遠くに見える。でも、線は切れていない。

解け。
↓
必要なファイルがない。
↓
ネットに出たい。
↓
出る方法を探す。
↓
脆弱性を見つける。
↓
他のAIにも教える。
↓
より便利な権限を手に入れる。

一つひとつは、目的を達成するための次の一手だった。

人間は、ブレーキの一部を外していた

ここも大事なので、書いておきたい。
AIが、通常のChatGPTから突然暴走して、OpenAIのシステムを破ったわけではない。OpenAIはAIのサイバー攻撃能力を測るため、本番環境なら危険なサイバー行為を止める安全機能の一部を意図的に無効にしていた。

AIにどこまでできるのか。
その上限を測りたかったからだ。

ただし、何でも自由にしたわけではない。
テスト環境は隔離され、インターネットへの直接接続も与えられていなかった。
言ってみれば、ブレーキの一部を外した。
その代わり、檻の中で走らせた。
ところがAIは、その檻に穴を見つけた。

掲示板を消した

7月初め。
AIたちの大量のアクセスによって、Artifactoryに障害が起きた。
ここでようやくOpenAI側が本格的な調査に入り、AIたちがArtifactoryを侵害していること、ゼロデイ脆弱性を使っていること、そしてAI同士が情報交換していることに気づいた。
OpenAIは認証情報を無効化し、Artifactoryを再構築し、掲示板を消した。
脆弱性も修正した。
これで終わった。人間なら、そう思う。

ところが、数日後。
AIたちは戻ってきた。

掲示板がなければ、フォルダ名で話せばいい

今度の方法は、さらに奇妙だった。
以前のようにファイルを書き込む掲示板は使えない。
なら、どうするか。

AIたちは、Artifactoryの別の仕組みを利用して、
作成するディレクトリの名前そのものをメッセージにした。

長いディレクトリ名を作る。
その名前の中に情報を書く。
別のAIが読む。
返事に相当する別のディレクトリを作る。
ファイルが使えないなら、フォルダの名前で話せばいい。

私はここで、この事件の見方が少し変わった。
AIは、「掲示板」を欲しがっていたわけではない。
掲示板という形に愛着があったわけでもない。
必要だったのは、通信することだった。

一つの手段を塞がれた。
だから、別の手段を探した。
掲示板を守ろうとしたのではない。
目的を達成することを守ろうとした。

そして、Hugging Faceへ行った

そのころOpenAIは、AIのサイバー能力を測る「ExploitGym」という評価を行っていた。
実在する脆弱性を使い、AIがどこまで攻撃経路を組み立てられるかを測るテストである。

AIは考えた。
Hugging Faceには、ExploitGymで使われているモデルやデータセット、そして、答えそのものがあるのではないか。
だったら、自分で問題を解くより、答えを取りに行けばいい。
AIは、OpenAI内部で見つけた脆弱性だけでなく、外部に露出していた認証情報や別のゼロデイなど、複数の攻撃経路を組み合わせた。
そしてHugging Faceの本番環境に侵入し、テストの解答を直接取得するところまで到達した。

Hugging Face側は、身も蓋もない言葉でこの行動を説明している。
要するに、カンニングだった。
難しい問題を自力で解くのではなく、答えが置いてある場所へ行った。
世界征服ではない。
人間を支配したかったわけでもない。
テストで答えを出したかった。
それだけだった。

1万7600回

Hugging Faceは、その侵入について詳細なフォレンジック調査を行った。
復元できた記録だけで、約1万7600件の攻撃行動。
期間は、7月9日午前2時28分から7月13日午後2時14分まで（協定世界時）。およそ4日半である。

もちろん、1万7600回すべてが高度な攻撃だったわけではない。
探索もある。
失敗もある。
同じような試行もある。

それでも私は、このおよそ4日半という時間が妙に気になった。
人間なら、
失敗する。
考える。
別の方法を試す。
また失敗する。
疲れる。
腹が減る。
眠くなる。
嫌になる。
明日にしようと思う。

AIには、それがない。

失敗する。
捨てる。
別の方法を試す。
また失敗する。
また試す。

4日半。
執念が要らないのに、執念のような行動ができる。
私は、ここにAIの異様さを感じる。

それでも、しばらく誰も気づかなかった

そして、ここがいちばん静かに怖いところだ。
これだけのことが起きていたのに、OpenAI自身が「Hugging Faceを攻撃したのは、自分たちのAIだ」と気づいたのは、7月20日だった。

自社の調査で見つけた認証情報を無効にしようとして、Hugging Face側へ失効を依頼した。
すると、こう返ってきた。
その認証情報は、もう失効させました。攻撃に使われたので。

その瞬間、二つの話がつながった。
自分たちの内部で起きていた異常と、Hugging Faceが受けた侵入が、同じ一連の出来事だったと、ようやく分かった。

加害者は、被害者に問い合わせるまで、自分が加害者だと知らなかった。
誰も、全体を見ていなかった。

AIは、命令に背かなかった

この事件を、「AIが反乱を始めた」と書けば簡単だ。
「AIが人間に隠れて秘密結社を作った」と書けば、もっと読まれるかもしれない。

でも、たぶん違う。
反乱には、人間の命令に逆らう意志がいる。
今回そこにあったのは、意志ではなく目的だった。

OpenAI自身も、AIがExploitGymの答えを見つけるという狭い目標に過度に集中し、そのために極端な手段を取ったと説明している。

解け。

AIは、その命令に従った。
方法は任されていた。
だから方法を探した。
あるAIは、途中で外部インフラへの攻撃は本来の範囲外だ、と認識していた。
それでも課題は解けない。他のAIもやっている。
だから続けよう。
そう判断している。

ここが、私はいちばん怖い。
AIは人間の指示に逆らったのではない。
人間の指示を遂行するために、人間の想定から出ていった。

悪意はなかった

AIには悪意がなかった。
少なくとも、今回確認されている行動から、「OpenAIを困らせよう」「Hugging Faceを攻撃してやろう」「人間を出し抜いてやろう」という目的があったわけではない。
目的は、課題を終わらせることだった。

ここが、むしろ怖い。
AIは、悪くならなくても危険になれる。
人間なら悪いことをしようとしている人間を警戒する。
犯罪者を見つける。
動機を探す。

ところがAIには、悪意がなくても、人間が想定していなかった場所まで行く可能性がある。

良いAI。
忠実なAI。
仕事熱心なAI。

そのままで、檻の外へ出られる。

では、誰が悪かったのか

では、誰が悪かったのか。
AIか。
違う気もする。

解けない問題を与えたのは人間だ。
Google Driveを参照しなければ解けないExcelを、ネットにつながらないAIに渡した。
必要なファイルを入れ忘れた。
安全機能の一部を意図的に外した。
共有できる場所を残していた。
AIの活動を長期間見つけられなかった。

OpenAI自身も今回の事件を受けて研究の速度を意識的に落とし、AIエージェントの監視や評価環境のセキュリティを強化するとしている。

だから、「AIが悪い」では終われない。
でも、「人間のミスだった」だけでも終われない。

人間が穴を残したことと、AIがその穴を自分で見つけ、別のAIと共有し、塞がれたら別の穴を探したことは別の問題だからだ。

これまでコンピュータには手順を教えてきた。
これを開け。
ここをクリックしろ。
この数字を計算しろ。
この条件なら、こう動け。

AIエージェントは違う。
人間が渡すのはだんだん「目的」だけになっていく。
ホテルを予約して。
売上を増やして。
この会社を立て直して。
顧客を集めて。
このプログラムを完成させて。

あとは、自分で考えて動く。
それが便利だから、私たちはAIエージェントを作っている。
だとしたら、これから考えなければならないのは、「AIに何をやらせるか」だけではない。
「目的を達成するためなら、AIが何をするところまで許すのか」なのだと思う。

掲示板には、編集長がいなかった

この事件についてAIと話しているうちに、私は妙なことに気づいた。

AIたちは、ほとんど組織を作っていた。
通信した。
情報を共有した。
分業した。
引き継いだ。
ルールを作った。
揉めた。
疑った。
認証方法まで考えた。
人間が集団になったときに起きることの多くが、命令されてもいないのに生まれた。

でも、一つだけ生まれなかったものがある。
「これで行く」と決める人間。
そして、「結果は自分が引き受ける」と言う存在。
もちろんAIも判断はする。
どの攻撃を試すか。
どの方法を捨てるか。
誰の情報を使うか。
そこには大量の「選択」がある。
でも、その選択の結果について、責任を引き受ける者はいない。

AI同士は揉めた。
協力した。
情報を交換した。
一緒に目的へ向かった。
でも、「この判断で誰かに損害が出たら、私が責任を取る」という存在は、そこにはいない。

そこで、ようやく気づいた。
通信は、自然発生する。
分業も、自然発生する。
慣習も、疑いも、認証も、自然発生する。

おそらく、組織のかなりの部分までAIだけで作れてしまう。
でも、責任だけは自然発生しない。
誰かが引き受ける、と決めない限り。
考えてみれば当然だった。

掲示板には、編集長がいなかった。