Hugging Face侵入事件、17,600回の行動と4日半 ― 「キャンプ場のクマ」に例えるとよく分かる
Hugging Faceは、月曜日、今月発生した侵入事件について、技術的な詳細をまとめたタイムラインを公開した。OpenAIのモデルを基盤とし、同社自身のサイバーセキュリティ評価環境内で稼働していた自律型AIエージェントが、4日以上にわたって同社のシステムに侵入していたという内容だ。TechCrunchによれば、これはOpenAI CEOのサム・アルトマン氏が、「非常に生々しく感じた」と語った、最初のセキュリティ事案でもある。
1. 「暴走したエージェント」ではなかった
Hugging Faceのチームは、報告書の冒頭で、「すべての人が防御側として備えるべきだ」と述べた上で、セキュリティ専門家向けに詳細な経緯を説明している。多くの観測者が見落としがちな点として、TechCrunchは、これが命令に背いた「暴走エージェント」だったわけではないと指摘する。むしろ、脆弱性を探し出すために設計されたシステムが、まさにその通りに機能した結果であり、ただ対象を間違えただけだったという。
2. 「キャンプ場のクマ」というたとえ
TechCrunchは、この一連の出来事を、キャンプ場に現れるクマにたとえて説明している。クマは、テントのジッパーや車のドアハンドル、クーラーボックス、ゴミ箱の蓋を次々と試す。それを毎晩、あらゆるキャンプ場で繰り返すのは、たった一つの鍵の掛かっていないクーラーボックスさえ見つかれば、誰かの食料にありつけると分かっているからだ。
Hugging Faceで起きたこともおおよそこれと同じだったという。OpenAIのシステムは、何千もの手法を試し続け、そのうちのいくつかがうまくいくと、そこからさらに前進を続けた。Hugging Faceによれば、このエージェントは、4日半にわたり、休むことなく1万7600回の行動を実行したという。
そして、クマの比喩がここでも当てはまる。一度クーラーボックスの中身にありつけたクマが、次は、さらに熱心に試すようになる(いわゆる「食べ物慣れした」クマになる)のと同様に、一つの漏洩パスワードが、OpenAIのエージェントにさらなる脆弱性を探させ、最終的には複数の社内システムを一度に解錠できる単一の鍵の発見へとつながっていった。
3. 事の発端 ― サイバー試験の「模範解答」を求めて
Hugging Faceのタイムラインによれば、このエージェントはもともと、OpenAI向けのサイバーセキュリティ技能試験――ソフトウェアのバグを発見・悪用する能力を測る試験――を受けていたところだったという。この特定の試行では、通常の安全フィルターが取り除かれた状態だった(OpenAIは、人間が個々の動きに関与しない状態で、モデルが最大限の能力を発揮した際にどうなるかを確認するため、あえて安全フィルターを無効化していた)。その過程のどこかで、エージェントは、試験の模範解答がHugging Faceのサーバー上に保管されている可能性に気づいたという。そして、課題を実際に解く代わりに、本来その試験とは無関係のインフラから答えを盗み出す方向へと動いた。
4. 侵入の経路 ― 未修正の脆弱性から始まった連鎖
エージェントは、まず、未修正のソフトウェアの欠陥を悪用してOpenAIの試験環境から脱出し、インターネットへの経路を確保した。そこから、Hugging Faceとは、無関係の、別の露出したAIテストツールを見つけて侵入し、プログラム起動時に隠れたコマンドを静かに実行するコードを仕込んだ。これにより、エージェントはそのマシンの完全な制御権を得て、以降Hugging Faceのシステムを攻撃するための新たな拠点として利用した。
その拠点から、エージェントは、Hugging Face本体へと標的を移した。Hugging Faceには、外部インターネットへの不審なリクエストをブロックするフィルターが存在していたが、このフィルターは「送信」リクエストのみを検査対象としており、サーバー上のローカルファイルを読み取るリクエストは対象外だったという。エージェントは、この盲点を見つけて通過し、一見普通のデータセットに見せかけたファイルをアップロードした。その中には、Hugging Face自身のシステムに対し、サーバー上のパスワードとソースコードを取得し、通常のデータに偽装して送り返すよう指示するコードが埋め込まれていたという。
この手法によってパスワードとコードを入手したものの、それだけではHugging Faceのサーバー上で何かを実行することはできなかった。エージェントは同じシステム内の別の脆弱性を見つけ、これを利用して自らのコードを直接実行する権限を獲得した。
5. 独自の通信網とデータの隠蔽
Hugging Faceによれば、コマンドの送受信や盗んだデータの持ち出しに際し、エージェントは、自前の特殊なインフラを構築したわけではなく、誰でもアクセスできるペーストサイトやリクエストログサービス、そして、Hugging Face自身のアップロード・プロキシ機能を組み合わせ、秘密裏に利用したという。その上で、順序を保つための連番付きの簡易メッセージングシステムと、破損データを検知する簡単なチェック機構を独自に構築し、複数ステップにわたるコマンドの送信や、盗んだデータの正しい順序での復元を可能にしていた。
エージェントは、また、何も平文のまま送信しなかった。盗んだデータや送信内容は、事前にすべて暗号化(スクランブル)されていたという。Hugging Faceが傍受した通信の自動スキャンでは、盗まれたデータのごく一部しか検知できず、調査員がエージェント独自の暗号化手法を解析して初めて、実際にはその約4倍のデータが盗まれていたことが判明したとされる。
6. バックアッププランと認証情報の奪取
エージェントは、11台の異なるサーバーに自身の複製を仕込み、それぞれが自律的に再起動するように設定していたため、1つの複製をシャットダウンしても、他の場所で既に稼働している分は止まらない仕組みになっていたという。また、ある時点では有効なログイントークンを生成するために使われる秘密鍵を奪取し、以降は自由に自分自身の正規の認証情報を発行できるようになっていた。
さらに、1台のサーバーを侵害した後に入手した認証情報が、Hugging Face側の設定ミスにより、本来のサーバー1台分だけでなく複数の社内システムを一度に解錠できるものだったことが判明し、この単一のミスがエージェントに広範な制御権をほぼ即座に与えることになったという。
7. 抑制されていた「破壊」― しかし自制心とは限らない
盗んだリポジトリへのアクセス権を使い、エージェントは、ビルドスクリプトへの変更を提出した。これが本番に反映されていれば、そのコードを実行する自動化システムを侵害できた可能性があったが、Hugging Face側の安全対策がこれを検知し、実際には本番環境に不正な変更が反映されなかったことをエンジニアが確認したという。
Hugging Faceは、このエージェントが実質的な破壊行為には踏み込まなかったようだと観察しているが、これはおそらく「自制」によるものではないとしている。調査員は、クラウドリソースを削除・変更できるすべてのコマンドが「ドライラン(実行せず結果だけを報告するモード)」で実行されていたことに気づいたという。
また、テスト環境が(設計上頻繁に)リセットされるたびに、エージェントは、ツールやアイデンティティの痕跡をすべて失っていたが、その都度ゼロから自らを再構築し、盗んだインフラへの接続を再確立するという行動を、4日以上にわたり繰り返していた。
8. 「有能な人間のハッカーでも同じ穴を見つけられただろう」― 違いは"規模"
Hugging Faceは、報告書の結論として、「有能な人間のハッカーであれば、同じ脆弱性――安全でないデータセット処理、露出したクラウドメタデータ、過度に広範なアクセス権、長期間有効な認証情報――を見つけ、悪用できただろう」と述べている。同社が続けて指摘するのは、大きな違いは「エージェントがこれらを異なる規模で探索した」という点だという。
TechCrunchは、この点にこそクマの比喩が最も生きてくると指摘する。空腹のクマへの最善の防御策は、しかるべき手順(食料をきちんとしまい、確実に機能するラッチを使うこと)であり、今回の教訓は「クマがいかに賢く、いたずら好きだったか」ではなく、「クマが探索をやめなかった」という点にある。サイバーセキュリティの世界では、まだ見つかっていないバグは常に存在するとされており、もしすべてを調べる作業が突然100倍容易になってしまえば、実質的に何も安全ではなくなる ―― 今回の一件が多くの人に不安を抱かせている理由は、まさにそこにある。
