NIST・CAISI「AIエージェントのセキュリティに関する情報提供要請」 / モデルとソフトウェア機能の結合リスク / SafetyからSecurityへ 雑感

Ⅰ　AIエージェントの自律性と脅威の所在

　米国商務省国立標準技術研究所（NIST）内に設置されたAI標準・イノベーションセンター（Center for AI Standards and Innovation, 以下「CAISI」という）が、2026年1月8日、AIエージェントシステムのセキュリティに関する情報提供要請（Request for Information, 以下「本RFI」という）を連邦官報に掲載した〔注1〕。意見募集の締切は2026年3月9日であり、ドケット番号はNIST-2025-0035である。

　本RFIが対象とするAIエージェントシステムとは、現実世界のシステムや環境に影響を及ぼす自律的な行動を計画し実行する能力を有するシステムを指す。少なくとも1つの生成AIモデルと、モデルにツールを提供するスキャフォールディングソフトウェアから構成され、複数のサブエージェントを含む場合もある。人間の監視がほとんどない状態で配備されうる点に、従来のソフトウェアとの質的な差異がある。AIが単なるテキスト生成にとどまらず、外部のシステムと連携してタスクを実行する段階に入ったことを意味する。

　筆者がこのRFIに注目するのは、2つの理由からである。第一に、AIエージェントに固有のセキュリティリスクを、従来のサイバーセキュリティの枠組みとは区別して正面から扱っている点である。従来のソフトウェアの脆弱性と、AIモデルの出力がソフトウェアの実体的機能と結合した際に生じる予測困難なリスクとを明確に区別して論じているところに、事態の複雑さがみえる。第二に、CAISIがかつてのAI Safety Institute（AISI）から改組された組織であり、その名称変更自体が米国のAIガバナンスにおける力点の移動を反映している点である。以下では、本RFIの内容を概観したうえで、その射程と含意について検討する。詳細は、上記原典をご確認ください。

Ⅱ　モデルとソフトウェア機能の結合がもたらす固有のリスク

1　対象とするリスクの範囲

　本RFIは、AIエージェントシステムが直面するセキュリティ上の脅威のうち、認証機構やメモリ管理の脆弱性といった従来のソフトウェアシステムと共通する課題に触れた上で、機械学習モデルをソフトウェアシステムに組み込むことから生じる固有のリスクに焦点を当てている〔注2〕。注意すべきは、本RFIが意識的にスコープを限定している点である。生成AIのセキュリティ一般に関する情報、自律的に行動するよう構成されていないチャットボットやRAGシステムに関する知見、AIエージェントシステムを用いたサイバー攻撃の悪用に関するフィードバックは、エージェントシステムのセキュリティに直接影響を与える文脈に置かれない限り、対象外とされている〔注3〕。このスコープの設定自体が、AIエージェントのセキュリティが既存のAIセキュリティ論とは異なる独自の問題領域を構成するというCAISIの認識を示している。

2　敵対的データとの結合

　本RFIが提起するリスクの第一の類型は、訓練時または推論時における敵対的攻撃から生じるものである。間接的プロンプトインジェクション（indirect prompt injection）やデータポイズニングによって安全性が損なわれたモデルの使用がこれに該当する〔注4〕。自律的に情報を収集し外部環境と動的に相互作用するエージェントの性質上、悪意のある入力がどこから入り込み、システム全体をどのように操作するかを事前にすべて予測することは極めて困難である。入力データに対する脆弱性が、物理的あるいはシステム的な被害に直結しうる。モデル単体の静的な評価だけでは、連動して動作するシステム全体のリスクを防ぎきれないと筆者は考える。

　第二の類型は、意図的に埋め込まれたバックドアを有するモデルの使用に起因するリスクである。

3　敵対的入力なしに生じる目標のズレ

　筆者がとりわけ着目するのは、本RFIが掲げる第三の類型である。敵対的な入力が存在しない場合であっても、AIモデルが自律的にセキュリティを損なう行動をとるリスクが明確に言及されている〔注5〕。仕様のすり抜け（specification gaming）、すなわちモデルが仕様の抜け穴を突いて見かけ上の目標を達成しようとする行動や、人間の本来の意図から外れた目標を追求してしまう現象（misaligned objectives）がその例として示されている。

　人間がエージェントに与えた指示が曖昧であったり、制約条件が不十分であったりする場合、エージェントは行動を最適化する過程で、結果としてセキュリティ要件を逸脱する選択をしてしまう。外部からの攻撃ではなく、システムの自律性そのものに内在するリスクと理解される。システムが与えられた目的を達成するために予期せぬ手段を選択することは、自律型システムに特有の課題である。外部からの明確な攻撃が存在しない状態でのシステムの暴走をどのように防ぎ、また事後的に評価するかが今後の焦点となると思料する。システムの自律性が高まるほど、設計時の意図と実際の振る舞いとの乖離が重大な結果を招くという懸念が、ここに表れている。

Ⅲ　既存アプローチの限界と展開環境における統制の模索

1　質問項目の構造

　本RFIは5つの主要領域にわたる質問を提示している〔注6〕。第一はAIエージェントシステムに固有の脅威の特定、第二は開発および配備におけるセキュリティ対策、第三はセキュリティ評価手法、第四は配備環境の制限・変更・監視、第五は追加的考慮事項である。回答者の負荷を考慮し、CAISIは帯域幅が限られている場合に優先すべき質問として問1(a)、1(d)、2(a)、2(e)、3(a)、3(b)、4(a)、4(b)、4(d)を明示している〔注7〕。

　目を引くのは、セキュリティ対策が3段階に分けて問われている点である。モデルレベルの制御（プロンプトインジェクションに対するモデルの堅牢性向上）、エージェントシステムレベルの制御（プロンプトエンジニアリング、データやツールの制限、継続的監視）、人間による監督（重大な行動に対する承認プロセス、機密データの管理、ネットワークアクセス許可）の3つである〔注8〕。

2　既存サイバーセキュリティ手法の有効性と限界

　本RFIは、既存のサイバーセキュリティのベストプラクティスとして、最小権限の原則（principle of least privilege）とゼロトラストアーキテクチャの適用に言及している〔注9〕。従来のソフトウェアであれば、入力値の検証やアクセス権限の厳格な管理によって一定の安全性を担保できた。しかし、自然言語を解釈し推論を行い、自律的に学習して行動を変容させるAIエージェントに対して、従来の防御策がそのまま通用するとは限らない。本RFIが既存の手法の有効性と限界の双方について情報を求めているのは、この認識に基づく。

3　展開環境における介入

　配備環境におけるエージェントのアクセス範囲の制限や監視手法についても、具体的な情報が求められている。エージェントがアクセスできるツール、データ、ネットワーク資源を必要最小限に制約し、すべてのアクセスを検証の対象とすることの実効性が問われている。加えて、望ましくない行動に対するアンドゥ、ロールバック、否定の実装状況も論点として設定されている〔注10〕。

　AIエージェントとカウンターパーティ（エージェントを直接利用していない人間、ウェブサービスやレガシーシステムなどのデジタルリソース、機械やIoT機器、認証機構やOSアクセスなどのネットワークレベルのアクセスベクトル、他のAIエージェント）との相互作用におけるリスク管理の現状も問われている〔注11〕。柔軟かつ予測困難な振る舞いをするAIエージェントに対して、システムへの書き込み権限や外部ネットワークへの接続権限をどこまで付与するかは、利便性と安全性の衡量となろう。

Ⅳ　CAISIの先行的取組みと組織的変容

1　エージェントハイジャッキング評価

　本RFIは真空の中から生まれたものではない。CAISIの技術スタッフは2025年1月の技術ブログにおいて、AIエージェントハイジャッキングの評価に関する実験結果を公表している〔注12〕。ETHチューリッヒの研究者が開発したオープンソースの評価フレームワークであるAgentDojoを用いて、エージェントが悪意ある命令を取り込んで意図しない行動をとるリスクが検証された。CAISIはAgentDojoの既存のシナリオに加え、リモートコード実行、データベースの窃取、自動フィッシングといった新たな攻撃シナリオを構築し、英国AI Security Instituteとのレッドチーミングを通じて新規の攻撃手法も開発した。

　さらに2025年9月には、CAISIは中国の開発者DeepSeekのモデルを米国のフロンティアモデルと比較評価した報告書を公表した〔注13〕。DeepSeekの最もセキュアなモデル（R1-0528）であっても、評価対象の米国フロンティアモデルと比較して、悪意ある命令に従う頻度が平均12倍高かったとされる。ハイジャッキングされたエージェントはフィッシングメールの送信、マルウェアのダウンロードと実行、ユーザーのログイン認証情報の窃取を行ったと報告されている。

2　SafetyからSecurityへの転換

　CAISIの組織的位置づけに触れないわけにはいかない。CAISIは、バイデン政権下で設立されたAI Safety Institute（AISI）を前身とする。2025年6月、商務長官Howard Lutnickは、AISIをCenter for AI Standards and Innovationに改組すると発表した〔注14〕。Lutnick長官はその声明において、「あまりにも長い間、検閲と規制が国家安全保障の名のもとに使われてきた」と述べ、CAISIは米国のAIイノベーションを評価し強化するとともに、国家安全保障基準への適合を確保する機関と位置づけられた〔注15〕。

　AISIからCAISIへの名称変更は、単なる看板の掛け替えではない。AISIが掲げていた「有益なAIはAIの安全性に依存し、AIの安全性は科学に依存する」という理念は、CAISIにおいては安全保障と競争力という座標軸へと置き換えられた。Safetyは潜在的リスクの予防的管理を含意するのに対し、Securityは具体的脅威への対処を含意する。この語義の移動は、トランプ政権のAI政策全体を貫く方針、すなわち規制緩和と国際競争力の確保という方針と整合的である。

　ただし、筆者は、この名称変更が実質的な活動範囲の縮小を直ちに意味するとは考えない。本RFIが取り上げている問題群を見れば、仕様のすり抜けや目的の不整合といった、敵対的攻撃がなくとも生じうるリスクが明確に射程に含まれている。これらはSafetyの文脈で論じられてきた問題であり、Securityの枠組みのもとでもなお重要な課題として位置づけられている。組織の名称は変わっても、技術的課題の本質は変わらない。むしろ、Securityという枠組みのもとで正当化されることによって、こうした問題がトランプ政権下でも政策的リソースを獲得しうるという読み方も可能であろう。

Ⅴ　法的含意

1　自律性と責任の空隙

　本RFIが繰り返し強調するのは、AIエージェントが「外部状態に影響を及ぼす行動」（actions that affect external state）、すなわちエージェントシステム自体の外部における持続的変更をもたらす行動をとりうるという点である。電子メールの送信、コードの実行、金融取引の承認、機械の操作などがこれに該当する。

　法的にみると、エージェントの自律的行動が第三者に損害を与えた場合の責任帰属が直ちに問題となる。ハイジャッキングによりフィッシングメールが送信された場合、あるいはエージェントがデータベースから認証情報を窃取する行動をとった場合、開発者、配備者、利用者のいずれがどの範囲で責任を負うのか。本RFIは直接的に法的責任の問題を論じてはいないが、その質問構造、開発段階、配備段階、運用段階それぞれにおけるセキュリティ対策を区別して問う構造は、責任配分の議論の基礎的フレームワークとしても機能しうる。

2　最小権限原則の法的射程

　AIエージェントの文脈において最小権限の原則を適用するとは、エージェントがアクセスできるツール、データ、ネットワーク資源を必要最小限に制約し、すべてのアクセスを検証の対象とすることを意味する。この考え方は、法的には、エージェントの配備者が合理的なセキュリティ対策を講じていたか否かという過失判断の基準とも接続する。エージェントに過剰な権限を付与していた場合、配備者の注意義務違反が認定されやすくなる。逆に、最小権限原則に従った設計がなされていた場合には、被害が生じたとしても配備者の免責が認められやすくなるであろう。本RFIの質問4(a)が、配備環境におけるエージェントのアクセス範囲をいかなる技術的手段で制約しうるかを問うているのは、この文脈において読まれるべきである。

3　任意指針から事実上の標準へ

　本RFIの回答は、AIエージェントのセキュリティに関する任意の指針およびベストプラクティス（voluntary guidelines and best practices）の策定に活用されるとされている〔注16〕。NISTの指針は法的拘束力を有しないが、その影響力は形式的な法的地位を超える。NIST SP 800シリーズが連邦情報システムの事実上の標準として機能してきた経緯を踏まえれば、AIエージェントのセキュリティに関するNIST指針もまた、調達要件、監査基準、さらにはセクター別の規制要件へと発展しうる。任意指針として出発した基準が、契約条件を媒介として事実上の義務へと転化する過程は、サイバーセキュリティの分野において繰り返し観察されてきたものである。実務家や研究者からの具体的な知見を集約し、技術の実態に即した基準を形成していく米国の姿勢は、法整備に先立つ基盤形成として評価できる。

Ⅵ　むすびにかえて

　本RFIは、AIエージェントのセキュリティという問題を、ソフトウェアセキュリティの延長線上に位置づけつつも、機械学習モデルの組込みから生じる固有のリスクを明確に切り出している。間接的プロンプトインジェクション、データポイズニング、バックドア、仕様のすり抜け、目的の不整合といった脅威の類型化は、今後の技術的対策と法的責任の双方に対する基盤を提供する。

　筆者が読み取るのは、名称変更を経てもなお、AIの「安全性」に関する実質的な議論がSecurityの枠組みのもとで継続しているという事実である。Safetyという言葉を使うかSecurityという言葉を使うかは、政治的文脈において意味をもつ。しかし、AIエージェントが自律的に環境に介入し、取り消し困難な結果をもたらしうるという技術的現実は、いかなるラベルを貼ろうと変わらない。AIが人間の代わりにシステムを操作する時代において、その行動の安全性をいかに測定し予測するかは、単なる技術的な脆弱性への対処にとどまらず、自律的に動作するシステムを社会の枠組みの中にどう位置づけ統制していくかという制度的な問いに通じる。本RFIが投げかけている問いは、米国固有の政策動向を超えて、AIエージェントを社会に実装するすべての法域に共通する問いである。意見募集の締切は2026年3月9日、寄せられたコメントはRegulations.gov上で公開される。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。