AIエージェント分担モデル

AIエージェントは、生成AIをAI共有 責任モデル が説明するリクエスト/レスポンスパターンを超えて拡張します。 大規模な言語モデルとは異なり、エージェントは人間が行動するためのコンテンツを返すだけではありません。 代わりに、エージェントがいます:

  • 自律的に行動します。 ツールの呼び出し、APIの呼び出し、データ書き込み、ワークフローのトリガーは、人間の承認なしに行われます。
  • 計画とループ。 目標を分解し、中間結果を踏まえて推論し、応答を返す前に何度も自らに追加のプロンプトを与えます。
  • 状態とメモリを保持します。 短期的な文脈と持続的記憶は将来の行動に影響を与え、セッションやユーザーの境界を越えることもあります。
  • アイデンティティを持っている。 マネージド ID、On-Behalf-Of トークン、または 別個のエージェント ID を使用して下流システムに対して認証を行い、それ自体の権限を有します。
  • 他のエージェントと組み合わせて構成されます。 マルチエージェントオーケストレーションでは、あるエージェントの出力が別のエージェントの命令となり、新たな信頼境界が導入されます。

これらの行動はそれぞれ、リクエスト/レスポンスAIモデルには存在しない責任を導入します。

Note

この記事では「責任」をガバナンスの意味で用いています。つまり、各コントロールの設定、運用、監視が期待されるのは誰かということです。 これは説明的なガイダンスであり、法的な結論を伝えたり、あなたとMicrosoft間のいかなる契約条件を修正・矛盾させるものでもありません。

AIエージェントがクラウドやAIワークロードとの違い

以下の表は、AIエージェントモデルが標準的なクラウドモデルおよび生成AI(LLM)モデルとどのように異なるかをまとめています。

懸念 標準クラウドモデル AI(LLM)モデル AIエージェントモデル
主要な操作 APIまたはGUI 応答の迅速 自律的な多段階アクションに向けた目標
現実世界の副作用 アプリケーションコード、明示的 人間が出力に対して行動する エージェントはツールを通じて直接行動します
状態 アプリケーションおよびデータ層 ステートレスプロンプト 永続的なエージェントメモリとコンテキスト
Identity ユーザーまたはアプリケーションの識別 ユーザーまたはアプリケーションの識別 個別のエージェント ID と委任されたトークン
信頼境界 ユーザーからアプリケーションへ ユーザーからモデルへ ユーザーからエージェント、ツール、そして他のエージェントへ
トップリスク 設定ミス、データ露出 プロンプト注入(コンテンツ) 動作を引き起こすプロンプトインジェクション; 過剰な自律性; 混乱した代理人

責任の分担

クラウドAIの共有責任モデルと同様に、責任の分担は選択した展開モデルによって変わります。 エージェント向けの関連する選択肢は以下の通りです:

  • SaaSエージェント。 Microsoft 365 Copilotエージェント、Microsoft Security Copilot、または公開されたMicrosoft Copilot Studioエージェントなどの既製エージェントです。 Microsoftはオーケストレーター、モデル、安全システム、ほとんどのツールコネクターを運用しています。 設定、データアクセスの範囲、識別、使用はあなたが所有します。
  • PaaSエージェント。 Microsoft Foundry Agent Service、Azure SRE Agent、カスタムMicrosoft Copilot Studioエージェント、またはMicrosoft Agent Frameworkなどのマネージドエージェントプラットフォーム上でエージェントを構築し、Azure管理されたランタイム上でエージェントを構築します。 Microsoftはランタイム、モデルホスティング、プラットフォームの安全制御を提供しています。 エージェントの命令、ツールやプラグインの選択、ツール権限、オーケストレーションロジック、メモリ設計、エージェントのアイデンティティと認証はあなたが所有します。
  • IaaSエージェント。 エージェントスタック全体を自分で構築・ホストします。VMやコンテナ上のカスタムオーケストレーター、セルフマネージドフレームワーク、場合によってはセルフホストモデルも含めて。 物理的なインフラ(そしてホストAPIとして利用する場合はベースモデル)以外のほとんどすべてを所有しています。

責任は に移り、SaaSからPaaS、IaaSエージェントへと移行する際に、より多くの責任感を負うことになります。

以下の図は、エージェント展開の種類に応じてあなたとMicrosoftの間の責任範囲を示しています。

IaaS、PaaS、SaaSエージェント展開におけるAIエージェント責任層の図で、AI共有責任モデルの上に3つの新レイヤー(エージェントメモリと状態、ツールとアクション、エージェントオーケストレーション)が追加されました。

AIエージェント層の概要

エージェントシステムは、既存のAIプラットフォーム、アプリケーション、使用層の上およびその周囲に3つの新しい層を追加します。 セキュリティ責任はタスクを実行する人に及びますが、プロバイダーは設定時にコントロールをあなたに公開することがあります。

AIプラットフォーム層(継承)

AIプラットフォーム層はモデル、トレーニングデータ、重み付け、推論APIをホスト・保護し、組み込みの入出力安全システムを提供します。 この層での責任は 、AIの共有責任モデルから引き継がれています。

エージェントオーケストレーションレイヤー

オーケストレーション層は「脳ループ」であり、計画、推論、ツール選択、エージェントのシステムプロンプトと指示、マルチエージェントの調整です。 この層こそが 、過剰な主体 性と 迅速な行動への注入リスクが存在する 場所です。

セキュリティ上の考慮事項:

  • エージェントの指示と範囲(最小機能)を制限してください。
  • ループに入る信頼できないコンテンツを検証し、サニティ化します。取得した文書、ツール出力、他のエージェントのメッセージなどが含まれます。 すべてを信頼できない入力として扱い、信頼された命令として扱いません。
  • 計画のガードレールを厳格に実施します:ステップと反復の制限、ループ検出、予算とコストの上限、そしてどのツールを連結できるかのリストを許可します。
  • マルチエージェントシステムでは、各エージェント間メッセージを信頼境界として扱い、入力安全性を再適用します。

ツールとアクションレイヤー

ツールとアクション層には、コネクタ、プラグイン、関数、モデルコンテキストプロトコル(MCP)サーバー、そしてエージェントが現実世界で状態 を読み取り 変更するために呼び出せるAPIが含まれています。 この層がLLMモデルとの最大の違いです。

セキュリティ上の考慮事項:

  • ツールごとの最小権限。 各ツールやコネクターは必要な権限のみを保持すべきです。 エージェントに広範な常設IDを付与しないでください。
  • セッション開始時だけでなく、すべてのアクションに権限を付与します。 このリソースでのこのアクションが許可されているか再度確認してください。 このチェックは、混乱した副議員や過度に広範な委任リスクを軽減します。
  • 人間参加型ゲート。 書き込み、削除、支払い、本番変更、外部送信など、高影響、不可逆、または機密性の高い操作に対しても要求してください。
  • 操作監査。 すべてのツール呼び出しを入力、出力、使用した識別子、意思決定の根拠とともに記録してください。
  • サンドボックスとエグレスコントロール。 それらをコード実行やブラウジングツールに応用してください。

エージェントメモリと状態層

エージェントメモリ層は、短期的な会話コンテキストに加え、永続メモリ、ベクトルストア、将来の動作に影響を与えるスクラッチパッドをカバーします。

セキュリティ上の考慮事項:

  • ユーザーごとテナントごとにメモリをスコープし、分離します。 クロスユーザー間やクロスセッション間のメモリブリードを防ぎます。
  • 記憶中毒から守る。 注入されたコンテンツは残留し、後で再トリガーされることがあります。
  • 保存されているメモリを分類、保持、削除します。 データの分類、保持、削除権を適用してください。
  • メモリの記憶を暗号化し、アクセス制御を強制します。 メモリは機密データとして扱いましょう。

AIアプリケーション層(継承)

AIアプリケーション層とは、ユーザーがグラウンディング、プラグイン、アプリケーション安全システムとともに利用するアプリケーションやインターフェースのことです。

AI使用レイヤー(継承、拡張)

AI使用層は、ユーザーやアプリケーションがどのようにエージェントを消費するかを記述します。 エージェントの場合、 自律的な行動に対する説明責任 が中心となります。例えば、許容範囲のポリシー、エージェント固有のリスクに関するユーザー教育、そしてエージェントがユーザーのために行う行動の明確な所有権です。

責任マトリックス

以下のマトリックスは、展開モデルを横断した責任を要約しています。 C = Customer、M = Microsoft、S = Shared. マトリックスは一般的なガイドであり、特定のサービスに対する具体的な責任は、サービスの条件や構成によって異なる場合があります。

クラウドとAIの責任を引き継いだ

責任領域 IaaSエージェント PaaS エージェント SaaSエージェント
顧客データ(グラウンディングおよびメモリの内容を含む) C C C
ID とユーザー C C C
アクセス管理(RBAC、MFA、条件付きアクセス) C C C
クライアントデバイスとエンドポイント C C S
ベースモデルのホスティングと重み付け C/M1 M M
モデルの入出力コンテンツの安全性 C/M1 S M
物理的インフラストラクチャ(ホスト、ネットワーク、データセンター) M M M

エージェント固有の責任

責任領域 IaaSエージェント PaaS エージェント SaaSエージェント
エージェント命令、システムプロンプト、およびスコープ C C S
ツール、プラグイン、コネクタの選択 C C S
ツールごとの権限(最小権限) C C S
エージェント識別と委任トークン管理 C S S
アクションごとの認可チェック C S S
高影響行動に対する人間関与の承認 C C C
オーケストレーションのガードレール(ループ、ステップ、コスト制限) C S M
マルチエージェントによる信頼境界制御 C S S
記憶設計、隔離、そして中毒防御 C S M
ツールとアクションのサンドボックスおよびエグレス制御 C S M
アクション監査のログ記録と監視 C S S
エージェントランタイムとオーケストレータープラットフォーム C M M
許容範囲の方針と行動に対する説明責任 C C C

1 顧客: IaaS 上でモデルをセルフホストする場合。Microsoft: IaaS でホストされたお客様のエージェントからホストされたモデル API を利用する場合。

常に保持する責任

展開モデルに関わらず、常に以下の責任を負います:

  • エージェントメモリに書き込まれツールに渡されるすべてのデータも含まれます。
  • アイデンティティと最小権限:エージェント自身のアイデンティティと、使用できるすべての認証情報やトークンの範囲。
  • 行動の承認:エージェントができること、特に不可逆的または機密性の高い操作について。
  • 人間の監督:どの行為に承認が必要で、誰がエージェントの行動に責任を負うか。
  • 許容される使用とガバナンス:自律行動のためのポリシー、ユーザー教育、コンプライアンス。

対策すべき主要なエージェント固有のリスク

これらのリスクは、OWASP LLMアプリケーションのトップ10エージェントAIのOWASP トップ10MITRE ATLAS、そしてMicrosoft Security Response Center(MSRC)によるAIシステムの脆弱性深刻度分類に対応しています。 彼らはエージェント特有の アクション の側面を強調しています。

リスク 緩和策
プロンプトインジェクションからアクションへ。 ウェブページ、ドキュメント、メール、その他のエージェントなどの信頼できないコンテンツは、エージェントを乗っ取り、悪意を持ってツールを呼び出します。 ツール、リトリーブ、エージェントの出力はすべて信頼できないものとして扱います。 命令をデータから分離する。 影響の大きい操作を制限する。
過剰な主体性。 エージェントはタスクに必要な以上のツールや権限、自律性を持っています。 ツールごとに必要最小限の機能と最小権限を適用し、指示の適用範囲を限定します。
混乱した代理人、または過剰に広範な委任。 エージェントは特権IDを使って、リクエスト側のユーザーができないことを行っています。 代理トークンとアクション単位の認可を使用します。 幅広いアイデンティティを確立することは避けましょう。
記憶の毒。 注入されたコンテンツは後で、またはセッションをまたがって持続し、再トリガーされます。 記憶を分離・検証し、出所を追跡し、保持を強制します。
無限ループ、コスト、資源の枯渇。 逃げ出した計画。 ステップ、反復、予算の制限を強制し、ループを検出します。
マルチエージェント間の信頼失敗。 汚染されたり幻覚を起こしたりする物質は協力者を汚染します。 各エージェント間境界で入力安全を再適用してください。 確認し、信用しないでください。
裏切り者やなりすましのエージェント。 無許可のエージェントが環境内で行動したり、エージェントの身元が偽装されたりします。 強力なエージェントの識別、証明、検出・監視を徹底します。

カスタマイズする前に設定してください

MicrosoftがAIに推奨する同じ原則がエージェントにも適用され、エージェントにとっては自律性が誤ったコストを倍増させるため、より強力です。

  1. まずはSaaSエージェント(Microsoft 365 Copilot、Microsoft Security Copilot、または公開されたMicrosoft Copilot Studioエージェント)から始めましょう。 Microsoftはオーケストレーション、安全性、そしてほとんどのツールセキュリティを所有しています。 データスコープとアイデンティティを設定します。
  2. 既製品が合わない場合のみ、PaaSエージェント(Microsoft Foundry Agent Service、Azure SRE Agent、カスタムMicrosoft Copilot Studioエージェント、またはマネージドランタイム上のMicrosoft Agent Framework)に移行してください。 エージェントのロジック、ツール、権限、メモリ、アイデンティティを引き継ぎます。
  3. AIセキュリティ、アイデンティティ、自律システムリスクに深い専門知識を持つ IaaSエージェント のみを構築しましょう。 ほぼ全てのスタックを所有している。

経験則としては、エージェントに与えるツールや権限が広く、より多くの自律性を持つほど、デプロイメントモデルに関わらず責任のマトリックスがあなたに移りやすくなります。 自律性は決して責任を減らしません。

次のステップ