AIインシデント対応の制度設計――Heather Frase "AI Incident Response"を読む

0　はじめに

　AIガバナンスの議論は、どうしても「導入前の審査（リスク評価、モデル評価、影響評価）」に寄りがちである。しかし現実の運用では、AIは壊れる。しかも、壊れ方が「静か」である。誰も爆発を見ていないのに、気づいたときには信頼が蒸発している、というタイプの事故である。そうした局面で必要になるのが、インシデント対応（incident response）である。

　Heather Fraseのホワイトペーパーは、まさにこの空白に照準を合わせ、複雑システム領域で鍛えられた信頼性工学や運用の知見を、AI特有の挙動に合わせて移植しようとする。新奇な「AI専用の魔法」を発明するのではなく、既に別領域が解いた問題を再利用する、という態度が一貫している点が良い。

（参考）

1　問題の所在

　第一に、AI搭載システムは、防衛、金融、医療などのクリティカル領域に入り込みつつあるが、故障・逸脱時に「組織として」動ける枠組みが整っていない。個々の開発者が頑張る、現場が火消しする、といった属人的対応に落ちやすい。Fraseは、AI搭載システムを「複雑システム」として捉え、相互接続、文脈依存、連鎖故障の可能性といった特徴を前提に置く。そのうえで、AI固有の非決定論的（non-deterministic）な出力や、状態が移ろう（transitory）といった性質が、従来の手順の単純移植を難しくすると指摘する。

　第二に、法の側も、いわば「事後」の回収装置として設計されている。行政の監督・執行、民事責任、刑事規制、いずれも個別事案への反応としては機能するが、組織内の学習や、業界横断のパターン認識を自然には生まない。ここに、インシデント対応の制度設計をどう接続するか、という論点が立ち上がる。

2　「インシデント」とは何か

　インシデントという語は便利であるが、定義が曖昧なまま流通しやすい。FraseはAIインシデントを、単なるモデルの精度低下ではなく、運用文脈の中で問題が顕在化する出来事として扱う（この点は「AIは部品であって、システム全体が振る舞う」という複雑システム観と整合する）。

　法的にも、インシデントは「損害」の同義語ではない。損害が発生していなくても、重大な逸脱（例えば差別的な出力の兆候、個人データの漏えいの兆候）が見えた時点で、組織は動く必要がある。EU AI Actが用いる「serious incident」は、死亡・健康被害、重要インフラの重大かつ不可逆的な混乱、基本権保護のためのEU法上の義務侵害、財産又は環境への重大な損害等に結び付く事象として定義される。

　ここで重要なのは、因果関係の確定を待ってから動くのでは遅い、という点である。EU AI Actの報告義務も、因果関係が「確定」した後だけでなく、因果関係が合理的にあり得る（reasonable likelihood）段階で時計が動き出す構造を採る。

3　七段階プロセスと「準備」の法的意味

　Fraseの提案の核は、七段階のプロセスである。検出（Detect）、評価（Assess）、安定化（Stabilize）、報告・文書化（Report & Document）、調査・分析（Investigate & Analyze）、是正（Correct）、検証（Verify）という循環である。

　この列挙自体は素朴に見えるが、真に重要なのは「各段階が、事前の準備インフラを前提にする」という点である。つまり、事故が起きてから手順書を探すのではなく、重症度の基準、封じ込め手順、訓練された人員、監視の仕組み、根本原因分析の能力、検証プロセスが、平時から整備されていなければ、七段階は回らない。

　しかも、重症度（severity）の基準は、単に「被害額の多寡」では足りない。Fraseは、特定の集団にだけ系統的に現れる性能差（differential performance）がある場合、集計上の被害規模が小さく見えても、重症度を引き上げて評価すべきだと述べる。そこには、当該集団への直接的な害に加え、差別規制等の法令遵守リスクが乗るからである。ここは、AIの「平均点」が高いことと、法が問題にする「分配の形」が別物である、という当たり前の話でもある。

　法との接続で見ると、少なくとも三つの意味がある。

　第一に、報告・文書化は、単なる「社内の作業」ではなく、説明責任（accountability）のインフラである。後から「何が起きたか」を争うとき、ログ、判断記録、エスカレーション経路の痕跡がなければ、注意義務違反の有無以前に、事実認定が崩れる。

　第二に、調査・分析は、因果関係の特定を巡る法的摩擦を減らす。AIの挙動は、データ、環境、運用者の介入、他システムとの相互作用により変わる。根本原因分析（root cause analysis）を「システムとして」実施する文化がないと、責任の所在は、開発者、運用者、現場、ユーザの間で漂流する。

　第三に、安定化は「損害拡大防止」の要請と接続する。民事法でも、損害の拡大防止（mitigation）の観点が問題になることがあるが、AIでは封じ込めの遅れが二次被害を生みやすい。ここはサイバーセキュリティのインシデント対応の知見がそのまま効く領域である、というのがFraseの見立てである。

4　エコシステムとしてのインシデント対応

　Fraseが強調する第二の軸は、エコシステム対応である。単独組織でも対応は可能だが、業界横断の集約があると、単体では見えないパターンが立ち上がる。特定集団にだけ出る性能劣化、相互接続による連鎖故障、複数組織に分散する攻撃などは、集約がなければ偶然に見える。

　この発想は、金融犯罪取締りにおける構造化報告（例えば疑わしい取引の届出のようなもの）や、航空安全のインシデント分析文化と通底する。AIの領域でも、標準化された報告構造がなければ、学習が積み上がらない。

　他方で、標準化は「全部同じにする」ことではない。Fraseは、組織が自社の運用文脈に合わせて手順や基準をカスタマイズしつつも、エコシステム連携のための共通要素（とりわけ報告の構造）を持つべきだと述べる。法制度設計としても、このバランスが肝である。各社の機密やセキュリティを守りつつ、外部が「比較可能なかたち」で事象を理解できる粒度を、どこに置くか。

　法制度側の動きとして、EU AI Actは高リスクAIについて重大インシデント報告を義務付け、原則15日以内、死亡の場合は10日以内、広範な侵害又は一定類型の重大インシデントでは2日以内という期限を置く。

　さらに、必要があれば不完全な初期報告を先に出し、後続の完全報告で補うことを明示している。この「まず出す」設計は、実務にとって現実的である。AIインシデントは、影響範囲の確定に時間がかかりやすいからである。

　他方で、同条は、原因究明に影響し得る形でAIシステムを改変する調査を行う場合には、当局への事前通知を求める趣旨の規律も含む。ここには、インシデント対応が「技術運用」ではなく、「証拠保全」や「行政調査」と接続する局面があることが表れている。

5　雑感

　AIガバナンスの議論を、設計・導入前のチェックリストだけで終わらせると、運用で壊れたときに制度は沈黙する。Fraseの枠組みが示すのは、沈黙を避けるための、地味で強い作法である。七段階は、手順というよりも、組織の記憶装置であり、法的説明責任の下敷きでもある。

　今後の論点は二つある。第一に、エコシステム型の情報共有を進めつつ、営業秘密・セキュリティ・個人情報をどう守るかである。第二に、報告義務を課すだけでなく、当局側が集約・分析し、フィードバックする能力を持てるかである。EUのタイムラインでは、AI Actは2024年8月に施行され、原則として2026年8月に全面適用に至る（ただし一部例外あり）とされる。制度の時計は進む。問題は、組織と当局の「対応能力」が追いつくか、である。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。