EU AI Actの深刻インシデント報告 / 日本の人工知能基本計画・人工知能関連技術の研究開発及び活用の適正性確保に関する指針の比較　/　「事故」が法を動かす 雑感

Ⅰ はじめに

　AIと法の議論は、しばしば「導入前」の設計に寄りかかる。分類は何か（高リスクか）、要件は何か（ログか、説明か）、手続は何か（影響評価か）という問いである。もちろんこれは重要である。だが、実務で一番組織を動かすのは、往々にして「導入後」の事件である。すなわち、壊れたとき、傷つけたとき、そして（より厄介なことに）傷つけたかもしれないときである。

　EU AI Act（欧州AI法）が導入した深刻インシデント（serious incident）報告義務は、この「導入後」を法の中心に引きずり出す装置である。AIの失敗は、もはや技術チームのバグ管理票に閉じない。市場監視当局（market surveillance authority）に向けた報告対象となり、原因究明・是正措置・証拠保全を伴う「規制イベント」へと変形する。法はここで、静的なコンプライアンスではなく、動的なインシデント対応能力を要求し始めている。

（参考）

Ⅱ 「深刻インシデント」とは何か――権利侵害まで含む事故概念

　EU AI Actは、「深刻インシデント」を、AIシステムのインシデント又は誤作動が直接又は間接に一定の結果をもたらす事態として定義する。そこに含まれるのは、(a)死亡又は重大な健康被害、(b)重要インフラの管理・運用の重大かつ不可逆的な停止、(c)基本的人権を保護するためのEU法上の義務の侵害、(d)財産又は環境への重大な損害である。

　ここで目を引くのは(c)である。身体・財産の損害に加え、「基本的人権保護のための義務の侵害」が“インシデント”の射程に入る。この設計は、AIの問題を「安全（safety）」に閉じ込めない。差別、手続的公正の欠缺、説明の欠落、救済の不全といった、いわゆる“権利の問題”を、事故概念に組み込む。言い換えれば、基本権の侵害は「炎上」ではなく「インシデント」である、という法的メッセージである。ここに、EU型ガバナンスの露骨さがある。

（参考）

Ⅲ 報告期限という時間の圧力――15日・2日・10日

　深刻インシデントが定義された後、問題は「いつ報告するか」である。EU AI Act第73条は、高リスクAIシステム（high-risk AI systems）の提供者（provider）に対し、深刻インシデントを、その発生国の市場監視当局へ報告する義務を課す。

　報告は、因果関係（又はその合理的可能性）を確立した直後に行うべきであり、遅くとも「認知」から15日以内である。さらに、(i)広範侵害（widespread infringement）又は(ii)重要インフラの重大かつ不可逆的な停止に該当する深刻インシデント（定義上(b)）については、「直ちに」かつ2日以内、死亡事案については「直ちに」かつ10日以内とされる。

　ここで重要なのは、時間制限が単なる“法務的な締切”ではない点である。締切が短いほど、組織は「認知」→「因果関係評価」→「報告判断」→「報告書作成」を、意思決定のパイプラインとして前もって持たねばならない。しかもEU AI Actは、必要に応じて不完全な初期報告を認めつつ、その後の完全報告を要求する構造を置き、報告後には遅滞なく調査（リスク評価と是正措置を含む）を行うことを求め、原因究明に影響し得る改変を行う場合には当局への事前通知を要請する。

　要するに、「報告して終わり」ではなく、「報告を起点に調査と是正が走り出す」設計である。さらに、欧州委員会がガイダンスを2025年8月2日までに策定し、定期的に評価するとまで書き込む。ここまでくると、インシデント報告は“例外的な義務”ではなく、“運用の前提条件”である。

Ⅳ デプロイヤ（運用者）は「通知者」になる――報告義務の周辺構造

　提供者だけが矢面に立つわけではない。EU AI Act第26条は、高リスクAIシステムのデプロイヤ（deployer。運用者）に対し、システム運用のモニタリングを課し、リスクがある場合の通知・使用停止を求める。そして、デプロイヤが深刻インシデントを特定した場合には、まず提供者に、次いで輸入者・販売業者及び市場監視当局に「直ちに」通知すべきことを定める。提供者に連絡できない場合は、第73条が準用される。加えて、デプロイヤにはログの保存（少なくとも6か月）が課される。

　この周辺構造が意味するのは単純である。高リスクAIの“事故”は、提供者の内部だけでは完結しない。現場で気づくのは運用者であり、ログを握るのも運用者であり、事故の文脈（どう使われたか）を説明できるのも運用者である。したがって、運用者が報告回路の一部にならざるを得ない。AIガバナンスが「提供者の要件チェック」から「提供者・運用者の共同責任（少なくとも共同関与）」へと移行することが、条文上すでに前提化されているように見受けられる。

Ⅴ 「事故は増える」という前提――インシデント・データベースの思想

　深刻インシデント報告の制度設計は、思想としては航空・サイバー領域に近いように思える。AI Incident Database（AIID）は、AIの現実世界における害又は“害の寸前”（near harms）を体系的に蓄積し、経験から学ぶためのデータベースであると自ら位置付け、航空業界が事故・インシデントの分析と共有を通じて安全性を高めてきたことを参照する。事故を隠すのではなく、記録し、原因を探り、再発防止を回す。ここに「事故を前提にする」安全文化がある。

　興味深いのは、AI & Partnersの報告書がAIIDのスナップショットを用い、AI関連インシデントが長期的に指数関数的に増加していることを可視化している点である。1980年代から2000年代半ばまでの発生は極めて低水準であったが、2015年前後から傾きが変わり、2016〜2018年には年40〜50件程度に達し、2020年以降は急角度で増加し、2024年に270件超、2025年も200件超という水準が示される。

　もちろん、データベースの捕捉率や分類の問題はある。しかし、ここで重要なのは厳密な統計ではなく、規制の直観である。すなわち、「AI事故は稀な例外ではなく、普及と複雑化に比例して増える」という前提に、規制が寄ってきているという点である。

Ⅵ 罰金より怖いもの――「静かな修正」を許さない構造

　深刻インシデント報告は、罰金（fines）や制裁金の話として理解されがちである。だが、実務的には、より恐ろしいものがある。静かに修正できない、ということである。

　第73条が要求するのは、①因果関係評価（合理的可能性で足りる）、②期限内報告、③報告後の調査と是正、④当局との協力、⑤評価に影響する改変の事前通知である。これらは、いわば“事故対応のプロトコル”を法が規格化したものである。ここに組織の弱点が露呈する。ログがない、モニタリングがない、変更管理がない、外部ベンダーの中身が見えない、誰が報告判断をするか決まっていない。インシデントは技術の問題である前に、組織の問題であることが、強制的に明るみに出る。

　そしてもう一つ、深刻インシデント概念に(c)が入っている以上、権利侵害もまた「事故」として報告され得る。差別的な出力、説明不能な不利益処分、権利保護義務の不履行は、単なる“評判リスク”ではなく、報告義務違反（又は報告義務の検討不全）という形で法的に構造化される可能性がある。これが、EU AI Actが“運用の現実”に刺さる点である。

Ⅶ 「報告できる組織」になる――準備の中身は地味である

　では、どう備えるべきか。結論は派手ではない、地味なインフラであるように思える。AI & Partnersの報告書が「Calls to action」として掲げるのも、結局は運用基盤の整備である。すなわち、(1)規制期限の前にAIインベントリ（どのモデル・プロンプト・ベンダーがどこで使われているかの生きた台帳）を作ること、(2)モデルの性能劣化（drift）・バイアス・失敗を検知する継続的モニタリングを置くこと、(3)初動報告・追完報告・証拠保全・当局窓口を含むインシデント対応計画と報告テンプレートを準備すること、(4)プライバシー・バイ・デザインをAIライフサイクルに埋め込むこと、である。

　これらは、AIガバナンスを「書類」から「運用」へ戻す作業である。インシデント報告義務は、コンプライアンスを増やすというより、運用を規律化する。しかも、その規律化は、技術部門だけに閉じない。法務・コンプライアンス・現場・経営が、誰が認知し、誰が判断し、誰が報告し、誰が修正するのかを、時間軸付きで合意しなければ回らない。ここで“組織設計の失敗”がインシデントになる。

Ⅷ 日本の「基本計画」・「適正性指針」との距離感――比較法の視点

　ここで視点を日本に転じると、EUとは異なる「事故」や「規律」への距離感が見えてくる。2025年に示された日本の「人工知能基本計画（案）」および「適正性確保指針（案）」は、EUのようなハードローによる強制報告とは一線を画すアプローチを採っている。

　第一の相違は、ガバナンスの「強制力」である。EU AI Actが市場監視当局への報告義務（第73条）を課し、違反に制裁金をちらつかせるのに対し、日本の適正性指針は、AI法第13条に基づくものの、あくまで「自主的かつ能動的な取組」を促す枠組みである。そこでは、事故対応も「事業継続計画（BCP）」や「ステークホルダーへの説明責任」という文脈で語られ、15日や2日といった硬直的な「時間制限」による強制は見られない。

　第二の相違は、インシデントの「位置づけ」である。日本の基本計画は、冒頭から「反転攻勢」を掲げ、「利活用から開発へ」のサイクルを回すことを主眼とする。リスク対応はもちろん重要視されているが、それはあくまで「イノベーション促進とリスク対応の両立」という文脈の中にある。EUがインシデントを「規制当局への報告対象」として管理しようとするのに対し、日本はそれを「社会的信頼を損なうリスク」として経営課題的に捉え、民間の自律的な回復力（レジリエンス）に期待を寄せている。

　この「厳しさ（Hard Law）」と「緩やかさ（Soft Law）」のコントラストは、日本企業にとって「アジャイルな開発」領域を提供する一方で、グローバル展開においては二重の対応を迫るものでもある。結局のところ、日本の指針が求める「十分な安全性の確保」を満たし、かつEU市場で生き残るためには、EU水準のインシデント対応能力（検知・判断・報告・是正）を実装せざるを得ないのが実務の帰結であろう。

（参考）

Ⅸ おわりに

　EU AI Actの深刻インシデント報告は、「事故を隠せない」制度であるといえる。AIの失敗を、規制当局とのコミュニケーション、証拠保全、原因究明、是正措置という一連の運用プロセスへと接続し、期限という時間設計でそれを強制する。その結果、AIガバナンスは、チェックリストの達成ではなく、インシデント対応能力の有無として測られる局面に入る。

　そして、事故概念に権利侵害が含まれる以上、AIと法の議論は「安全」だけでなく「権利」を、より運用的な言語で語り直す必要がある。権利は理念であると同時に、インシデントになり得る。法がそう作られてしまった以上、組織もそう動くしかない。あとは、動けるだけの地力があるかどうかであるように思える。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。