AIの害はどのように起こるのか / 六つのメカニズムから考える法とガバナンス雑感

0　はじめに

　生成AIをめぐる議論は、モデルが賢くなった、危なくなった、という一本道で語られがちである。性能向上とリスク増大を比例関係で捉える見方は分かりやすい。だが実務の現場を見れば、事故や炎上の原因はモデルの能力そのものより、設計、運用、周辺システム、そして人間の意思決定の癖に散らばっている。 米ジョージタウン大学CSETが2025年10月に発表したIssue Briefで、Mia Hoffmannはこの実務的直感に刺さる。AIインシデントの観察から、害が生じる経路を六つに分解して示したのである。報告の手がかりとなったのは、非営利のAI Incident Databaseに記録された事例群である。2025年初頭以降だけで約279件が追加され、2020年の公開以降、累計は1200件を超えた。 問題は事故が増えたこと自体ではない。予防策がいまだ理論倒れになりやすい点にある。モデルがいかに堅牢でも、人間が誤用したり、組織が不適切な文脈で導入したりすれば害は防げない。Hoffmannの分類が示唆的なのは、その美しさではなく、法が介入すべき場所を可視化するところにある。

1　問題の所在

　AIガバナンスの文書は増殖しているが、そこに因果連鎖の記述がどれだけあるかは心許ない。規制も社内統制も、最終的には誰が何をし、何が欠け、どこで被害が顕在化したのか、という筋書きを必要とする。 ところが、現在のAIをめぐる議論は二つの方向に偏っている。一つは差別、プライバシー、虚偽情報といった価値・権利侵害の類型に着目する方向。もう一つは汎用性、計算資源、パラメータ数といったモデルの性質に着目する方向である。前者は何が悪いかを語るが、どう起きるかのプロセスを語りにくい。後者はどれが危ういかを近似するが、どこを直せば減るかを直接には示さない。 結果として、対策はモデル中心に収斂し、統合や監督の失敗が盲点化する。モデルの安全性と、システムとしての安全性は同義ではない。このギャップを埋めるには、害の発生プロセス自体を類型化する視座が要る。

2　メカニズム概念の効用　因果関係と帰責のためのメルクマール

　HoffmannはAI Incident Databaseのインシデント報告を材料に、害の成立過程を六つのメカニズムに整理した。ここでいうメカニズムとは、差別や身体的毀損といった害の種類ではない。AIの利用がどのような経路で害に接続するか、その力学である。報告は、AIの害を論じる以上、AIシステムの振る舞いと害との直接のつながりが必要だとする。AIが関与しているだけでは足りず、因果の鎖のどこでAIが決定的に効いたのかを特定しなければならない。 法学に引き寄せれば、これは事実的因果関係のトレース可能性を高め、ひいては相当因果関係や過失判断、つまり予見可能性と結果回避可能性の議論に足場を与える。また、メカニズムは責任主体の候補を自動的に浮かび上がらせる。害が攻撃であれば加害者やセキュリティ責任者を中心に据えるべきだし、統合の害であれば、設計者よりも導入者・運用者の意思決定が焦点化する。ここに、リスク評価と責任帰属を接続する回路がある。

3　六つの経路　意図ある害と意図しない害

　報告書は、害のメカニズムを行為者の意図の有無によって大きく二分し、計六つの類型を提示する。

　まず意図ある害である。 第一に、害を目的とした設計である。兵器・治安分野のように害の発生が予定されている用途だけでなく、非同意の性的画像を生成するnudify系アプリのように、社会的に不当な害を直接目的化した設計も含まれる。自社の検索アルゴリズムを操作して競合他社を排除し、自社製品を優遇した事例もここに分類される。独占禁止法違反の疑いが持たれたケースだ。ここでは技術的な誤作動ではなく、仕様通りの動作そのものが法的非難の対象となる。 第二に、AIの誤用・悪用である。開発者の意図に反して、利用者がフィッシングや詐欺、ヘイトの拡散等に用いる類型である。音声合成AIが悪用され、掲示板で著名人のヘイトスピーチ音声が生成された事例や、サイバー攻撃のフィッシングメール作成に利用された事例がある。モデル出力の制御やアクセス制限には一定の意味があるが、悪用防止のガードレールを厳格にしすぎれば通常の有用性が低下する。このトレードオフとは常に向き合うことになる。 第三に、AIシステムへの攻撃である。第三者のサイバー攻撃がモデルの機密性・完全性・可用性を損ね、誤作動や情報漏えい、あるいは安全機構の迂回を招く類型である。生成AIに対するプロンプトインジェクションにおける敵対的通報によるモデレーションAIの誤作動誘導が含まれる。機械学習は確率的・データ依存的であるため、従来型のパッチして終わりという発想が通用しにくい。この指摘は、法的にもベストプラクティスの中身を問い直す契機となる。

　次に意図しない害である。 第四に、AIの失敗がある。誤り、偏り、性能劣化等により、医療、司法、金融、雇用など高リスク領域で重大な帰結が生じる類型だ。米国の再犯予測プログラムCOMPASによる人種的バイアス、アーカンソー州の介護給付判定アルゴリズムの誤算による給付削減、顔認識AIの誤認による誤認逮捕などが典型例である。ここでは製品安全、説明義務、監査、救済手続の設計が中心課題となる。誤りは例外的なバグではなく、統計的学習の宿命として一定割合で生じうる。だからこそ、異議申立て、再審査、人的レビューといった事後救済を制度としてあらかじめ組み込む必要がある。 第五に、人間の監督の失敗である。人間が最終判断者であっても、オートメーション・バイアスやアンカリングにより、AIの出力を過信して誤りを見逃す類型である。報告書では、英国の英語力試験において音声認識AIが97%という高率で不正判定を出したにもかかわらず、人間がそれを鵜呑みにして多数のビザを取り消した事例が紹介されている。制度設計が人間の裁量を実質的に奪う場合もあり、人間を入れたから安全という発想は危うい。 第六に、統合の害。システム自体は意図どおり動いていても、導入コンテクストとのミスマッチが副作用を生む類型である。ここでは技術の性能よりも、導入判断の手続とステークホルダー間の利害調整が支配的になる。

4　法とガバナンスへの含意　誰に何を課すか

　この分類は、法制度設計や契約実務に対して少なくとも四つの示唆を与える。

　第一に、一律の対策は機能しない。六つのメカニズムは介入点が異なる。悪用であれば本人確認、ログ、利用規約、捜査協力が前景化するが、統合の害には効きにくい。攻撃であればセキュリティ工学と責任分担が中心となるが、人間の監督の失敗には効きにくい。法はAI一般ではなく、経路ごとに義務の束を再設計すべきである。 企業実務に引き付ければ、これは調達契約・委託契約の設計に直結する。AIの失敗が中心なら、性能保証や検証への協力義務、監査権、苦情処理と人的レビューの運用分担が問われる。攻撃が中心なら、セキュリティ要件、脆弱性開示の手順、インシデント時の通知義務とログ保全が前景化する。統合の害が中心なら、導入前の影響評価、現場ヒアリング、段階的ロールアウトの条件付けが欠かせない。責任をベンダーかユーザーかと二分するより、経路に応じて義務の粒度を合わせるほうが実務的である。

　第二に、モデル能力イコール危険度という近似は粗い。報告が示すとおり、単機能AIや比較的単純なアルゴリズムであっても、導入の文脈次第で深刻な被害は生じうる。政策が計算資源や汎用性にのみ依存すると、導入現場のガバナンス不全を取り逃がす。

　第三に、統合の害や監督の失敗は、技術仕様ではなく手続でしか抑えにくい。EUのAI法制が、高リスクAIの提供者だけでなく展開者に対しても、導入前の影響評価や導入後のモニタリング、重大インシデントの報告といった運用に張り付く義務を重視するのは、ここに理由があると解される。

　第四に、インシデント報告は政策ツールである。規制は、違反を罰するだけでなく、学習する装置でなければならない。報告が集まれば、どの経路が頻出か、どの業務領域で起きやすいか、どの対策が効いたか、を更新できる。インシデントが闇に沈む限り、リスク評価は観念のまま固定される。Hoffmannが強制的な報告制度を政策課題として挙げるのは、まさにこの点にある。

5　雑感　分類の先にあるもの

　もっとも、この枠組みは万能ではない。 意図は本来連続体であり、過失と故意の境界には広い灰色地帯がある。予見可能なリスクを放置した場合の責任をどう問うかは、依然として法的課題として残る。 また、AI Incident Databaseがメディア報道に依拠する以上、注目されやすい事件が過大に記録され、地味だが累積的な害が取り落とされるバイアスには留意が要る。教育の脱スキル化やエネルギー消費などがその例だ。 さらに、一つの事件が複数のメカニズムを同時に含むことも多い。攻撃によってガードレールが外され、悪用され、その結果生じた偽情報を人間が見抜けない、といった複合的な連鎖である。枠組みは判定器ではなく、事実調査と責任設計のためのメルクマールとして使うのが適切だろう。

　それでも、AIガバナンスが原理から運用へ移行する局面において、メルクマールは役に立つ。モデルの安全性評価を積み上げるだけでは、統合と監督の失敗は減らない。どの経路で害が起き、どの主体が介入でき、どの義務が空白になっているのか。六つのメカニズムは、その問いを具体の議論へ引き戻すための足場である。

（参考）

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。