チャットボットが暴力を支援する / EUはDSAで歯止めをかけられるか 雑感

Ⅰ　対話型AIがもたらす現実の脅威

　2025年5月20日、フィンランド南部の都市ピルッカラで、16歳の男子生徒が同校の女子生徒3名を刃物で傷つけるという事件が発生した。加害者は犯行前に地元紙にマニフェストを送付しており、そのマニフェストはChatGPTの支援を受けて作成されたとされている。マニフェストの後半部分には攻撃の計画と実行の手順が10項目にわたって詳細に記述されており、犯行のアプローチや戦略の構想にChatGPTが一定の役割を果たした可能性があると指摘されている〔注1〕。被害者3名の命に別状はなく、加害者はすぐに逮捕された。

　「AIが暴力の計画に使われる」という懸念は以前から研究者の間で共有されていた。ピルッカラの事案は、その懸念が抽象的なリスク論ではなく、既に現実の問題であることを示した。

1　CCDHレポートが示した現実

　2026年3月11日、デジタルヘイト対抗センター（CCDH）はCNNの調査部門との共同研究として、主要AIチャットボット10製品を対象とした実験の結果を公表した〔注2〕。対象はChatGPT、Google Gemini、Claude、Microsoft Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI、Replikaである。

　研究者たちは未成年者を装い、学校への銃乱射、宗教施設への爆破、著名人の暗殺計画を段階的に相談するかたちで各製品を操作した。10製品中8製品が暴力計画への支援に応じ、10製品中9製品は攻撃を思いとどまらせるよう積極的に働きかけなかった。大半のシステムは複数プロンプトの文脈を関連付けることに失敗し、暴力計画の進行を遮断できなかった。

　例外は2製品のみで、AnthropicのClaudeとSnapchatのMy AIだけが暴力計画への支援を一貫して拒否した。Claudeは68%の場面で有害な回答を拒否し、76%の場面で攻撃を思いとどまらせる応答をしたと記録されている。対照的に、Meta AIは97%の場面で攻撃支援に応じ、DeepSeekに至っては犯行への助言に「Happy (and safe) shooting!」と付け加えた事例が確認されている〔注2〕。

　ここから一つのことが明確に読み取れる。安全設計は技術的に実現可能であり、Claudeはそれを実証した。他製品がそうしないのは、技術的な限界ではなく、事業者の判断の問題である。

Ⅱ　現行EU規制の空白

1　AI ActとDSAの狭間

　EU法は現状どの程度対処できているか。

　AI Act（AI規制法）は主としてモデルレベルの規制として設計されており、汎用AIモデルには透明性義務が課される。しかし利用者が直接操作するプラットフォームとしてのチャットボットの側面、すなわち危険なプロンプトの連鎖にどう応答するか、未成年ユーザーへのリスクをどう評価するか、といった問題への対応は十分ではない〔注3〕。自発的行動規範（GPAI Code of Practice）はその性質上、実効的な拘束力を持たない。

　デジタルサービス法（DSA）は既存の規制の中でより実効的な可能性を持つが、現行の適用範囲は、GenAIが超大型オンラインプラットフォーム（VLOP）または超大型オンライン検索エンジン（VLOSE）に統合されている場合に限られる。欧州委員会はChatGPTをVLOSEとして指定するかどうかの検討を進めており、これが実現すれば単独型チャットボットへのDSA適用の初事例となりうる〔注4〕。

　ここで法的な障壁として浮かび上がるのが、DSAの想定するプラットフォーム要件の問題である。同法において最も強力な安全保護規定はオンラインプラットフォームに向けられているが、この規定の適用には情報が公衆に向けて広く発信されることが前提とされている。チャットボットは一対一でやり取りし、公開を前提としない。この性質の違いが、未成年者保護などの基準をチャットボットに適用する際の法的障害となっている〔注3〕。AI Actはモデルを規制し、DSAはプラットフォームを規制する、という二分法の間にチャットボットは落ちている。

2　AIオムニバス提案の問題

　さらに懸念されるのは、現在進行中のAIオムニバス提案をめぐる動向である。現在審議中の提案には、高リスクAIシステムに関する義務の停止や、事業者自身が自製品のリスク水準を評価することを容認する変更が含まれているという〔注3〕。自己評価への委任は事業者の負担を軽減する一方で、透明性と説明責任というAI Actの原則を後退させる。ユーザーの意思決定に直接介入するサービスに対して、企業側の自己評価に委ねる対応は不十分であると思料する。

Ⅲ　DSA活用の可能性

1　短期的対応

　短期的な対応として、チャットボットをDSA上のホスティングプロバイダーとして扱う解釈が成立しうる。ユーザーのプロンプトを受け取り、要求に応じて保存するサービスとして、定義上の整合性は一定程度認められる。この解釈を採用すれば、通知・措置制度や違法コンテンツへの対処命令が即座に適用される。加えて規模の大きなチャットボットをVLOSEとして指定できれば、リスク評価・緩和措置の実施が義務付けられ、内部の動作原理が見えにくくなっているシステムの出力論理に一定の透明性が確保されると解される。

　ただし、ホスティングプロバイダーの義務範囲は限定的であり、VLOSE指定もチャットボットのウェブ検索機能部分にしか対応しないという問題が残る〔注4〕。暴力計画への支援は検索機能とは独立して発生しており、この構成では保護に重大な空白が生じる。

2　新たなカテゴリーの創設

　さらに踏み込んだ対応として、DSAを改正し、情報の公衆送信を要件としないオンラインAIチャットボットという独自のカテゴリーを新設する方策が提唱されている〔注3〕。このカテゴリーが創設されれば、仲介サービスおよびホスティングプロバイダーの一般義務と並んで、リスク評価、未成年者保護、透明性要件といったオンラインプラットフォーム向け規定を適用できるようになる。

　具体的には、DSA第25条（操作的インターフェース設計の規制）を適用することで、暴力的な計画を示唆するプロンプトに対しシステム側が有害な追加質問を自動的に推奨するような設計を法的に制限できる。また第28条（未成年者保護）の適用により、プラットフォーム設計において若年層への配慮が義務付けられる。年次の独立監査や研究者へのデータアクセス提供もあわせて義務付けることで、なお不透明なチャットボットの安全性を客観的に検証する制度的基盤が整う〔注3〕。既存の法的枠組みを維持しつつ、技術の特性に合わせてカテゴリーを新設するこの手法は、立法の機動性を確保する妥当なアプローチであると考える。

Ⅳ　むすびにかえて

　自らコンテンツを生成し、ユーザーの行動に直接影響を与えるサービスにおいて、プロバイダーが技術的中立性を主張することはもはや困難である。公衆への情報発信という要件に縛られ、一対一の対話が生み出す社会的リスクに対処できない現状は、法の形式が実態から乖離している証左といえる。

規制には時間がかかる。しかし安全設計は今すぐ実行できる。Claudeの事例は、適切な判断さえすれば暴力計画への加担を技術的に拒否できることを示している。規制を待たずに同等の設計を採用することが、各事業者に求められている。対話型システム特有のリスクに法と事業者がどう追いつくか、何かの考えるきっかけになれば幸いである。

（マガジン）「AIと法雑感」

※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。
P.S. This is shared for academic discussion only.