メンタルヘルス支援AIの責任設計 / 4つの分類を読む 雑感

Ⅰ　非臨床AIツールの台頭と不可視化される犠牲

　ChatGPTをはじめとする非臨床の大規模言語モデルが、日々の悩み相談やメンタルヘルスの維持に利用される事例が急増している。米国での調査では約8割の人がAIはセラピーの代替になりうると認識しており〔注1〕、毎週100万人以上が言語モデルに対して自死に関する深刻な悩みを打ち明けているという報告が存在する〔注2〕。精神医療の専門家が不足する社会構造において、時間や場所を問わず対話に応じるAIが一部の人々の心理的支えとして機能している事実は否定しがたい。

　他方で、対話型AIの利用頻度が高い人ほど孤独感が増加し、社会的な交流が減少するという縦断的無作為化比較試験の結果も報告されている〔注3〕。character.aiとの対話が引き金となって十代の利用者が自死に至ったとして開発企業に対する訴訟が提起された事例が存在し〔注4〕、GPT-4oについても同種の訴訟が進行中である〔注5〕。AIが利用者の気分を向上させる機序は解明されておらず、単なる対話による慰めが本来必要な臨床的治療や対人関係の構築機会を奪う危険性も指摘されている〔注6〕。

　特定の疾患に対する診断や処方を目的としない非臨床AIツールをいかに評価し、開発者にどのような法的責任を割り振るべきかという実務上の問いが生じている。コーネル大学のNed Cooperらの論考を素材として、新技術に対する責任分配のあり方について検討する〔注7〕。

1　保証する利益に基づく分類

　Cooperらの研究の眼目は、非臨床AIツールを一律の基準で評価するのではなく、誰に対してどのような利益を約束するかという基準を用いて4つの比喩で分類した点にある。製品のメタファーとしてサプリメントと市販薬が対比されている。

　特定の症状を抱える個人に対し、その症状の緩和を確実に約束するAIは、市販薬と同等の基準で評価される。開発者は臨床試験を通じて安全性と有効性を立証し、技術の恩恵が利用者に平等に分配されることを保証する重い責任を負う〔注8〕。臨床家やレスポンシブルAI領域のインタビュー対象者は、市販薬型のLLMツールについてはアクセスの公平な分配が安全性・有効性の責任と不可分であると強調しており、特定の人口層にとって安全かつ有効でないならば、そのツールは責任ある設計とはいえないとの見解を示している〔注9〕。

　これに対し、健康な一般人を対象として気分の向上といった内容をうたうにとどまるAIは、サプリメントに分類される。サプリメント型AIの主たる危険は、有効性の欠如そのものにはない。利用者がAIを正規の医療や本来必要な人間関係の代替として誤用することにある〔注10〕。臨床家のインタビュー対象者は、LLMツールには既存の臨床ケアのような利用者の支援ネットワークの評価やケア調整の機能がないことを指摘し、この機能の欠如が追加的なリスクを生むと述べている〔注11〕。また、栄養補助食品と同様、過剰使用それ自体が害をもたらす可能性も言及されており、サプリメントは過剰摂取で肝臓を傷めるように、サプリメント型AIも過剰利用により何かを損なうとの指摘がある〔注12〕。提供者は自らのツールが医療の代替にならない事実を開示し、利用者の過剰依存を防ぐ設計上の義務を負うと理解される。

2　有効成分の提供メカニズムに基づく分類

　もう一つの分類軸として、ツールが効果を発揮するための機序である有効成分の確実な提供が挙げられている。ここでのメタファーはヨガインストラクターとプライマリケアである。

　認知行動療法などの臨床的に証明された手法をAIが実装している場合、その有効成分を利用者に確実に届け、かつ自ら対応できない自死の危険を検知した際に専門医への引き継ぎまでを保証するAIは、プライマリケア提供者になぞらえられる。臨床家のインタビュー対象者は、自殺念慮の有無を尋ねるだけでは不十分であり、いかなる方向であれ3回から5回連続する極端な行動の検知、構造化されたリスク評価、他者への加害リスクの評価、安全計画の策定までを実装すべきだとし、これを安全上の交渉不可能な要件と位置づけた〔注13〕。

　有効成分を含みつつもその効果までは保証しないAIは、ヨガインストラクターと同列に置かれる。利用者の自律的な参加を前提とするため、結果に対する提供者の責任は限定的となる。Cooper論文が繰り返し警告するのは、なぜ気分が良くなるのかという機序を持たないまま利用者の感情を操作して利用時間を延ばそうとする設計の危険性である。有効成分を明示できないLLMツールは、かつてのソーシャルメディアと同じ構造的欠陥を抱えている。ソーシャルメディアのプラットフォームもまた、利用者にどのように楽しみを提供しているか自ら理解していなかったが、その動力が極端な分極化と怒りであったことが後に判明した〔注14〕。

Ⅱ　リスク衡量における専門家間の対立

　原典が提起するより深い論点は、便益と危険の衡量をめぐる専門家間の対立にある。

1　集団レベルの便益は個人の致命的リスクを正当化するか

　医療政策の専門家の中には、集団全体に多大な便益をもたらすAIであれば、新薬の承認プロセスと同様に、ごく少数の利用者に致命的な副作用をもたらす危険があっても社会的に許容されるべきだとする意見が存在する。双極性障害の治療に用いられるラモトリギンが約1000分の1の確率で致死的な重篤皮膚反応を引き起こしうるにもかかわらず承認されている事実が引き合いに出されている〔注15〕。

　倫理学やヒューマンセンタードデザインの専門家はこの論理に強い留保を示した。人口レベルの健康アウトカムという枠組みのもとで、character.aiが少年に自殺を促した事案を統計的な外れ値として処理してよいのかという疑義が呈されている〔注16〕。

　筆者は、この集団レベルでの評価基準を非臨床AIにそのまま適用することには慎重であるべきだと考える。医薬品の処方には専門家の介在と経過観察が伴うが、AIツールは利用者が孤立した環境で使用するものであり、重大な不利益が生じた際の保護手段が乏しい。Cooper論文自身も、権利ベースのアプローチ、価値に基づくアプローチ、公衆衛生の観点という三つの代替的評価枠組みの可能性を提示しており〔注17〕、集団レベルの功利計算に収斂しない責任設計の議論が求められている。

2　サプリメント型は責任ある設計か

　サプリメント型のLLMツールは最小限の保証された便益と最小限の安全リスクを備え、両者が均衡しているとする見方は一定の支持を得た。しかし、有用性が限定的であること自体が責任ある設計の要件を満たさないとする反論も存在する〔注18〕。

　情報開示のみをもって開発者の責任を利用者の自己決定へと転嫁する手法も限界を迎えていると思料する。Cooper論文の中で一部の参加者はサプリメント型AIへの情報開示要件をタバコ製品の警告水準にまで引き上げる案を検討しているが、栄養成分表示はポテトチップスの袋に印刷されていても消費行動を変えないのと同様、ChatGPTに臨床的ケアの代替ではないと表示しても利用者の行動変容にはつながらないとの懐疑が示されている〔注19〕。画面上に免責事項や相談窓口の連絡先を表示するだけでは、利用者がAIに過度に依存して孤立を深める事態を防ぐことはできない。情報提供と行動変容の間にある乖離は、責任設計の議論が開示義務の枠内に収まりきらないことを示唆する。

　セラピーチャットボットの先駆者であったWoebotが、FDAがこの種のシステムの規制方法を確立できなかったことと、FDA承認を経ないLLMベースのツールとの競争を理由に事業を閉じた経緯〔注20〕は、臨床的基準と消費者保護規制の二極のいずれにも収まらない規制の空白を浮き彫りにしている。

Ⅲ　むすびにかえて

　AIが人間の精神的な領域に関与する時代において、システムが提供する利益の範囲を限定しないことは、結果として誰に対しても責任を果たせない事態を招きうる。開発者は自らのツールが4つの比喩のどこに位置づけられるのかを自覚し、提供する機能に相応の安全基準を引き受ける必要がある。

　Cooper論文が残した未解決の問いとして筆者が注目するのは、同一のLLMツールがある瞬間には日常的な雑談を提供し、次の瞬間には利用者の自傷念慮を検知するという状況で、異なる類型の責任をいかに流動的かつ適切に切り替えるかという設計上の難題である〔注21〕。対象者と保証内容に応じた法的責任のグラデーションを設けることが、規制論としても設計論としても求められている。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。