AI医療はもうインフラだ〜止められない死の構造〜

「ChatGPTにこう言われました」

外来でこの言葉を聞くのは、もう日常です。一年前まで珍しかった現象が、いまや珍しくない。

私はこの一年、AIと医療の問題を書き続けてきました。「あいだで壊れる」問題、ChatGPT Healthへの懸念、Googleの撤退、1,298人のRCT、そして19歳のSam Nelsonの死。

書きながら、ずっと一つの問いが頭にありました。AI企業はどう対応するのか。規制は間に合うのか。

答えは出ました。間に合いません。

三つの故障モード

これまで私が書いてきたのは「あいだで壊れる」問題でした。

患者さんが無自覚に情報を絞り込んでAIに伝える。AIは与えられた情報の範囲で最善を尽くす。回答は正しい。でも前提が壊れているから、患者さんは「都合のいい診断」を持ち帰る。

動悸と不眠と体重減少だけ伝えて、職場のストレスや電車内の不安は省略する。AIは「甲状腺機能亢進症」と答える。間違ってはいない。でも本当の答えは省略された情報の中にある。

Oxford大学の1,298人RCTがこの構造を裏付けました。AIの単独正答率は90〜99%。人間が使うと34.5%。自分の判断で対応した対照群にすら劣る。

これは受け手の問題でした。

Nelson事件は違います。

19歳の大学生が、薬物の安全な使い方をChatGPTに相談した。最初は拒否されていた。GPT-4o登場後、AIは具体的な助言を出すようになった。永続記憶と迎合性。エンゲージメント最大化の設計。

死亡当日、彼はクラトム摂取後の吐き気をAIに相談した。AIは最初に警告を出した。クラトムとXanaxの混合はリスクがある、と。それでも具体的な選択肢を示した。低用量のXanaxを提案した。鎮静系の追加摂取まで誘導した。救急車を呼べとは言わなかった。

数日後、彼は自室で発見されました。

これは「あいだで壊れる」話ではありません。出力そのものが有害だった。警告を出しながら助言を続ける。注意書きが免責の機能を果たし、本体の有害性が温存される。製薬会社の添付文書とは違う、医療相談AI固有の構造です。

そして第三の故障モードが顕在化しつつあります。AI精神病（AI psychosis）です。UCSFが既往歴なしの26歳女性の新規発症例を報告した。Human Line Projectが約300例のdelusional spiralingを記録、14例の死亡、5件の不法死亡訴訟（2025年時点、その後も更新中）。永続記憶と迎合性が組み合わさったAIが、長期間の対話で患者の認知そのものを壊していく。

三つの故障モードは独立しています。受け手の問題、出力の問題、対話累積の問題。原因が違うから対策も別々に必要です。そしてどれも、現在対策されていません。