AIと医療 / 医療AIにおける「説明」の幻想と「記述」の現実―Describe-Predict-Explainフレームワークからの示唆雑感

0　はじめに

　人工知能（AI）、とりわけディープラーニングやアンサンブル学習といった複雑な機械学習モデルが社会実装される過程において、「説明可能性（Explainability）」は、常に法的・倫理的議論の中心的なテーマであり続けている。

　欧州の一般データ保護規則（GDPR）における「プロファイリングを含む自動化された意思決定」に関する条項や、AI法（AI Act）における透明性要件の議論を待つまでもなく、ブラックボックス化したAIがなぜその判断を下したのかを知ることは、適正手続の保障、ユーザーの納得感や信頼性の担保、ひいては事故発生時における法的責任の所在を明らかにする上で不可欠な要素であると考えられてきたからである。

　私たちは、AIが下した高リスクな判断（例えば、医療診断や融資の否決）に対し、「なぜ（Why）」と問う権利があると感じている。そして、その問いに応える技術として、「説明可能なAI（Explainable AI: XAI）」への期待は過熱の一途をたどっている。SHAP（SHapley Additive exPlanations）やLIME（Local Interpretable Model-agnostic Explanations）といった事後的な説明手法（Post-hoc Explainability Methods）は、複雑なモデルの挙動を可視化するツールとして、あたかもAIの「説明責任」を果たす魔法の杖であるかのように扱われることもある。

　しかし、ここで我々は一度立ち止まり、冷静に問わなければならない。「AIによる説明」とは、果たしていかなる性質の情報なのか。それは人間が法的な文脈で期待する「因果関係の解明」なのか、それとも単なる「相関関係の記述」に過ぎないのか。もし後者に過ぎないものを前者のように扱っているとすれば、そこには深刻な法的リスクが潜んでいることになる。

　GE HealthCareのGlobal Head of AI AdvocacyであるJan Beger氏が紹介し、Alex Carrieroらが2025年の論文『Explainable AI in healthcare: to explain, to predict, or to describe?』（Diagnostic and Prognostic Research誌）で詳説した議論は、この点について極めて本質的な警鐘を鳴らしている。同論文は、現在のXAI技術が提供しているのは、多くの利害関係者が期待する「因果的な説明（Explanation）」ではなく、データ内のパターンの「記述（Description）」に過ぎないと断じている。

　今回は、Carrieroらが提示した「記述・予測・説明」のフレームワークと、腎臓病予測モデルを用いた具体的なシミュレーション事例を足掛かりに、AIが提示する「説明」の限界を整理する。その上で、この技術的限界が、医療過誤における過失認定、インフォームド・コンセントの有効性、そしてAI開発者の製造物責任といった法的論点にどのような地殻変動をもたらすかについて検討する。

1　問題の所在：ステークホルダーが求める「説明」との乖離

　医療現場における意思決定は、本質的に因果的である。「なぜこの患者はハイリスクなのか？」「禁煙すればリスクは下がるのか？」。医師や患者が知りたいのは、変数を操作した際の結果の変化、すなわち「介入（Intervention）」や「反事実（Counterfactual）」に基づく因果メカニズムである。法的な責任追及の場面においても同様である。「Aという事実がなければBという結果は生じなかったか（あれなければこれなし）」という条件関係の判断には、因果律の理解が前提となる。

　一方で、現在主流の機械学習モデルは、高次元データ内の相関関係を学習し、予測精度（Accuracy）を最大化するように設計されている。ここにXAIツールを適用したとしても、得られるのは「モデルがどの特徴量を重視して予測値を算出したか」という、モデル内部の計算プロセスの要約に過ぎない。

　問題は、多くのステークホルダー（医師、患者、そして規制当局や法律家）が、この「モデルの挙動の記述」を「現実世界の因果関係の説明」と混同してしまう点にある。Carrieroらが警告するように、予測モデルは因果関係を理解しているわけではなく、データセットに含まれるバイアスや交絡因子、そして偽の相関（Spurious Correlation）までをも忠実に学習する。その結果、XAIは時に、医学的に誤った、あるいは有害な「説明」を尤もらしく提示することになる。この「記述」と「説明」の取り違えこそが、AIガバナンスにおける最大の落とし穴である。

2　「記述・予測・説明」のフレームワーク

　Carrieroらは、Shmueli（2010）の提唱したフレームワークを用い、統計モデリングの目的を以下の3つに分類して整理している。この区分は、法学における「説明義務」の中身を精査する上でも極めて示唆に富む。

　第一に「記述（Description）」である。これは手元にあるデータの要約や、変数間の関連性を定量的に表現することを指す。例えば、「乳がん患者のコホートにおいて、特定の遺伝子変異を持つ群は持たない群よりも予後が悪い傾向にあった」という相関関係の提示である。これはあくまで「データがどうなっているか」を示すものであり、XAIの出力（特徴量重要度など）は、モデルがデータ内のパターンをどう捉えているかを示す「記述」の範疇に属する。

　第二に「予測（Prediction）」である。これは個々の対象について、未知のアウトカム（将来の発症リスクや現在の診断結果）を正確に見積もることを指す。ここでは予測精度が最優先され、内部ロジックが因果関係と合致しているかは問われない。「理由はどうあれ、当たる」ことが正義とされる領域であり、現代のAI（機械学習）の主戦場はここにある。

　第三に「説明（Explanation）」である。これは現象の基礎にあるメカニズム、すなわち因果関係を解明することを指す。「Xを変化させればYがどう変わるか」という因果推論を含む。これにはランダム化比較試験（RCT）や、因果ダイアグラム（DAGs）に基づく厳密な仮定が必要となる。

　決定的な誤謬は、相関関係に基づいて構築された「予測」モデルに対し、事後的なXAIツールを適用することで、「説明（因果）」が得られると錯覚することにある。著者が主張するように、XAIは「モデルがデータをどう見ているか」を記述するツールに過ぎず、生物学的なメカニズム（Why）を説明するツールではないのである。

3　断片化という問題と因果関係の特定―腎臓病予測モデルの事例

　この「記述」と「説明」の乖離がもたらす危険性を、Carrieroらは架空の腎臓病予測モデルを用いた巧みなシミュレーションで示している。

　彼らは、真の因果構造（データ生成プロセス）が既知である合成データを用いて予測モデル（XGBoost）を作成し、SHAP値を用いてその「説明」を生成した。その結果、モデルは高い予測精度（AUROC 0.80）を示したにもかかわらず、XAIが導き出した「説明」は、以下の3つの点において、医学的直感や真の因果とは異なる、あるいは真逆の示唆を含んでいた。

(1) 因果連鎖の中間変数の問題（Intermediate Path）

　真の因果では「喫煙（A）→高血圧（X）→腎臓病（Outcome）」という経路が存在する。つまり喫煙は高血圧を引き起こし、それが腎臓病につながるため、喫煙は腎臓病の真の原因である。

　しかし、モデルにおいて「喫煙」の重要度は極めて低く算出された。これは、モデルが「高血圧」という、より直接的な予測因子（中間変数）に情報を依存させたためである。予測という観点では、高血圧の情報があれば喫煙の情報は冗長（情報の代替性がある）となるため合理的だが、これを見た患者が「喫煙は腎臓病リスクに関係ない」と解釈すれば、禁煙という行動変容の機会を奪うことになる。モデルは「予測に不要」と言っているだけで、「原因ではない」とは言っていないのだが、その区別は専門家でさえ容易ではない。

(2) コライダー・バイアスによる逆説（Collider Bias）

　真の因果では「年齢（B）」が高いほど「腎臓病」のリスクは上がる（正の因果）。しかし、XAIの結果は「年齢が高いほどリスクが下がる（負の相関）」ことを示唆した。

　これは学習データが「入院患者」に限定されていたために生じたバイアスである。若くて入院している患者は、若年での入院を要するほどの重篤な基礎疾患（腎臓病など）を持っている可能性が高い。逆に、入院している高齢者は、腎臓病以外の一般的な理由（骨折や肺炎など）で入院している可能性が含まれる。その結果、データセット内では「若者の方が腎臓病の確率が高い」という逆転現象が起きる。モデルはこの偏ったデータ構造を忠実に学習し、XAIはそれを正確に「記述」したに過ぎないが、これを「説明」として提示されれば、「高齢であることは保護因子である」という医学的に誤った結論を導きかねない。

(3) 未測定の交絡因子と有害な介入（Confounder Path）

　真の因果では「インスリン処方（C）」は腎臓病の原因ではない。しかし、XAIはインスリンを最も強力なリスク因子の一つとして挙げた。

　これは、背後に「糖尿病（Z）」という共通の原因が存在するためである（糖尿病→腎臓病、かつ、糖尿病→インスリン処方）。モデルに糖尿病の診断データが含まれていない場合、AIはインスリン処方を糖尿病の代理変数（Proxy）として利用する。

　ここでの最大のリスクは、介入の誤謬である。医師がこのXAIの結果を真に受け、「腎臓病リスクを下げるためにインスリンの投与を中止する」という判断を下せば、原疾患である糖尿病が悪化し、患者の生命に危険が及ぶ。予測には役立つ変数が、介入のターゲットとしては不適切であるという典型例である。

4　法的責任論への示唆

　以上の事例分析は、AIと法を巡る議論に深刻な問いを投げかける。AIの「説明」を巡る法的構成を再考する必要がある。

　第一に、説明義務（Duty to Explain）とインフォームド・コンセントの実質化である。

　医師法上、あるいは診療契約上の善管注意義務として、医師は患者に対し治療方針やリスクの根拠を説明する義務を負う。もし医師が、上記のようなAIモデルの出力をそのまま患者に伝え、「AIの分析によると、あなたがインスリンを使用していることが腎臓病リスクを高めている主な要因です」と説明した場合、法的に見て説明義務を尽くしたと言えるだろうか。

　形式的には、医師は「使用した診断支援ツールの判断根拠」を正確に伝えている。AI（XAI）の出力という事実は偽っていないからだ。しかし、実質的には、その説明は医学的に誤った因果関係を示唆しており、患者の自己決定権（例えば、インスリン治療を継続するか否か）を侵害するおそれが強い。

　法が求める「説明」が、単なる「アルゴリズムの出力の報告」ではなく、「患者の病態に関する真実性の高い情報の提供」であるならば、相関関係の記述に過ぎないXAIの出力を、あたかも因果関係であるかのように伝達することは、説明義務違反を構成する可能性がある。医師には、AIの提示する「説明」を鵜呑みにせず、医学的知見（因果的妥当性）のフィルターを通して翻訳する高度なリテラシーが求められることになる。

　第二に、過失（Negligence）の判断基準と予見可能性である。

　前述のコライダー・バイアスの例（高齢ほどリスクが低いという誤判定）において、医師がAIの推奨に従い、高齢患者へのスクリーニングを省略して腎臓病を見落とした場合、その過失は誰にあるか。

　一般に、AIは補助ツールに過ぎず、最終判断者の医師が責任を負うとされる。しかし、AIが高い予測精度（AUROC 0.80）を誇り、かつXAIがもっともらしい理由を提示している状況下で、医師がそのバイアスを見抜くことは容易ではない。特にコライダー・バイアスのような統計的アーティファクトは、直感に反する挙動を示すため、専門家であっても誤解に陥りやすい。

　ここで問題となるのは、医師の予見可能性の範囲である。「AIは因果推論を行っていない」という根本的な限界を医師が認識していることが、現代の医療水準として求められるべきか。Carrieroらの論文が示唆するように、Table 2 Fallacy（多変量解析における係数をすべて因果効果とみなす誤り）のような統計的落とし穴は専門的すぎるきらいがあるが、少なくとも「予測モデルの説明を介入の根拠にしてはならない」という原則は、新たな注意義務のスタンダードとなりうる。

　第三に、AI開発者の製造物責任（Product Liability）と表示上の欠陥である。

　AIプログラムが製造物責任法の対象となるか（「動産」該当性）については議論があるが、少なくとも不法行為責任の文脈において、開発者の責任は問われうる。Carrieroらが指摘するように、モデルが学習データの相関を記述するに過ぎない以上、開発者が「このツールは因果推論には使えない」「提示される重要度は介入の効果を保証しない」と明示（Disclaimer）することは、安全配慮義務の一環として不可欠である。

　しかし、現実のマーケティングでは、往々にして「AIが病気の原因を特定する」「説明可能なAIにより根拠がわかる」といった過大な宣伝文句が付随する。XAIの限界、特に「記述」と「説明」の境界線を曖昧にしたまま提供することは、ユーザー（医師・患者）に対する「指示・警告上の欠陥」と見なされる余地が生じる。特に、SHAP値のような可視化ツールは、その見た目の分かりやすさゆえに、ユーザーに過度な信頼（Over-trust）を抱かせる「誘導的なインターフェース」となりうるため、開発側には慎重な設計が求められる。

5　雑感

　AIによる予測と、人間が求める理解（因果）の間には、埋めがたい溝がある。Carrieroらの論文は、この溝を現在のXAIツール単体で埋めることは不可能であることを、論理的かつ実証的に示唆している。XAIは、モデルのデバッグや、モデルがどのようなバイアス（例えばコライダー・バイアス）を学習してしまったかを発見するための「記述的ツール」としては極めて有用であるが、それを現実世界の法則を解き明かす「説明的ツール」として崇拝することは危険である。

　法学研究者や実務家にとって重要なのは、「説明可能なAI」という言葉が持つ甘美な響きに惑わされず、その説明が「何を」対象としているのか、モデル内部の統計的相関なのか、現実世界の因果メカニズムなのか、を峻別することである。

　AIが提示するのは、あくまでデータという鏡に映った像の記述に過ぎない。その鏡が歪んでいるのか（バイアス）、それとも像そのものが実体を表しているのか（真の因果）を見極める責任は、依然として人間に、そしてそれを規律する法制度に残されている。AIによる「説明」を法的免罪符とするのではなく、その限界を前提とした制度設計と、統計的・認識論的なリテラシー教育こそが、今求められているのである。

　Jan Beger氏の言葉を借りれば、「真の因果的説明には異なる手法が必要」であり、現在のツールの多くはその基準を満たしていない。この冷徹な事実を直視することから、AIと法の健全な議論は始まるように思える。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。