AIと医療 / シンガポール「AIHGle」と不愉快な真実から考える、システムとしての医療AIガバナンス雑感

0　はじめに

　AIガバナンスの議論は、往々にして抽象的な倫理原則の羅列や、技術的な精度評価に終始しがちである。しかし、人の生命に直結する医療分野においては、AIはもはや未来の技術ではなく、具体的な規制と運用の対象として、極めてシビアな現実の中に置かれている。

　今回は、シンガポール保健省（MOH）、保健科学庁（HSA）、統合医療情報システム（IHiS）が共同で策定したヘルスケアにおけるAIガイドライン（AIHGle）を題材に、AIと法、そして組織ガバナンスの関係性について検討する。とりわけ、開発者（Developers）と実装者（Implementers）の責任分界、動的に変化するAIの法的制御、そしてケーススタディとしてのSELENA+の実践から、医療以外の分野にも通底するAIガバナンスの本質を考察したい。

1　問題の所在　技術の失敗か、システムの失敗か

　医療AIにおける最大のリスクは、アルゴリズム単体の精度不足よりも、それを包含する臨床システム全体の不全にある。AIが急速に進歩する中で、シリコンバレー的なMove fast and break thingsという哲学は、患者の安全が最優先される医療現場では決して許容されない。すべての臨床判断は、患者、臨床医、そしてその結果を支える機関へとつながる責任の連鎖の中に位置づけられているからである。

　ここで留意すべきは、AIガバナンスの議論がイノベーション対安全性という単純な二項対立に陥るべきではないという点である。真の問いは、変化することを目的としたシステムを、患者が存在し続ける中でどのように統治するかにある。

　医療機器規制において、従来は固定された製品を前提とした時点承認（Point-in-Time Approval）が一般的であった。しかし、学習を継続し変化し続けるAIに対し、この静的な規制モデルは限界を迎えている。米国FDAが所定変更管理計画（PCCP）を導入し、変化を予測・制限・監視する枠組みを模索し、英国NICEが臨床リスクに応じたエビデンス要件のスケーリングを行っているのと同様に、我々は変化を前提とした法制度と契約実務を構築する必要に迫られている。

　一方で、中国のようにAI医療ソフトウェアの多くを高リスクデバイスに分類し、PIPLの下で国内のデータ主権と密接に連携させることで、ガバナンスを中央集権的かつ機関中心とし、個人の裁量よりも集団レベルの管理を優先するアプローチもある。各国の法制度が試行錯誤を続ける中、シンガポールのAIHGleは、臨床現場のリアリズムに立脚した分散型かつ協働型のガバナンスモデルを提示しており、極めて示唆に富む。

2　開発者と実装者の峻別と「責任の連鎖」

　AIHGleにおいて特筆すべき点は、AI医療機器（AI-MD）に関わるステークホルダーを開発者と実装者に明確に区分し、それぞれの役割と責任を定義していることである。

　ソフトウェアの不具合による損害賠償責任は、開発ベンダーの製造物責任や契約不適合責任として議論されることが多い。しかし、AIHGleは、医療機関を実装者と位置づけ、AIの採用決定から運用監視に至るまで、極めて重い責任を課している。AI-MDの導入決定は、組織のリーダーシップ層によって承認・文書化される必要があり（5.2.2）、単なる備品購入の決裁とは一線を画す臨床ガバナンスの行使が求められる。

　この責任分界を実効あらしめるために、AIHGleは開発者と実装者の間でサービスレベル契約（SLA）を締結することを推奨している（3.1）。これは単なる商用契約にとどまらず、法的責任の所在を明確化する装置として機能する。ガイドラインでは、SLAに含めるべき項目として以下のような具体例を挙げている。

　Design（設計）では、意図された用途に対する臨床的インプットの提供、トレーニングデータの適切性が含まれる。Build（構築）では、開発プロトコルと参照基準の文書化が求められる。Test（テスト）では、AIモデルの評価と検証、患者が現状より悪化しないことの保証が必要となる。Use（使用）では、AI導入の承認権限、運用ワークフロー、スタッフ教育が対象となる。Monitor（監視）では、パフォーマンス評価とグラウンド・トゥルースの確認が行われる。Review（レビュー）では、有害事象やエラー発生時のアドホックなレビュー体制が整備される。

　このように、SLAを通じて誰が、何を、どこまで保証するのかを事前に合意形成しておくことは、法的紛争の予防のみならず、臨床現場における役割分担の明確化という意味で、システム安全性の要となる。

3　「グラウンド・トゥルース」と「No Worse Off」基準

　AIHGleが提示するもう一つの重要な概念がグラウンド・トゥルースの確認である。これは、開発環境でのテストデータに基づく性能数値を鵜呑みにせず、実際の配備環境においてAIの挙動を追跡・検証することを指す。

　開発データセットと、実際の病院の患者データや撮影機器の間には、必ずと言っていいほど乖離（ドメインシフト）が生じる。そのため、実装者は配備時点でAIを追跡し、配備ベースラインを決定しなければならない（5.2.4）。

　ここで法的・倫理的な閾値となるのがNo Worse Offという基準である。もし、配備ベースラインが現行の標準的な診療のパフォーマンスを下回る場合、そのAIは患者をより悪い状態にするリスクがあるため、配備してはならないと明記されている。

　また、導入後もモニター＆レスポンスのフェーズが続く。モデルドリフトを検知するために、定期的にAIの判定結果をサンプリングし、人間の専門家が再評価を行う。そして、パフォーマンスが閾値を下回った場合のエスカレーションパスをあらかじめ設計しておくことが求められる。これは、システムは失敗するという前提に立ち、失敗を検知し、安全に停止させる手順を組み込むことこそが、医療AIガバナンスの要諦であることを示している。

4　動的なAIの制御　「並行学習」と合成データ

　AIの最大の特徴であり、同時に法的な不安定要因となるのが継続的な学習である。運用中にデータを取り込み、アルゴリズムが自己変容していく場合、当初の承認時点での性能や挙動が維持される保証はない。

　この問題に対し、AIHGle氏は並行学習という極めて実務的なアプローチを支持している（6.1.3）。これは、臨床現場で実際に患者の診断・治療に使用するのはロックされたモデルとしつつ、バックグラウンドで適応モデルに学習を継続させるという手法である。

　この仕組みであれば、患者の安全は固定モデルによって担保され、一方でAIの進化はオフラインで進行する。そして、十分に検証された段階で、ロックされたモデルを新しいバージョンに更新する。法的な観点からも、このアプローチは合理的である。制御不能なリアルタイム学習による事故のリスクを回避しつつ、アップデートのタイミングで人間による監査と承認を介在させることができるからである。

　また、近年注目される合成データについても、AIHGleは慎重かつ前向きな指針を示している。GANなどで生成された合成データは、プライバシー保護の観点から有用であるが、現実の病態を完全に再現できるわけではない。ガイドラインは、合成データを使用する場合、それが合成であることを明記し、作成方法や時期を文書化すること、そして臨床医によって臨床的に実行可能であると検証されることを条件としている。

5　「Googleマップ効果」と説明責任

　特に興味深いのがGoogleマップ効果と呼ばれるスキル低下の問題である。2025年のLancet誌の研究で示されたように、長期間のAI支援を受けた後、医師の単独での検知率が低下するという現象は、専門職の責任論に新たな論点を投げかける。

　もし、医師がAIに依存しすぎた結果、AIなしでは適切な診断ができなくなった場合、その医師は善管注意義務を果たしていると言えるであろうか。あるいは、AIの提示した誤診を看過した場合、それは過失となるのか。

　AIHGleは、AIを副操縦士として位置づけ、ガバナンスはAIを支えるものではなく、人間を支えるものであるべきだとする。これは、AI導入後も人間がループの中に留まり続け、AIの判断を批判的に検討できる能力を維持しなければならないことを意味する。

　実装者には、単にAIを導入するだけでなく、スタッフがAIの限界を理解し、AIが機能不全に陥った際に速やかにアナログなプロトコルへ切り替えるためのコンティンジェンシープランを遂行できるよう訓練する義務がある（5.3.4）。ここにおいて、説明責任と臨床判断が交差する。AIがどれほど優れていようとも、最終的に患者に触れ、結果に責任を負うのは人間であるという原則は揺るがない。

6　ケーススタディ　SELENA+に見るガバナンスの実践

　AIHGleの原則論がいかに実践されているかを知る上で、シンガポールで開発・承認された糖尿病網膜症スクリーニングAIであるSELENA+の事例（Part 8）は非常に参考になる。

　SELENA+は、シンガポール国立眼科センター等の研究者と臨床医が共同開発したディープラーニングシステムであり、HSAによりクラスB医療機器として承認されている。この事例からは、以下のガバナンスの実践が見て取れる。

　第一に、デザイン段階での臨床医の関与である。網膜専門医が開発チームに参加し、臨床的課題の定義やデータセットの代表性確保に関与した。データセットは、シンガポールの多民族のデータを反映しているが、一方で重症度分類機能がないことや、特定の人口層への偏りがあることを制限事項として認識・文書化している。

　第二に、説明可能性への現実的なアプローチである。ヒートマップなどの可視化技術が未成熟であることを認め、代わりに感度・特異度80%以上という臨床的に受容可能な性能基準を満たすことを重視した。これは、理想論よりも実利的な安全性を優先する姿勢の表れである。

　第三に、実装段階の厳格なガバナンスである。導入にあたり、ポリクリニックの臨床サービスディレクターなどを含むリーダーシップ層が承認プロセスに関与し、意思決定を文書化した。また、SELENA+の判定結果の一部を毎日自動的に人間のグレーダーにエスカレーションし、継続的なモニタリングを行っている。

　SELENA+の事例は、完璧なAIを目指すことよりも、不完全さを前提とした運用フローの構築こそが、実社会における安全性の正体であることを如実に物語っている。

7　おわりに

　シンガポールのAIHGleは、医療AIに限らず、企業におけるAI活用全般に対して重要な示唆を与えている。

　第一に、開発者とユーザーの間のSLAによる責任分担の明確化である。AI製品は納品して終わりではなく、導入環境での継続的なモニタリングと調整が不可欠なサービスとしての性質を帯びる。

　第二に、AIの進化を安全に取り込むためのプロセスの設計である。並行学習のように、イノベーションを阻害せず、かつリスクをコントロールする実務的な工夫が求められる。

　第三に、人間のスキル維持という観点である。AIは業務を効率化するが、人間の判断能力を奪ってはならない。

　重要なのは、システムを展開した後、毎日監視し、修正し、所有し続けられるかどうかである。適切に管理されたAIは、バージョン管理や監査証跡といった地味な機能によって支えられている。

　法とAIの交差点において求められているのは、魔法のような新しい技術への法的規制ではなく、不完全な技術と人間が織りなすシステム全体を、いかに強靭かつ柔軟に設計し、責任を配分するかという、極めて泥臭い実務の集積に他ならない。

（参考）

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。