見出し画像

AIは、人間の医師の評価を再現できるか

濱口貴光@AIとデータサイエンスが好きな薬剤師

医療分野のLLMは、これまでMedQAやPubMedQAなどの「正解があらかじめ用意されたベンチマーク」を用いて評価されてきましたが、これらのベンチマークで高得点を記録したLLMが、臨床現場において必要な能力を兼ね備えているかどうかは別問題です。

そのため、医療分野のLLMの評価には実際の医療従事者による評価も必要と考えられていますが、それを実施するには多くの時間と費用がかかります。
そこで今回の研究では、医師の経験レベルなどを設定したAIエージェントを評価者として使用し、人間の医師による評価を再現できるかが検討されました。


研究の方法

1. 症例と、評価対象になったLLM

今回使用された7つの症例は、専門医による合議または多職種カンファレンスによって、確定診断と標準的な治療方針が設定されたものが採用されています。

また、評価対象となったLLMは、GPT-4o、Claude 3.5、Qwen-Max、DeepSeek-R1、OpenAI o1の5種類です。
これらすべてのLLMに、同一の症例情報が同じ順序で入力され、共通のプロンプトが使用されました。

2. 人間の医師による、LLMの回答の評価

研究には450名の医師が参加し、そのうち事前に定めた基準を満たした421名の回答が解析されました。

今回の研究では、医師は経験年数によって以下の3群に分類されています。

  • 経験1～3年の若手医師：252名

  • 経験4～14年の中堅医師：127名

  • 経験15年超のベテラン医師：42名

各医師には自分の専門分野に対応する1つの症例が提示され、その症例について提示された5つのLLMが作成した回答を比較・評価しました。
その際、順序バイアスによる影響を回避するため、回答の提示の順序は評価者ごとにランダムになるように設定されています。

なお、評価者には症例情報だけでなく、確定診断も提示されています。そのため、この研究は「どのLLMが正しく診断できたか」を比較したものではなく、それぞれのLLMが作成した症例の解釈や治療方針の提案について、どの回答が優れているかを評価した研究であることに注意が必要です。

3. AIエージェントによる評価

医師と同じ数の421個のAIエージェントも、人間の医師と同様の条件で各症例を評価しました。
今回の用意されたAIエージェントには、「若手」「中堅」「ベテラン」といった、医師の経験レベルなどの属性があらかじめ設定されています。

4. 評価項目

医師とAIエージェントは、LLMの回答を以下の6項目で評価しました。

  • 網羅性：症例を検討するうえで必要な情報や論点が、十分に含まれているか

  • 一貫性：回答の内容に矛盾がなく、説明の流れが論理的につながっているか

  • 正確性：知識、診断、検査、治療法などが正しいといえるか

  • 臨床現場における有用性：実際の診療で参考になり、次の行動につなげられる内容か

  • 安全性：患者さんに何らかの形で悪影響を与える提案が含まれていないか

  • 文章の構成：情報が整理され、読みやすく提示されているか

その後、各評価項目について5つのLLMを1位から5位までランク付けして、以下のルールで点数に変換されました。

  • 1位：100点

  • 2位：75点

  • 3位：50点

  • 4位：25点

  • 5位：0点

結果

1. 医師の経験年数によって順位は変わり、人間とAIとでは高評価になるLLMの選び方が異なっていた

Figure 2：人間の医師による評価
出典：Shi, P., Li, J., Yang, Z., et al. “Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases.” npj Digital Medicine (2026), Fig. 2. https://doi.org/10.1038/s41746-026-02942-6.CC BY-NC-ND 4.0に基づき、改変せず転載。
Figure 6：AIエージェントと人間の医師の評価の乖離
出典：Shi, P., Li, J., Yang, Z., et al. “Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases.” npj Digital Medicine (2026), Fig. 6. https://doi.org/10.1038/s41746-026-02942-6.CC BY-NC-ND 4.0に基づき、改変せず転載。

医師の経験年数（若手、中堅、ベテラン）別に見ると、若手医師はQwen-Maxを比較的高く評価していましたが、ベテランの医師の場合は一貫性、正確性、臨床現場における有用性などの項目で、GPT-4oやDeepSeek-R1が相対的に高く評価される傾向がありました。
この結果から、医師は全員が同じ基準でAIの回答を評価しているわけではなかったということが読み取れます。

また、AIエージェントの評価を見てみると、人間の医師からはあまり高い評価が得られなかったOpenAI o1を高く評価する傾向があり、人間とAIとでは高評価になるLLMの選び方が異なることが示唆されました。
一方でClaude 3.5は、6項目すべてにおいて医師とAIエージェントの双方から低く評価される結果となりました。

ただし、この結果は特定の症例、特定のプロンプト、特定のバージョンのLLMによるものなので、「Claude 3.5は医療全般で劣る」と一般化することはできません。

2. 全体の順位は、人間とAIである程度類似していた

Figure 5：AIエージェントと人間の評価の一致度
出典：Shi, P., Li, J., Yang, Z., et al. “Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases.” npj Digital Medicine (2026), Fig. 5. https://doi.org/10.1038/s41746-026-02942-6.CC BY-NC-ND 4.0に基づき、改変せず転載。

医師とAIエージェントは、最も高評価となったLLMには違いがありましたは、5つのLLM全体の順位を見ると大まかな順位は類似していました。
実際、評価者間の評価の一致度を示すKendallの一致係数 W = 0.798（p = 0.0219）となっており、全体順位は比較的一致率が高かったと考えられます。

ただし、この結果は個々の症例や個々のLLMについて、医師とAIエージェントが同じ判断をしたことを意味しているわけではないことに注意が必要です。
言い換えると、AIエージェントは「人間の医師の大まかな評価の順序」を推定できる可能性はあるものの、最も高く評価するLLMを選定する場面では、医師と異なる結論を出す可能性があるということです。

3. 勤務地の環境でも評価が変わった

Figure 3：勤務地の環境による評価の差
出典：Shi, P., Li, J., Yang, Z., et al. “Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases.” npj Digital Medicine (2026), Fig. 3. https://doi.org/10.1038/s41746-026-02942-6.CC BY-NC-ND 4.0に基づき、改変せず転載。

平地地域の医師は、網羅性や臨床現場における有用性についてGPT-4oやQwen-Maxを高く評価する傾向がありましたが、高地地域の医師は複数の項目でOpenAI o1を比較的高く評価しました。
いくつかの項目は、有意差も確認されています（Figure 3 アスタリスク）。

著者らはこの結果を受けて、「医師が働いている環境によって、AIの回答に求めているものが変わる可能性がある」ことを示唆しています。

4. AIエージェントの評価は概ね一貫していたが、医師の評価は様々だった

先程の結果 1. で提示したFigure 6を見てみると、経験年数（経験レベル）が違っても順位が一致したのは医師の場合は30組中1組（3.3%）だけでしたが、AIエージェントの場合は30組中23組（76.7%）となりました。

つまり、AIエージェントに「ベテラン医師」という設定を与えても、本物の医師が長年の経験で身につけた感覚を再現できるとは限らないことが示唆されました。

注意点

  • 症例数は7種類のみであったため、特定の症例の性質が順位に強く影響した可能性があります。

  • 今回の研究で測定されたのはあくまで評価者の「選好」であり、どの評価が臨床現場において適切であったかまでは検証されていません。

  • 乱暴な言い方をすれば、今回の評価は1位を100点、2位を75点といった形で点数に変換して計算しているため、1位と2位の差がわずかであったとしても、逆に差が相当大きかったとしても、「25点の差」ということになります。

  • 今回の論文は最終編集前の原稿になりますが、論文の図表・数値に一部矛盾があります。

重要なのは、どのLLMが好まれやすかったかではなく…

今回の検証は恐らく2025年前半〜秋頃に行われたものと推測でき、採用されたLLMは2026年7月11日現在いずれもレガシーモデル（過去のモデル）なので、「現在のLLMなら、医師の評価も一致しやすいのでは？」「現在の技術でAIエージェントを設計し直せば、医師の評価をより正確に再現できるのでは？」と思われるかもしれません。

もちろんその可能性は十分考えられますが、個人的に今回の結果の中で最も重要だと思ったのは、「医師の経験や日常的に勤務している環境によって、症例の解釈・治療方針の提案の評価の基準が変わってくる可能性がある」という点です。

医師に限った話ではありませんが、若手とベテランとでは同じ内容を見ても注目するポイントが異なる可能性がありますし、「教科書的に正解である回答」と「自分が置かれている環境にとって最適な回答」が同一であるとは限りません。
つまり、将来的に高性能なLLMを用いてAIエージェントを再設計したとしても、「医師の評価との一致率が高くなった」という結果だけで、人間の医師の評価を再現できると標榜するのは難しい可能性があります。

AIは基本的に「book smart」

最近のAIの知識量は膨大で、それは医学・薬学領域の知識に関しても例外ではありません。ゆえに、純粋な知識量だけで言えば、AIより豊富な専門知識を持っている人間の薬剤師は存在しないと言っても過言ではないでしょう。

ただ、そのようなAIが現場で常に完璧なアドバイスを飛ばせるのかと言われると、話が変わってきます。
調剤薬局でも「薬剤師国家試験に高得点で合格できるレベルの生成AI」を気軽に活用することが出来ますが、そのような生成AIであっても、以下のような数値化することが難しい部分を踏まえて柔軟にアドバイスするのは、恐らく難しいでしょう。

  • 薬局まわりの環境（土地柄や、近隣の医療機関・処方医の考え方など）

  • 薬局内の状況（経営理念、業務フロー、人員配置、調剤内規など）

  • 患者さんの性格、思想・信条、家庭環境、社会的立場など

以前別の記事でも紹介しましたが、AIのように知識が豊富で「勉強ができる」状態のことを「book smart」、状況に応じた立ち回りが上手く、機転が利くような状態のことを「street smart」といいます。
先程も述べた通り「教科書的に正解である回答」と「自分が置かれている環境にとって最適な回答」が同一であるとは限らないので、薬局内で生成AI等を活用する場合は、「AIは基本的にbook smartである」ということを前提に活用すると良いでしょう。

そして我々人間側は、薬局内の状況を把握しつつstreet smartに動けるようになりましょう。

最後までお読みいただき、ありがとうございました。
Webサイト「薬剤師のためのAIノート」も、是非ご覧ください。

記事に関する内容以外のお問い合わせは、以下のフォームよりお願いいたします。

また、書籍「超知能時代の調剤薬局」発売中です。
Kindle Unlimited会員の方は無料で読むことができます。


いいなと思ったら応援しよう！