LLMに文章を評価させると「甘口」になる？

LLMが作成した成果物を自動的かつ定量的に別のLLMに評価させる手法を「LLM-as-a-judge」と呼びますが、今回の研究は、LLMが生成した感染予防や抗菌薬耐性（以下、AMR）に関する健康情報をLLM-as-a-judgeで評価すると、どのような結果になるかを検証したものになります。

研究の方法

1. 人間の専門家と3種類のLLMを比較する

今回の研究は、過去に作成されたデータセットを利用した二次解析です。元の研究 [1] では、複数のLLMに感染予防や抗菌薬適正使用に関する健康情報を作成させ、それらを3人の専門家が評価しています。

著者らは、元の研究と同じ文章をGPT-5.2、Gemini 3 Pro、Claude Sonnet 4.6に評価させ、どのような傾向が見られるかを検証しました。

2. 文章の評価

各文章は、内容を一部調整したDISCERN（一般的な患者さん向けに書かれた治療情報の質を評価するための質問票）の内容に基づいて、以下の5つの領域が評価されました。

1. 情報の信頼性

2. 情報の質

3. 説得力

4. AMR対策への貢献

5. 総合評価

点数は、1点（Poor）から5点（Excellent）までの5段階となっています。

また、LLMの評価が人間の評価や生成元（のLLM）の情報に影響されることを防ぐため、LLMには匿名化された文章と採点基準だけが渡されました。

結果

1. LLMは人間より高い点数をつける傾向があった

人間の専門家による合計点の中央値は16点、四分位範囲は13～17点でしたが、3種類のLLMがつけた点数の中央値は以下の結果となり、いずれも人間より高めの点数をつける傾向がありました。

• Claude Sonnet 4.6：18点、四分位範囲17～19点

• Gemini 3 Pro：18点、四分位範囲17～20点

• GPT-5.2：19点、四分位範囲15～21点

また、点数の分布（Table 5）を見てみると、人間の専門家は全505点（文章101種類×5点分）のうち11.7％に1点をつけていましたが、Claude Sonnet 4.6とGemini 3 Proは一度も1点をつけることはなく、GPT-5.2も1点をつけたのは1.4%でした。
この結果に加えて、3種類全てのLLMが人間より高い割合で4点または5点をつけていたことも踏まえると、LLMは明確に低い評価を避け、GoodまたはExcellentに評価を寄せる傾向があると読み取れます。

2. 様々な条件を調整しても、LLMの評価は高くなる傾向があった

著者らは、評価項目（領域）や文章の違いによる影響をできるだけ取り除いた状態でも人間とLLMの評価に差が現れるのかを検証したところ、先程と同様、3種類のLLMは人間より高い点数をつける傾向があることが示唆されました。

• Claude Sonnet 4.6：OR 3.92（p < 0.001）

• Gemini 3 Pro：OR 5.73（p < 0.001）

• GPT-5.2：OR 4.35（p < 0.001）

著者らはこの結果から、「LLMには文章を人間より好意的に評価する傾向（optimism bias）がある」と解釈しています。

3. LLMはAMR対策への貢献を特に高く評価したが、領域によっては人間より厳しい評価をする傾向があった

Table 4を見てみると、LLMはAMR対策への貢献（D4）において、特に人間より高く評価する傾向がありました。
著者らはこの結果に関して、「個々のORの大きさより、LLMがAMRへの貢献を一貫して高く評価したという傾向を重視する必要がある」と述べています。

ただし、他の領域を見てみると、以下のような傾向が見られました。

• 説得力の評価（D3）では、Claude Sonnet 4.6とGemini 3 Proが人間より高い点数をつける傾向がありましたが、GPT-5.2と人間の評価との間には有意差が認められませんでした。

• 情報の質（D2）では、Claude Sonnet 4.6とGemini 3 Proは人間より高い点数をつけにくかったことが示唆されており、情報の質を厳しく評価していたことが読み取れます。一方、GPT-5.2と人間の評価との間には有意差が認められませんでした。

これらの結果から、3種類のLLMは、どのような領域でも一律に人間より高めの評価をするというわけではないことが示唆されました。

注意点

• 今回のLLMは、一般的にユーザーが生成AIを使用するときと同様の環境（ブラウザ）で動いています。

• 人間とLLMの評価の違いは、LLMの評価が客観的に誤っていたことを意味するわけではありません。

• LLMが誤情報を見逃した割合は示されていません。

• LLM-as-a-judgeによる作業時間の削減などの効果は、検証されていません。

Shi, P et al. （2026）の知見とも共通する部分がある

こちらの記事はShi, P et al.（2026）の内容を解説した記事になりますが、Shiらの研究と今回の研究の示唆を踏まえると、「AIによる評価の一貫性や人間の評価との一致率を、そのまま評価の正確さと関連づけるべきではない」という教訓が得られます。

まず、LLMの回答の一貫性が正確性を担保している保証はありません。単に誤った知識を出力しているだけかもしれませんし、仮に理想的な回答であったとしても、状況によっては不適切になる可能性もあります。
そして、人間の評価が正確（適切）である保証もありません。人間の評価と一致していても誤っている可能性がありますし、人間の評価と一致していなかった場合でも、人間では気づけなかった部分をLLMが的確に指摘している可能性もあります。

なので、出力の内容が正確かどうかを評価するときに、「回答の一貫性」や「人間の評価との一致」といった材料を考慮するのではなく、回答の内容自体を精査して判断するようにしましょう。

生成AIからの評価は、参考程度に

私も過去に、特に何も考えずに「私の文章を評価してください」と生成AIに指示をしていたことがありますが、そういった場合に返ってくるのは基本的には甘めの評価で、大体「主張の方向性は妥当です。一方、正確性を高めるには、次の4点を修正すると良いでしょう。」みたいなことを言われます。

ただ、逆に「厳しく評価してください」と言えば客観的な評価になるのかと言われると、そういうわけでもありません。問題点をもれなく指摘してくれるかもしれませんが、場合によっては、本来高く評価されるべき文章が不当に低く評価されてしまう可能性があります。

今回の研究でも、LLM-as-a-judgeは、LLMの種類や評価の領域によって人間とは異なる評価をする傾向があることが示唆されました（どちらの評価が適切かは別として）。
なので、生成AIの評価はあくまで参考程度にとどめ、あまり鵜呑みにしないようにしましょう。

参考資料

[1] Di Pumpo et al. (2025). Large language models as information providers for appropriate antimicrobial use: computational text analysis and expert-rated comparison of ChatGPT, Claude and Gemini. BMJ Health & Care Informatics, 32(1), e101632

[2] Shi, P et al. Physicians and artificial intelligence diverge in evaluating large language models on real clinical cases. npj Digital Medicine. (2026).

最後までお読みいただき、ありがとうございました。
Webサイト「薬剤師のためのAIノート」も、是非ご覧ください。

記事に関する内容以外のお問い合わせは、以下のフォームよりお願いいたします。

また、書籍「超知能時代の調剤薬局」発売中です。
Kindle Unlimited会員の方は無料で読むことができます。