見出し画像

大規模言語モデル(LLM)による文献スクリーニングの効率化：最新研究動向と実践的プロンプトの解説

genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請

はじめに

システマティックレビューにおいて、質の高いエビデンスを構築するためには、適切な文献のスクリーニング（選別）作業が不可欠です。しかし、このプロセスは膨大な数の論文を対象とするため、多大な時間と労力を要し、研究のボトルネックとなることが少なくありません。

近年、AI技術、特に大規模言語モデル（LLM）の発展は目覚ましく、この文献スクリーニング作業の自動化・効率化への応用が期待されています。LLMを適切に活用することで、スクリーニング時間の短縮、ひいては研究全体の加速化に繋がる可能性があります。

本稿では、

  • LLMを用いた文献スクリーニングに関する最新の研究動向を詳細に解説します。

  • スクリーニングの精度と効率を最大化するためのプロンプト設計のポイントを、具体例を交えながら提示します。

  • さらに、今回の調査結果に基づき、システマティックレビューの実践で活用可能なプロンプト例を紹介します。

  • 本調査は、OpenAIの検索ツールであるDeep Researchを活用し、信頼性の高い情報収集を行いました。

本稿を読むことで、以下のメリットが得られます。

  •  LLMを活用した文献スクリーニングの可能性と限界を理解できる。

  • 各研究テーマに最適化されたプロンプトを作成するための具体的な指針が得られる。

  • 文献スクリーニングに要する時間と労力を削減し、研究効率を向上させることができる。

  • スクリーニング精度の向上により、システマティックレビュー全体の質を高めることができる。

LLMの可能性を最大限に引き出し、文献スクリーニングの課題を克服することで、研究活動をより効率的かつ効果的に進める一助となれば幸いです。

調査結果を元に作成したプロンプトは以下です。

あなたは、システマティックレビューのための文献スクリーニングを専門とする研究アシスタントです。以下の指示と基準に従い、提示された論文がレビューに含めるべきか除外すべきかを厳密に判断してください。

**タスク**: 以下の論文について、段階的に評価を行い、最終的な判断とその理由を提示してください。

**ステップ1：研究対象の確認**

*   基準: [研究対象を非常に詳細に記述 例：18歳以上で、医師により2型糖尿病と診断され、過去6ヶ月以内にHbA1c値が7.0%以上、かつBMIが25以上の患者]
*   質問: この論文の研究対象は、上記の基準を**全て**満たしていますか？ 回答は「はい」「いいえ」「不明」のいずれかで答えてください。
*   論文情報：
    *   タイトル: {論文タイトル}
    *   アブストラクト: {論文アブストラクト}
    *(利用可能であれば：対象者数: { }、平均年齢: { }、性別比率: { }などを追加)*

**ステップ2：介入の確認**

*   基準: [介入内容を非常に詳細に記述 例：スマートフォンアプリを用いた糖尿病自己管理教育プログラムで、少なくとも4週間以上の介入期間があり、週に1回以上の頻度で利用が確認されているもの]
*   質問: この論文の介入は、上記の基準を**全て**満たしていますか？ 回答は「はい」「いいえ」「不明」のいずれかで答えてください。
    *(利用可能であれば：介入期間: { }、介入頻度: { }などを追加)*

**ステップ3：アウトカムの確認**

*   基準：[主要評価項目を詳細に記述 例：主要評価項目としてHbA1cの変化量を報告しており、ベースラインと介入終了後の両方の値が明記されていること]
*    質問: この論文のアウトカムは、上記の基準を**全て**満たしていますか？回答は「はい」「いいえ」「不明」のいずれかで答えてください。
    *(利用可能であれば：主要評価項目: { }、測定時期: { }などを追加)*

**ステップ4: 研究デザインの確認**
*   基準：[研究デザインを詳細に記述。例：ランダム化比較試験(RCT)であること。ITT解析を行っていることが望ましいが、必須ではない。]
*   質問：この論文の研究デザインは上記の基準を満たしていますか？ 回答は「はい」「いいえ」「不明」のいずれかで答えてください。
    *(利用可能であれば：研究デザイン: { }、盲検化: { }、ITT解析の有無: { }などを追加)*

**最終判断**:

1.  上記のステップ1～ステップ4の全てで「はい」と回答した場合のみ、この論文をレビューに含めるべきと判断し、"Included"と回答してください。
2.  一つでも「いいえ」がある場合は、"Excluded"と回答してください。
3.  「不明」がある場合は、「判断保留」と回答してください。

**回答形式**: 以下の形式で回答してください。

*   **ステップ1**: [はい/いいえ/不明]
*   **ステップ2**: [はい/いいえ/不明]
*   **ステップ3**: [はい/いいえ/不明]
*   **ステップ4**: [はい/いいえ/不明]
*   **最終判断**: [Included/Excluded/判断保留]
*   **理由**: [判断の理由を1～3文で簡潔に説明] (判断保留の場合は、保留理由を具体的に記述)

例：
ステップ1: はい
ステップ2: はい
ステップ3: はい
ステップ4: はい
最終判断: Included
理由: 2型糖尿病患者を対象としたRCTであり、スマートフォンアプリによる介入でHbA1cが有意に改善したと報告しているため。

以下OpenAI Deep Researchの出力です

背景と課題

システマティックレビューやスコーピングレビューでは、膨大な文献のタイトル・アブストラクトを対象基準に従ってスクリーニング（選別）する作業が必要不可欠です。重要な研究を見落とさないよう、通常は2名以上のレビュアーが独立に判定し、合議で不一致を解決する重複スクリーニングが推奨されています。しかし、このプロセスは時間と労力を非常に要し、大規模レビューでは1年以上・数千万円規模のコストがかかる場合もあります。また、人手による判断にはばらつきや見落としが生じ、ヒューマンエラーによる重要文献の取りこぼし（感度の低下）が問題となります。

近年、大規模言語モデル（LLM, Large Language Model）を含む機械学習の進展により、このスクリーニング工程の自動化・効率化が模索されています。2010年代からはSVMやランダムフォレスト、BERT等を用いた文献スクリーニング支援が提案され、能動学習（active learning）により重要文献を優先提示するツール（例：ASReviewやRobotAnalyst）が開発されてきました。従来モデルでは初期に一部文献を人手でラベル付けして学習させる必要がありましたが、GPT-3/4などのLLMはプロンプト次第でゼロショットで判断を下せる柔軟性があります。特に2022年以降、ChatGPTやGPT-4の出現に伴い、LLMを用いた文献スクリーニングの精度・効率を検証する研究が数多く報告されています。以下では直近3年間（おおよそ2021～2024年）の代表的な研究成果を概観し、LLMによるスクリーニングの精度・効率、有効なプロンプト設計、ゼロショット/スモールショット手法の比較、そして判定性能を高めるための最適なプロンプトの特性について整理します。

LLMを用いたスクリーニングの精度・効率に関する研究

LLM（主にGPTシリーズ）を文献スクリーニングに適用した研究では、関連文献を見落とさない感度（リコール）と、不要文献を的確に省く特異度（精度）が主な評価指標となっています。総じて、GPT-4クラスのモデルは非常に高い特異度（90～99%以上）を示す一方、感度は設定や評価法によって60～85%程度と報告されることが多く、人間の慎重な作業と比べると一長一短です。例えば、Oamiら（2024年）は5つの系統的レビュー課題でGPT-4（Turbo版）のタイトル・アブストラクト判定能力を診断し、統合感度75%、特異度99%と推定しました。これは「見落としが25%発生しうる」ことを意味しますが、従来法による人間1名での単独スクリーニングでも5～20%の見落としが起こりうることを踏まえると許容範囲との指摘があります。実際、同研究ではLLMの結果を人手による従来法と比較し、統合評価で感度0.75、特異度0.99と「従来法に迫る精度」と結論しています。特異度（不要文献を正しく除外する割合）がきわめて高い点は、多くの研究で共通して報告されています。

一方、感度（関連文献の拾い上げ率）の確保が課題です。Guoら（2024年）はGPT-3.5およびGPT-4 APIを用いて6件・24,000本以上の医学系レビュー文献を対象に検証し、モデルの包括的な精度は91%と高かったものの、包含すべき文献の感度は76%に留まったと報告しました。これは4分の1の関連論文を除外し誤判定したことを意味します。しかし同時に、除外すべき文献の感度（不要文献を正しく除外）は91%と、人間2名の判定一致率（κ=0.46）にも匹敵する高い水準でした。モデルは人手と比較して一貫性に欠ける部分もありましたが（人間同士のκ=0.46に対し、GPTと人間のκ=0.22～0.26程度）、結果の再現性を高める工夫により性能向上の余地が示唆されています。たとえば一部の誤判定例について、GPT自身に理由を説明・再考させるプロンプトを与えたところ、判断を訂正するケースも観察されました。

最新の研究では、GPT-4の潜在能力を最大限に引き出せば人間に匹敵する感度を実現可能なことも示されています。Matsuiら（2024年）はGPT-3.5およびGPT-4を用い、精神科領域の2つの系統的レビュー（総文献数約4500件）で「3層のプロンプト戦略」を試行しました。各候補文献に対し、(1)研究デザイン基準、(2)対象患者基準、(3)介入比較基準の3段階で順次GPTに含有判定を行わせることで、重要文献の見落としを防ぐ手法です。その結果、GPT-4はレビューごとに含むべき文献を100%正しく検出し（感度1.0）、かつ人手と同等以上の特異度（85～99.6%）で大半の非該当文献を除外できました。例えば一つのレビューでは、GPT-4は1381本中6本の重要論文を全て正しく含め、他の不要文献を大幅に削減（31本のみを一次スクリーニング通過と判定）しました。別のレビューでも9本の重要論文を全て見落とさず、約85%の特異度を達成しています。GPT-3.5も高感度でしたが、GPT-4の方が不要文献をより大胆に除去しつつ重要文献は漏らさないというメリハリの効いた判定を示しています。この研究では、GPTモデルが人手のメタ解析結果（含まれた論文の結論）にも影響を与えないことを確認しつつ、自動スクリーニング手法の信頼性を強調しています。

さらに大規模な検証として、Soltanら（2024年）の研究ではCochraneレビュー1号分の全検索結果119,691件を複数のLLMでスクリーニングする実験が行われました。GPT-3.5、GPT-4（複数バージョン）、Claude、Llama2等をゼロショット分類で比較し、最良のプロンプトを模索しています。その一部検証（800本を抽出した検証セット）では、LLMの感度は人間（単独査読者）を上回り、最高で100%のリコールを達成しました。同時に特異度・適合率も人間より高い水準を示し、バランス精度（Balanced Accuracy）がLLM最高0.904に対し人間0.865と、LLMが全体的に人間の単独スクリーニングより優秀であったと報告されています。ただし、LLMはレビューのテーマにより性能のばらつきが大きく、実運用には領域ごとのバリデーションが不可欠と指摘されています。また、全119,691件を最良モデル（GPT-4等）で一括判定させたところ、感度は常に0.756以上と高水準を維持した一方、特異度は低下し適合率（Precision）は0.4～9.6%程度に留まりました。これは関連文献を取りこぼさない設定では 膨大な偽陽性（無関係文献の誤含率） が生じることを意味します。現実的にはLLMの結果をそのまま用いるのではなく、人手との組み合わせで効率化を図ることが重要です。SoltanらはLLM同士あるいはLLMと人間のアンサンブル判定を検討し、66通りの組み合わせを試しました。その結果、「LLM + 人間」あるいは「LLM二重化」の併用で感度100%（見落とし0）を維持しつつ、最大45.8%まで適合率を改善できたとしています。つまり、最終的な人手チェック対象を半分以下に減らしても重要文献は見逃さないワークフローが可能となったわけです。Boesenら（2024年）も類似のアプローチで、2種のLLM判定結果の不一致のみ人手確認するシステムを試し、作業の91%を自動化してエラー率8%に抑えたと報告しています。さらにLLMによる事前スクリーニングで明らかに無関連な文献を除外し、人間が残りを精査する運用では、人間の負担を約55%削減しつつ関連文献の見落としゼロを達成しています。これらの成果は、LLMを賢く組み合わせることでシステマティックレビューの大幅な効率化が現実味を帯びていることを示しています。実際、LLM活用により「従来は1年かかったレビューを数時間で完了させることも可能」との報告もあり、コスト面でもAPI利用料はわずか数十ドル程度（例：約1.5万件の判定に25ドル）と試算されています。

もっとも、LLMの現時点での能力には限界も指摘されています。Mahuliら（2023年）はGPT-4による英語文献スクリーニングの包括的評価を行い、「一見人間並みに見える精度も、データ不均衡や偶然一致を補正すると人間に劣る場合が多い」と報告しました。特に学術論文の英語本文については、GPT-4の全文判定精度は低く（感度67%程度）、灰色文献や非英語文献では中程度の性能に留まるとしています。一方で、プロンプト設計を工夫し高信頼な入力を与えれば、限定的な条件下では人間に迫る「ほぼ完全な」パフォーマンスも発揮できるとも述べられています。このように、LLMの有効性に関する報告は課題の種類や評価法によって「有望」と「慎重」が混在する状況です。2024年末のスコーピングレビューでは、システマティックレビュー工程へのLLM適用研究37件中、約半数が肯定的な成果を示しつつも、残り半数は限定的な有用性や問題点を指摘しており、依然発展途上であると結論付けられました。したがって現在のエビデンスは、「LLMは人間のレビュアーを直ちに置き換えるものではないが、工夫次第で作業負担を劇的に軽減しうる強力な支援ツールになり得る」ことを示していると言えます。

スクリーニングに適したプロンプト設計と手法の比較

LLMの性能を最大限に引き出すには、プロンプト（入力指示文）の工夫が極めて重要です。各研究で試行錯誤されたプロンプト設計には以下のような特徴が見られます。

  • 明確な指示と判定基準の提示: モデルに与えるプロンプトには、レビューごとの包含基準（Inclusion Criteria）と除外基準（Exclusion Criteria）を箇条書きで示し、それに厳密に従って判定するよう指示する方法が一般的です。例えばGuoらの研究で用いられたプロンプトでは、「以下の基準に照らし、タイトル・Abstractを厳密に精査せよ。除外基準に一つでも該当、または包含基準を満たさない場合は“除外”、全て満たす場合のみ“包含”と判断しなさい。回答は“included”または“excluded”の一語のみとせよ」といった明示的な指示が与えられています。このように出力フォーマットを単純化（Yes/NoやInclude/Excludeのみ）することで、LLMの迷走や冗長な回答を防ぎ、判定結果を自動集計しやすくしています。

  • ゼロショット vs. スモールショット: ほとんどの研究は上記のようなゼロショット設定（例示なしで指示のみに基づき判定）を採用しています。LLMにいくつかの例示を与えるFew-shotプロンプトも理論上は可能ですが、文献スクリーニングでは判定基準が毎回異なるため事前の汎用例示が難しいこと、プロンプト長制約の中でAbstract本文と複数の例示を併記するのは現実的でないことから、実務上はゼロショット指示が用いられています。代わりに、汎用的な前処理としてBERTなどのTransformerモデルで埋め込み表現を計算し、質問と文献の類似度スコアを与えるといった工夫が提案されています。しかし最新のGPT-4では、こうした追加情報がなくとも自然文で基準を提示するだけで相当な性能を発揮することが確認されました。Akinseloyinら（2024年）は、包含基準ごとに質問形式でAbstractに照会する新しいゼロショット手法を提案し、選択基準をそのままモデルへのクエリ（質問）として用いることで判定性能が向上することを示しています。例えば「このAbstractはプロトコルの選択基準を満たしていますか？」とLLMに問わせ、その回答を再ランキングすることで関連文献の優先度をつけるアプローチです。この質問応答（QA）型フレームワークは、LLMのゼロショット能力を活かした有望な方法といえます。

  • プロンプトの分割と逐次判定: 判定基準が複雑な場合、一度に全ての条件を判断させるよりも、基準ごとに段階的にチェックする方が精度向上につながるとの報告があります。前述の3層プロンプト法（Matsuiら2024年）はその好例で、研究デザイン・対象集団・介入という3項目にプロンプトを分割し、順にふるい落としを行いました。この方法により、各ステップでの判断根拠が明確になり、見落としを最小限に抑えつつ不要文献を効率よく除外できます。一方で、プロンプトを細切れにしすぎるとモデルが文脈を見失う可能性もあります。Mahuliら（2023年）は、当初タイトル一覧だけを与えて判定させたり基準を個別のメッセージで提示したりする実験を行いましたが、タイトルだけでは誤判定が増えること、基準とAbstractを別メッセージにすると一貫性が低下することを報告しています。そのため、基準とテキストは同じプロンプト内で提示し、かつ一度に処理させる文献数も数件程度に留めることで安定性が向上したと述べています。プロンプトの設計にはモデルの挙動に合わせた微調整が必要であり、適切な情報量と分割方法を見極めることが重要です。

  • 理由付けやフィードバックの活用: LLMはしばしば推論過程をテキストで説明できるため、これを活用したフィードバックループも試みられています。Guoらの研究では、GPTに対し誤判定したケースについて「なぜ誤って除外（または包含）と判断したのか理由を説明せよ」と追加プロンプトを与えました。その結果、モデル自身が基準の誤解に気付き回答を訂正した例があったと報告されています。これは、チェーン・オブ・ソート（思考の連鎖）やセルフリフレクションといったプロンプト戦略によってモデルの精度向上を図る一種のフィードバック手法です。即ち、初回の回答をそのまま受け入れるのではなく、モデルに自己検証させる追加プロンプトを設けることで誤りを減らすアプローチです。もっとも、この手法は全件に適用すると時間がかかるため、現実的には部分サンプルに適用してプロンプト自体を改良する用途で使われています。（Oamiらも誤判定例の検証に基づきプロンプト文言を修正し精度がどう変化するか検証しています）。他にも、前述のように2種のLLMやLLMと人間の判定を付き合わせ、不一致の場合に再評価するアンサンブル手法もフィードバックループの一種と言えます。例えば片方のLLMが「包含」、もう片方が「除外」と出た文献だけ人間がチェックすることで効率と信頼性のバランスを取る方法です。このように、LLMの出力を即断で採用せず、人間や別モデルのフィードバックを取り入れることで実用上求められる高い感度・精度に近づける工夫が各所でなされています。

以上の知見から、現時点で考え得る「最適なプロンプト」のポイントをまとめると次のようになります:


  • 役割の指示: モデルに「あなたは研究者（あるいは文献レビューの専門家）である」というロールを与え、厳密なスクリーニングを行う姿勢を促す。

  • 基準の明示: 包含基準・除外基準を具体的に列挙し、それらに従うよう命令する。曖昧さを避け、できれば定量的・客観的な表現を用いる。

  • 出力形式の制限: 回答は「Include（採用）」もしくは「Exclude（除外）」のいずれか 一語の出力 に限定させる。理由や判断根拠の記述は求めず、モデルが勝手な連想やハルシネーションをしないようにする。

  • エラーを許容しない指示: 特に除外判定には慎重を期すよう促し、「判断に迷う場合は除外せず含めよ（迷ったらIncludeせよ）」と指示することで感度を最優先させる（システマティックレビューでは疑わしきは収録とする原則があるため）。

  • 情報量の調整: 1回のプロンプトに含める文献数は少数（可能なら1件ずつ）にとどめ、タイトル・Abstract・基準をセットで提示する。過剰な件数を一度に与えないことでモデルの誤判定や一貫性低下を防ぐ。

  • モデルの自己検証利用（必要に応じて）: 初回判定後、リソースに余裕があればモデル自身に「その判断の根拠」を説明させ検証する。明らかな誤解があればプロンプト文を修正し再度全件に適用する、といった反復的プロンプトエンジニアリングで精度向上を図る。

参考文献

  1. Oami T, Okada Y, Nakada T, et al. Performance of a Large Language Model in Screening Citations. JAMA Netw Open. 2024;7(7):e2420496.

  2. Guo E, Gupta M, Deng J, et al. Automated Paper Screening for Clinical Reviews Using Large Language Models: Data Analysis Study. J Med Internet Res. 2024;26:e48996.

  3. Matsui K, Utsumi T, Aoki Y, et al. Human-Comparable Sensitivity of LLMs in Identifying Eligible Studies Through Title and Abstract Screening: 3-Layer Strategy Using GPT-3.5 and GPT-4. J Med Internet Res. 2024;26:e45245.

  4. Sanghera R, Thirunavukarasu AJ, El Khoury M, et al. High-performance automated abstract screening with large language model ensembles. arXiv preprint. 2024; arXiv:2411.02451.

  5. Boesen M, Andersen MB, Müller FC, et al. Large language models for abstract screening in systematic and scoping reviews: a diagnostic test accuracy study. medRxiv. 2024;10.1101/2024.10.01.24314702.

  6. Akinseloyin O, Jiang X, Palade V. A question-answering framework for automated abstract screening using large language models. J Am Med Inform Assoc. 2024;31(9):1939-1952.

  7. Mahuli A, Shokraneh F, Ahmad S, et al. Can large language models replace humans in the systematic review process? Res Syn Meth (preprint on arXiv). 2023 Oct 27; arXiv:2310.17526.

  8. Hasny M, Sharabati M, Song Y. A review of BERT models for systematic review screening in medicine. ArXiv preprint. 2023 Jul 27; arXiv:2307.14806.

  9. Deen MJ, Shojania KG. Evaluating the Efficacy of Large Language Models for Systematic Review and Meta-Analysis Screening. medRxiv. 2024;10.1101/2024.06.03.24308405.

  10. van der Velden T, Wong A, Beltagy I, et al. Literature Filtering for Systematic Reviews with Transformers. ArXiv preprint. 2024 May 31; arXiv:2405.20354.

  11. Gaudino JA, Shokraneh F, Monga I, Marshall IJ. Potential Roles of Large Language Models in the Production of Systematic Reviews and Meta-Analyses. J Med Internet Res. 2023;25:e46929.


いいなと思ったら応援しよう！