見出し画像

LLM-as-a-Judge をサーベイする

Ayako

こんにちは！メリークリスマス🌟🎄🎅！
自然言語処理の研究をしている修士2年生のAyako (@negi3soaya) です．

私の研究室では論文紹介ゼミに加えて論文100本ノックやカジュアル論文読会（@HwichanKim さんが学会記事で紹介しています）など，論文を読む機会がたくさんあります．
読んだ論文を忘れないために，自分用に論文の内容をまとめてみようと思い立ち，2年前から読んだ論文をgithubのissuesにヒッソリ記録していました．（このまとめ方は@a1da4さんのgituhubを参考にしました！）

今見返すと内容の質にムラがあったりしますが，50本くらい記録がたまっていました．最近はバタバタしていたので更新頻度が明らかに落ちています！やばい！言い訳です！久々に腰を据えて論文読もうと思います．
読む論文は A Survey on LLM-as-a-Judge です．11月末にarxivで公開されたばかりのホットな論文です！githubも公開されています．
修士論文はLLM-as-a-judgeのバイアスについての内容を書いているので，これは読まなくてはいけないと思って選びました👀

LLM-as-a-judgeとは，LLMを評価者として用いる手法のことです．
テキスト生成タスクの評価において，BLEUやROUGEなどの従来の自動評価指標では自由度の高い生成テキストの良し悪しを判断しきれず，人手評価は正確で信頼性も高いがコストが高すぎる…という場合にLLMを評価者として用いることでこれらの課題を解決します．

生成テキストの評価，LLM-as-a-judgeについてイチから知りたいという方には大規模言語モデル入門Ⅱ がオススメです！
（LLM-as-a-judgeについては前作の大規模言語モデル入門を読まなくても理解できますが，両方読んだ方が楽しいです🙆‍♀️）
プロンプトの具体例や評価ツールを使用した実装もあり，すぐに手元で試せると言う点が魅力的です！自動評価指標，人手評価，LLM-as-a-judgeそれぞれの特徴や強み/弱みについても言及されており，目的に沿った評価手法の選択に向けて重要な知見が得られると思います🫶リーダーボードやllm-jp-evalの章は知らないことが多かったので私もとても勉強になりました．この後の論文まとめは大規模言語モデル入門Ⅱの10章を読んでからだとよりわかりやすいです👍


※論文の内容から特に自分が気になった部分をピックアップしたり，繰り返し出てくる内容は省略したりしています．詳細は論文を参照してください🙏

A Survey on LLM-as-a-Judge

この論文の軸となる問いは，「信頼性の高い LLM as a judge システムはどのように構築できるのか？」です．
一貫性の向上，バイアスの軽減，多様な評価シナリオへの適用など，信頼性を高めるための戦略を幅広く調査し，LLM as a judge システムの信頼性を評価するためのベンチマークを構築しています.

LLM-as-a-judgeとは？

LLMを評価者として採用することです．人間の専門家を評価者として雇う場合と比較すると，費用対効果が高く，大量のデータに対してより短時間で評価することが可能です．最近ではICLR2025の論文査読において，増大する論文投稿数に対して査読者の作業負荷を軽減するためにLLM-as-a-judgeが導入されました．LLMは，評価プロセス全体もしくは中間段階など一部のみで使用される場合があります．LLM-as-a-judgeは以下の式で定義できます．

LLM-as-a-judgeの定義

  • ε：LLM-as-a-Judgeを通じて得られる最終的な評価結果です．この結果は，スコア，選択肢，または文といった形式で表現されます．

  • P_LLM：使用するLLMによって定義される確率関数です．この生成プロセスは自己回帰モデルに基づいています．

  • x：入力データです．テキスト，画像，動画など任意の形式で提供され，評価の対象になります．

  • C：入力データに対応する文脈です．プロンプトテンプレートや対話履歴情報などと組み合わされることが多いです．

  • ⊕：入力データxと文脈Cを結合するための演算子です．文脈の配置に応じて，最初，中央，最後に配置されるなど結合操作が変わります．

式のマーカーの色は以下の評価パイプラインに対応しています．

LLM-as-a-judgeの評価パイプライン


LLM-as-a-judgeシステムを構築するには？

プロンプト設計
LLMは，重みの更新や再学習を必要とせず，プロンプトで提供される関連する例や指示によって，指定されたタスクの実行方法を学習する文脈内学習能力を持っています．LLM-as-a-judgeを利用する際は，まずプロンプトを設計し，文脈内学習で評価タスクを定義する必要があります．
評価の形式は以下の4つに分けられます．

  • スコアを付与する形式

  • Yes / No や True / False の2択形式

  • ペアワイズ比較形式（拡張するとランキング）

  • 多肢選択形式

スコアによる絶対評価は最もシンプルですが，ペアワイズ比較による相対評価の方が人間の評価との整合性が高いという結果が多く報告されています．
2択形式は，最適化のための自己評価など，中間プロセスでよく用いられます．多肢選択形式は幅広い回答が可能ですが，あまり見られないです．（おそらく後処理の難易度が高いから？）

モデル選択
GPT-4のような強力なモデルを選択するのが効果的です．様々な論文でその評価精度の高さが実証されています．しかし，外部APIヘの依存はコスト，プライバシー，不透明性，再現性などの課題があります．いくつかの研究では，LLaMa，Vicunaなどを評価用にfine-tuningしていますが，評価能力にはまだ限界があるようです．

後処理方法
スコア形式，Yes/No形式，特定の選択肢を選ぶ形式の場合などは，LLM評価者の出力から特定のトークンをルールマッチで抽出する必要があります．プロンプトで出力形式を明確に指示したり，指示追従性能が高いモデルを使用することでトークン抽出の成功率が上がります．
（弱いモデルを使ったとき，数値トークンを出して欲しいのに出してくれない…といった苦い思い出があるので個人的にも同意です．）
また，推論ステップを自己評価させ，その評価結果によって出力を重み付けして最終スコアを得ることもあります．

LLM-as-a-judgeシステムを改善するには？

LLMの評価性能を改善させる戦略として，論文中では以下の構成で紹介されています．ここではその中の5つを取り上げます．

LLM-as-a-judgeの改善戦略

評価プロンプトの設計戦略
評価プロンプト内にいくつかの高品質な評価例を含めること（few-shot prompting）で評価タスクの目的やプロセス，評価基準を大まかに把握することができます．また，Chain-of-Thoughtを用いて評価プロセスを細かいステップに分解する方法もあります．さらに，評価基準を複数の観点に分解し，それぞれのスコアに基づいて総合スコアを得る方法もあります．

LLMの出力形式の最適化
プロンプト内で出力形式に制約を与えることで頑健性が向上します．JSON形式での出力なども効果的です．また，解釈可能性の向上のために，評価結果と同時に理由を出力されることも可能です．

メタ評価データセットによるfine-tuning
オープンソースLLMであれば，評価目的のためにfine-tuningを行い評価能力を向上させることも可能です．Alpaca 52Kなどの公開データセットからサンプリングし，タスクにあったテンプレートに修正すれば学習データを構築できます．

複数の評価結果の統合
異なるハイパーパラメータや設定で複数回評価を実行し，要約することでランダム性やバイアスを低減できます．また，複数のLLMを評価者として使用し，それぞれの評価結果について投票して最終結果を得る研究もあります．

自己検証
評価結果の確信度をLLMに尋ね，確信度の高い結果のみを採用する手法です．複雑な計算や処理が不要で，どのLLMにも使用できる点が嬉しいです．


LLM-as-a-judgeシステムを評価するには？

LLMの評価能力は，人間の評価との整合性で評価し，一致率やCohenのKappa，Spearmanの相関などが主に採用されます．このようなメタ評価のために，複数のLLMの応答と人間の専門家の評価が含まれた様々なベンチマークが構築されています．

LLM評価者のメタ評価ベンチマーク

LLM-as-a-judgeは様々なバイアスが指摘されており，それらの定義や関連する指標，評価に使用できるデータセットなどを紹介します．

位置バイアス
LLM評価者はプロンプト内の特定の位置の回答を好みます．回答の順序を入れ替えると評価結果が矛盾するケースが報告されています．このバイアスは，Position Consistency（順序を変更して同じ回答を選択する頻度），Preference Fairness（特定の位置でどの程度応答を好むか），Conflict Rate（回答の順序を入れ替えた場合の不一致率）などの指標で定量化されています．どの位置を好むかはモデルによって異なります．このバイアスに対処するためには，順序を入れ替えて全ての位置での平均スコアを採用するなどの対策が考えられます．

長さバイアス
冗長性バイアスとも呼ばれ，LLM評価者より冗長な回答を好む傾向があります．同じ内容をより冗長な表現に変換しただけで異なる評価結果になるケースがあります．しかし，異なる長さになるようにサンプリングされた複数の回答の品質が同じであるかどうかを保証することは難しいです．

自己強化バイアス
LLMは自身が生成した回答を好みます．そのため，生成に用いるLLMと評価者LLMは別のものを使用するなどの対策が必要です．（生成か評価のどちらかでは最先端のモデルを使用できないと言う制約が生じるので，この対策をしていない論文も全然見たことがあります．）

具体性バイアス
LLM評価者は権威ある出典の引用，数値，複雑な用語を含む詳細な回答を好みます．権威バイアスや引用バイアスとも呼ばれます．（詳しくないですが，人間にも同じようなバイアスがある気がします．）

これらの他にも様々なバイアスが報告されており，それぞれのバイアスの程度を測定するためのテストセットとして，EVALBIASBENCHが構築されています．この研究では12種類のバイアスに対する定量化フレームワークも提案されています．しかし，複数種類のバイアスを含む体系的なベンチマークはまだなく，バイアス同士を切り離して評価することもとても難しいです．


メタ評価ベンチマークの構築

この論文では，メタ評価パイプラインとベンチマークを構築し，ペアワイズ評価において，論文中で紹介した改善戦略についてメタ評価実験を行い，その有効性を検証しています．

LLMEvalというベンチマークから2,553サンプルを抽出して人間との整合性を評価します．各サンプルには質問，回答候補のペア，好ましい回答を示す人手によるラベルの3つで構成されます．
EVALBIASBENCHを用いて6つのバイアス（下図の右から6つ）を定量化し，これらに加えて位置バイアスも評価します．EVALBIASBENCHは80サンプルあり，位置バイアスの測定にはLLMEvalとEVALBIASBENCHのサンプルの順序を入れ替えて構築したデータを使用します．

人間との整合性では，評価結果が一致したサンプルの割合を示す一致率指標を用いる．EVALBIASBENCHのバイアスについては，アノテーションされた正しい方の回答を選択できている割合で評価します．位置バイアスについては，Position Consistency（順序を変更して同じ回答を選択する頻度）を使用します．

評価者LLMには，GPT-4，GPT-3.5，LLaMA3を採用します．また，改善戦略としては，説明の提供，自己検証，複数ラウンドによる要約，複数LLMによる投票を選択します．

GPT-3.5-turboをベースラインとする，他のLLMと改善戦略のメタ評価結果

上記がメタ評価の結果です．GPT-4の評価精度は他の2つのモデルと比較して大きく上回っており，バイアスも少ないです．コストの心配がない場合はGPT-4を用いるのが良さそうです．LLaMAはオープンソースモデルなのでさらにfine-tuningなどによってさらに評価性能を向上できるかもしれません．

改善戦略で比較すると，戦略によっては評価性能に対して効果的ではないことがわかります．説明の提供は評価性能が低下しており，自己説明によるバイアスの影響を受けている可能性があります．複数ラウンドの要約はバイアスの低減において大きな効果を示しています．複数のLLMによる投票は，位置バイアス以外にわずかな差異しかなく，それぞれのLLMの評価能力の特性が統合されたためだと考えられます．

これらの結果より，LLM-as-a-judgeの一般的な改善戦略は評価性能やバイアス低減において十分な効果はないと言えます．


LLM-as-a-judgeの今後の課題

信頼性
人間もLLMも共に固有のバイアスがあり，評価の一貫性や公平性に懸念があります．例えば，指示チューニングされたLLMは自身の応答に対して過大評価する傾向があります．他にも，プロンプト中の例の順序を変更したり，より長いプロンプトを使用すると矛盾した評価結果になるなど公平性や汎化にも課題があります．
LLMはあくまで確率モデルであるため，評価パイプライン全体での改良が必要です．具体的には，評価タスクに合わせた敵対訓練手法，頑健な不確実性定量化手法，human-in-the-loopシステムなどの開発が求められます．

頑健性
LLMは敵対的攻撃に弱く，有害コンテンツ生成の誘導といった攻撃に対して頑健なモデルを開発するために様々な研究が行われています．しかし，評価者LLMの頑健性についての研究はまだ比較的未開拓です．現在は，応答フィルタリングや一貫性チェックなどの後処理技術が使われています．自己一貫性の欠如やランダムスコアリングなどの問題も指摘されています．

データアノテーションのためのLLM-as-a-judge
アノテーション作業の自動化，データ品質の評価や高品質データの選択などにおいてLLMは活躍できそうです．しかし，ドメイン知識不足や信頼性などの課題があり，現状はまだ人間のアノテーションに依存しています．（学習するデータは性能に大きく影響するので，人間レベルにならないと実際に使うには心許ない…と言う気持ちでしょうか）

MLLM-as-a-judge
最近はGPT-4V，Gemini，LLaVAなどのマルチモーダルモデルが開発されています．将来的にはテキスト・画像・動画など複雑なマルチモーダルを扱うことができるマルチモーダル評価器の開発が望まれます．現状のモデルはテキストのみの評価器と比較するとまだ推論の深さや信頼性に欠けます．もう少し強力なマルチモーダルモデルが出てくると一気に研究が進みそうです．

より多くのLLM-as-a-judgeベンチマーク
ドメイン固有のアプリケーション，マルチモーダルコンテンツ，実世界に近い複雑な設定など幅広いシナリオを含む包括的で高品質な大規模データセットの構築が求められます．

おわりに

論文全体を読み終わっての感想としては，課題だらけだな…って感じです．実用に耐えうるものを開発するために考慮すべき観点が多くて途方もないし，人間の主観を再現することの難しさを痛感します．
LLMが完全な人間の代替になるには果てしないですが，目的に応じて必要な評価手段を選択できるように，その特性の理解に努めるのが今のところは良さそうだと個人的に思っています．
これからもLLMにはお世話になります．

ここまで読んでくださり，ありがとうございました🙇‍♀️

いいなと思ったら応援しよう！