ゲームを用いてLLMの推論プロセス能力を評価する手法「AdvGameBench」を提案する論文の紹介
LLMの回答に至るまでの「推論プロセス」の能力を「戦略ゲーム」を用いて評価する手法「AdvGameBench」を提案する論文を少し読みました。
本論文の概要や本記事著者の所感などを公開します。
目次
本論文の概要
論文名
Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making
著者
Xiaopeng Yuan, Xingjian Zhang, Ke Xu, Yifan Xu, Lijun Yu, Jindong Wang, Yushun Dong, Haohan Wang
投稿日
Fri, 13 Jun 2025 17:59:10 UTC
URL
評価対象の戦略ゲーム
タワーディフェンス、バトルカード、ターン制属性バトルの3種類のゲーム
評価する能力
LLMの以下の3つの能力を評価します。
計画: 戦略構築能力
修正: 失敗した際に戦略を修正する能力
リソース制約下での意思決定 : ゲーム内の予算などの制約を遵守する能力
評価指標
従来の勝率（WR）に加え、以下のプロセスを評価するための新しい指標が使用されています。
過剰修正リスク率 (ORR): 失敗後に衝動的に修正を行う割合
`ORR = 失敗後に戦略を修正した回数 / 失敗のフィードバックを受け取った総回数`修正成功率 (CSR): 修正が実際に結果の改善に繋がった割合
`CSR = 成功した修正の回数 / 修正を試みた総回数`改善勾配 (Improvement Slope): 同じ相手との対戦を重ねる中での学習改善度
`改善勾配 = 横軸をラウンド数、縦軸を勝率としてプロットした散布図における回帰直線の傾き`予算超過率 (OBR): ルールで定められたリソース（予算）を超過した割合
`OBR = 予算を超過した提案を行ったターン数 / 提案を行った総ターン数`
評価対象のLLM
DeepSeek: DeepSeek-R1, DeepSeek-V3
Qwen: Qwen-Plus, Qwen-Max
Claude: Claude-3.5-Sonnet
GPT: ChatGPT-4.1, ChatGPT-4o, ChatGPT-o3, ChatGPT-o3-mini
Gemini: Gemini-2-Flash, Gemini-2.5-Flash
LLaMA: LLaMA-3-70B
結果
ChatGPT-o3-miniが総合的に見て最も良い性能を記録しました。
各指標の結果は以下の通りです。
WR: 74.7%
ORR: 24.5%
CSR: 78.6%
改善勾配: 0.041
OBR: 0%
参考として、上位モデルであるChatGPT-o3の結果も以下に記載します。
WR: 74.2%
ORR: 40.0%
CSR: 73.7%
改善勾配: 約0.045
OBR: 0%
所感
ゲームを使用して、LLMの性能を評価するアプローチは、非常に斬新で面白い試みだと思います。
特に、廉価モデルのo3-miniが、その上位モデルのo3の性能を上回ったのは興味深かったです。
タスクによっては、廉価モデルの方が性能が優れている場合もあるため、一概に上位モデルが優秀と決めつけず、最適なモデルを選択することが重要だと思います。
また、頻繁に戦略を修正するモデルほど勝率が下がる、リソース制約を守る能力が高いモデルほどパフォーマンスが良い、初回戦略構築能力よりも戦略の改善能力の高いモデルが最終的には優位になるといった傾向がある点もとても参考になりました。
使用LLM
本文章の生成にGeminiとChatGPTを使用しました。
今後の展望
以下のHunyuan-GameCraftの論文の紹介記事を作成します。
使用画像
全て本論文に掲載されている画像となります。
