【論文解説】チェスを用いたLLM性能評価に関する論文「LLM CHESS: Benchmarking Reasoning...」の紹介
少し前ですが、チェスを用いてLLMの性能を評価する研究論文「LLM CHESS: Benchmarking Reasoning...」を読みました。
概要と所感を紹介します。
概要
チェスのプレイを通じて、LLMの「推論能力」と「指示追従性」を評価するための新フレームワーク「LLM CHESS」を提案する論文です。
50以上のLLMを対象に、本フレームワークを使用して性能を検証しました。
結果、多くのLLMが、ランダムに動くだけの相手に対し、勝ち越すことができず、最も高性能だったo3 (low)モデルでも、推定Eloは約758に留まることが判明しました。
論文名
LLM CHESS: Benchmarking Reasoning and Instruction-Following in LLMs through Chess
著者
Sai Kolasani1, Maxim Saplin2, Nicholas Crispino3, Kyle Montgomery3 , Jared Quincy Davis4, Matei Zaharia1, Chi Wang5, Chenguang Wang3
投稿日
2025/12/1
本フレームワーク
1. ツールの使用
LLMは以下の3つのツール（アクション）を使用してゲームを進めます。
get_current_board: 現在の盤面状況を取得。
get_legal_moves: 合法手（ルール上可能な手）のリストを取得。
make_move: UCI形式（e2e4など）で手を指す。
2. ランダムエージェントとの対戦による評価
ランダムな手を指すのみのランダムエージェントと対戦し、勝率とエラー率を計算します。このフェーズではElo計算は行いません。
「指示追従性（ツールを適切に使用しているか、UCIフォーマットの形式を守っているかなど）」と「基礎的なゲーム遂行能力（無効な手を指さないなど）」をテストすることが目的です。
3. チェスエンジン（Dragon 1）との対戦による評価
強さを段階的に調整したチェスエンジンDragon 1と対戦させ、その勝率からモデルのElo（強さの数値）を推定します。
ランダムエージェントとの対戦による評価で一定以上の水準に達したモデルを対象に行います。
Dragon 1のような戦略を持ったエンジンに勝利するためには推論能力が不可欠なため、Eloが高いほど推論能力が高いと評価します。
4. チェスエンジン（Stockfish）を用いたすべての手の評価
最強のチェスエンジン（Stockfish v17）を用いて、指されたすべての手を解析・評価します。
悪手・ミス・不正確な手・最善手の発生率を計算します。
結果
多くのLLMが、ランダムに動くだけの相手に対し、ゲームを正常に完了できない、あるいは勝ち越せないことが判明しました。
最も高性能だったo3 (low)モデルでも、推定Eloは約758に留まりました。これは熟練した人間プレイヤーやStockfishには遠く及ばないEloです。
推論モデルは基本的に強く、また、推論時間を増やすことでより強力になることが確認されました。
所感
チェスを使用してLLMを評価する手法はとても斬新で興味深いです。
o3などの当時の最強モデルでも、Stockfishに遠く及ばないという点は、残念ではありますが、とても有益な研究結果だと思います。
遠く及ばないということは、LLMには伸びしろが非常に大きいということだと思います。
また、o3など高性能モデルほどEloが高いという点は、基本的にLLMの進化がチェス性能の向上にもつながるというポジティブな結果だと思います。
今後、Stockfishを凌駕するほど劇的に進化し、チェスAI界に革新をもたらすことに大いに期待しています。
また、その時に連動して進化するであろうLLMの汎用的な性能がどの程度のものか、非常に興味深いです。
今後の展望
本投稿の詳細記事を作成します。
使用画像
全て本論文に掲載されている画像となります。
