概要

• Swallow LLM リーダーボード v2 2026年5月のスナップショットに用いたバージョンです．

変更点 - ベンチマークの追加

• 制御性（指示追従性）を評価する英語のベンチマーク IFBench に対応しました．参考：ベンチマーク一覧
• 高難度数学の邦訳ベンチマーク PolyMath 日本語サブセットに対応しました．参考：ベンチマーク一覧

変更点 - ベンチマークの仕様変更

• 日英MT-Benchのtemperatureを指定可能にしました．temperatureを指定した場合はカテゴリ別既定値を上書きします．
• 日英MT-Benchの審判（judge）を GPT-4o から GPT-5.2 （推論off）に変更しました．これにより，幻覚・誤答・指示追従違反・対話の破綻に対する採点（減点）が正確になります．モデル間の序列は従来とほぼ同様（Spearman相関は0.9，N=56）ですが，スコアが1.3±0.4点程度低くなります．
  従来と同じく GPT-4o を審判とする設定もご利用いただけます．参考：ベンチマーク一覧

変更点 - その他

• lighteval コマンドの generation_parameters 引数に chat_template_kwargs パラメータを追加しました．チャットテンプレートの引数（例："enable_thinking:true"）を指定する場合にご利用ください．

変更点

• JamC-QA（SB Intuitions様）に対応しました．公式の設定とは異なり，ゼロショットの4択問題として解きます．参考：ベンチマーク一覧
• MATH-500などの数学およびGPQAなどの科学のベンチマークで，K回試行時の正解率である Pass@K および 最頻回答の正解率である Maj@K の算出に対応しました．参考：ベンチマーク一覧

変更点

• 本フレームワークの設計およびモデル評価に用いている評価方針を公開しました．参考：評価方針
• uv仮想環境を更新して openai/gpt-oss に対応しました．
• JGPQA（(LLM-jp様によるGPQA邦訳版）に対応しました．参考：ベンチマーク一覧
• WMT20の仕様を変更しました．これにより，主に推論型モデルのスコアの妥当性および再現性が改善しています．
  • プレースホルダの表記揺れを許容するように変更．
  • 翻訳文の長さを参照訳の3倍で切り詰める．

変更点

最初のバージョン．

Swallowプロジェクトとの関連性

2025年8月に公開した Swallow LLM Leaderboard v2 に掲載している事後学習済みモデルの評価は，v202508 を用いて実施しました．