【徹底解説】AI選びはもう迷わない。AI評価サイトでモデル選定を効率化する方法
新しいAI（Large Language Model、略してLLM）が出るたびに、こう思いませんか？
「結局どれが一番いいの？」
「ベンチマークは高いけど、会話すると微妙なやつあるよね」
「価格・速度まで含めて“仕事で使える”モデルを決めたい」
そんなときに便利なのが、Chatbot Arena と Artificial Analysis。どちらも「LLMの実力」を見える化してくれるのですが、測定方法が異なるため、使い分けが重要です。
この記事ではモデル選択についてヒントが得られるLLM評価サイトを解説します。
Chatbot Arenaとは？
Chatbot Arenaは、2つのモデルが匿名で同じプロンプトに回答し、ユーザー投票で勝敗を決めるタイプの評価プラットフォームです。
この「ペア比較」の投票結果を元に、モデルの強さをEloレーティングで推定してランキング化します。（Eloレーティングは後述）
以下にChatbot Arenaのランキングがありますのでアクセスして見てみてください。
以下の赤枠の部分をクリックすると、一括で全てのランキングが見られるOverviewやWeb開発を意味するWebDevのランキングなどが見られます。
ポイントはここ：
ベンチマークというより“体験の勝ち負け”に近い
質問が多様（現実のユーザーが投げるので、試験問題に寄りにくい）
一方で、投票＝人間の主観なので、用途によってはブレる
なお、「Text Arena」はカテゴリ別ランキングも拡充していて、
以下の赤枠から、「専門」「数学」「指示追従」「クリエイティブライティング」「長文」「多言語」など、強みを分解して見られるようにしています。
Chatbot Arenaのランキングはどう作られてる？
Eloレーティングは元々チェスなどで使われる仕組みで、ざっくり言うと：
強い相手に勝つほど上がる
弱い相手に負けるほど下がる
勝率を“強さの差”として推定する
というものです。
これに加えて、モデルは匿名評価されるので、OpenAIが好きだからOpenAIを良いとしてしまうなどの、いわゆるバイアス（認知の偏り）の問題は少ないでしょう。
ただし、モデルによってなんとなく振る舞いに傾向があり、普段からLLMをよく使う人にはどのモデルかわかってしまうこともあるため、完全な匿名というわけではありません。
Chatbot Arenaの投票
実際に投票してみます！
Step0：まずは以下にアクセス。
Step1：以下の画面からプロンプトを打ち込みます。
Step2: 2つ回答が出てくるので、どちらが良いかを選びます。
「引き分け」や「両方とも悪い」も選べます。
今回は、五七五になっている「右」を選びます。
Step3: 選んだのち、モデル名が出てきます。
これで投票は終わりです。
ちなみに、まだまだチャットは続けられます。投票するごとに、モデルは変更されます。
どのモデルか知りたくなるので、つい投票しちゃいますね。
このように評価されているとわかると、適切な評価である気もして一定参考になるように思います。
また、今回のように日本語の評価も入っているので、多言語含む評価もある程度はなされていると思います。（もちろん英語がほとんどではあると思いますが…）
Artificial Analysisとは？
Artificial Analysisは、モデルの「知能（品質）」だけでなく、APIの「速度」「レイテンシ」「価格」を同じ土俵で比較するためのLLM評価サイトです。
以下の「Highlights」の部分に知能・速度・価格が表示されており、概観をつかむには十分です。
今回は、これらの3つの要素について少し深掘りして見てみます。
Artificial Analysis Intelligence Index：品質の見える化
Artificial Analysisには複数指標がありますが、有名なのが Artificial Analysis Intelligence Index。
これは「推論／知識／数学／プログラミング」などのテスト問題においての複数評価を束ねて、総合スコア化したものです。Gemini 3 ProやGPT-5.2が同点の首位です。Intelligence Indexは テキストのみ・英語中心の評価なので注意です。
また、数学やコーディングなどのサブ指数もありますが、どのサブ指数もおおよその傾向は同じであることが多いようには思いますので、さらっとみるくらいで良いでしょう。
以下のように、Omniscience Indexは、知識の信頼性と幻覚（間違ったことを言うハルシネーション）の少なさを測る指標です。高いほど良い指標です。
正答は加点、幻覚は減点され、回答拒否は減点なし。スコアは -100〜100で、0は正解と不正解が同じくらい、マイナスは不正解が多いことを意味します。
Gemini 3 ProやClaude Opus 4.5が嘘の少ない信頼できるモデルと言えます。
Artificial Analysisの速度指標
LLMを業務やプロダクトで使うとき、品質だけでなく体感を決めるのが速度です。Artificial Analysisはこれを丁寧に測っています。
代表的な指標は、Output Speed（tokens/s）。出力が流れ始めてからの速度です。
「Latency: Time To First Answer Token」として、回答を出力し始めるまでの時間（シンキングタイム）を測っています。最近のモデルは回答する前のシンキングタイムが長いので、この指標は参考にしたいところです。
知能とスピードはトレードオフの関係にあるので、このランキングでは知能が低いモデルが先頭に並びます。
「End-to-End Response Time」も測られています。これは、500トークン（400文字程度）を出力するまでの時間です。
さらに、測り方も公開されている点が信頼できる点です。
100 / 1k / 10k / 100k など複数の入力長で測定
1本ずつ / 10並列などの負荷シナリオ
多くは 1日8回測定して、直近72時間の中央値で表示
実際に使用した際のスピードを測っているので、この辺は「ベンチマークや説明では速いはずなのに、実際に使うと遅い」問題を避けるのに効きます。
Artificial Analysisの「価格」が選定に効く
APIを使ってサービスなどを開発する際には、APIの価格が重要になってきます。サマリーは以下です。
価格と知性のバランスが気になるところですが、それを比較する図もあります。右上に行くほど、良いことになります。
この図だとGrok4.1 FastやGemini 3 Flashなどが良さそうに思います。
Artificial AnalysisにもEloレーティングあり
以下の5つの分野についてはベンチマークテストでの評価が難しいので、Chatbot Arenaと同様にEloレーティングを行っています。
匿名モデルの回答を複数並べて、ユーザー投票でランキングにする評価です。
おおよそChatbot Arenaと同じ並びで、例えば画像生成でいえばOpenAIの最新モデルがどちらの評価サイトにおいても首位になっています。
まとめ： おすすめの使い分け
最後にまとめとして、おすすめの使い分けです！
Chatbot Arena：「人間が好む回答」のランキング。テキスト評価で言えば、文体・自然さ・“会話の気持ちよさ”などで強い。
Artificial Analysis：「品質×速度×価格」を同じ画面で比較できるのが強い。プロダクト要件を決めるときに刺さる。
これによって、どのAIサービスを使うのかについて、時間をかけずに検討できるのではないかと思います。
これらの評価サイトである程度絞り込み、最後に実際に使ってみて好みの方を使うようにすれば、AI選びに迷うこともなくなるのではないかと思います。
