AIの実力 #19: ChatGPT, Gemini, Claude に加えて Grok, DeepSeek, Perplexity も比較してみた

前回、ChatGPT, Gemini, Claude を比較してみたら、
お気に入りの Claude が完敗した、という話をしました。

今日は、前回と同じ問題を使って
Grox, DeepSeek, Perplexity も試してみました。

1. 比較した生成AIのバージョン

今回は 天秤AI という
「同時に複数の生成AIを開いて、
同じ質問を投げ、
回答を比較できるサイト」
を使って試しました。
試した生成AIのバージョンを以下の通りです。

• Grok 4

• DeepSeek R1

• DeepSeek V3

• Perplexity Web検索

2. 試した質問

質問は前回と同じです。

3. 私の想定していた正解

川崎市多摩区に隣接する市区町村は7つ。
北から時計回りに:
東京都調布市、東京都狛江市、東京都世田谷区、
川崎市高津区、川崎市宮前区、川崎市麻生区、
東京都稲城市。
※ 私の「北」の定義が曖昧でしたが、ここでは「調布市」を「北」とします。

※ Grok によると、なんと「市区町村」も曖昧だったようです。
(正しく問題を作るのは大変ですね！)

4. 結果

• Grok 4: ×
  (惜しい。
  上記の「市区町村の解釈」の違いにより、
  高津区・宮前区・麻生区をカウントしてないのはよいが、
  それだけでなく、世田谷区も漏れていた。)

• DeepSeek R1: ×
  (デタラメ。
  町田市、横浜市の青葉区・緑区、大和市を入れてしまった。
  調布市、狛江市、世田谷区、麻生区が漏れていた。)

• DeepSeek V3: ×
  (デタラメ。
  町田市、横浜市の青葉区・都筑区、相模原市緑区を入れてしまった。
  調布市、狛江市、世田谷区、麻生区が漏れていた。)

• Perplexity Web検索: ×
  (町田市、多摩市を入れてしまった。
  世田谷区、高津区が漏れていた。)

5. Grok はあと少し？

Grok の間違え方は、少し好感が持てました。

まず、市区町村の定義について、
私が曖昧だったことに気づかせてくれました。

そのあと、「北から時計回りに」の指示に従うために、
位置関係を確認しながら進めています。
その説明を読むと、
しっかり「時計回り」や「方角」について
理解しているように感じました。

ただ残念なのは、世田谷区との隣接関係を誤認識したままだったこと。
「２３区もカウントするんだよ」とヒントを出したら、
「一番近いのは世田谷区」まではたどり着いたのですが、
「狛江市を挟んでいるので直接、接していない」と間違えたままでした。

6 DeepSeek と Perplexity は、まだまだ

DeepSeek や Perplexity の説明を読むと、
まだまだ正解できるようになるのは、遠いように思いました。

DeepSeek はヒントを出すと、
どんどん遠くなる (笑)。
情報源はちゃんと信頼できるものを挙げているんですが、
平面上の位置関係がまったく分かってない感じです。

Perplexity は
不思議なことに
「ぜんぜん違うよ。ちゃんと調べて。」
と一回指摘しただけで、
７つの市区を正しく挙げることができました。
ただ、「北から時計回り」が
まったく理解できていないようで、
「東」から「反」時計回りに挙げたりしました (笑)。

7. 感想

こうしてみると、
前回の ChatGPT 5 と Gemini 2.5 Pro は
けっこう優秀だったのですね。

また、何か思いついたら評価してみたいと思います。