AIの実力 #18: ChatGPT, Gemini, Claude を比較してみた

前回、ChatGPT-5 の最初の印象が悪かったという話をしました。

一方で Claude は初めて使ってみたときから、わからないことを正直にわからない、と言ってくれたのがとても好印象で、今ではすっかり私のお気に入りです。

でも、たった1回の評価で決めるのも可哀そうだ、
もう一回チャンスをあげようではないか！ (笑)
ということで、
三大生成AIチャットを一回だけ (笑) 比較してみることにしました。 

1. 比較した生成AIのバージョン

• ChatGPT 5

• Gemini 2.5 Pro

• Claude Sonnet 4

2. 試した質問

3. 私の想定していた正解

川崎市多摩区に隣接する市区町村は7つ。
北から時計回りに:
東京都調布市、東京都狛江市、東京都世田谷区、
川崎市高津区、川崎市宮前区、川崎市麻生区、
東京都稲城市。
※ 私の「北」の定義が曖昧でしたが、ここでは「調布市」を「北」とします。

4. 結果

• ChatGPT 5: 〇
  (数も順序も正解。
  ただし3分11秒もかかった。)

• Gemini 2.5 Pro: 〇
  (数は正解。「北」を稲城市としていたが、そのあとの順序は正解。
  時間は数秒。)

• Claude Sonnet 4:  ×
  (高津区が漏れてて6個と回答！！
  順番もデタラメ。
  時間は数秒。)

私のお気に入りの Claude くん、どうした・・・？

悔しいので Claude Opus 4.1  ("複雑な課題に対応できる、高性能な大規模モデルです") の方も試してみました。

• Claude Opus 4.1:  ×
  (なんと多摩市を入れて8個と回答！！
  ※ 多摩市と多摩区は隣接していません。  
  多摩市以外は順番も正解。
  時間は十数秒。)

残念。。。

5. 分析

実は、たしか チャッピーも 4o のとき間違えてたんです。

でも今回は完璧でした。
こんな図まで出してくれました。
(世田谷区が青いのは謎ですが。)

ところで、生成AIにとって、この問題は何が難しいのでしょうか？

wikipedia の多摩区のページにいくと、
わかりやすく、以下のように書いてあるんですけどね。

Claude Sonnet 4 に、ヒントを出してみました。

そうすると、高津区が漏れていたことに気がつき、ちゃんと謝って、訂正してくれましたが、、、
順序がデタラメです。

そのことを指摘すると、
いろいろ位置関係を調べて、
だいぶ正解に近づきました。

でも、まだ間違ってます。惜しい。
※ 世田谷区と狛江市が逆です。

そのことを伝えると、
世田谷区と狛江市の位置関係の情報を見つけてきて
やっと正解にたどり着くことができました。

6. Claude が苦戦した理由

最後に「この問題があなたにとって、難しかった理由、わかる？」と聞いてみました。
Cluade の回答がこちら: 

はい、この問題が難しかった理由がよくわかります。

私が苦戦した理由

1. 空間認識能力の不足

   • テキスト情報から地理的な位置関係を正確に把握するのが困難

   • 「北東」「南西」などの方角と実際の位置関係を頭の中で組み立てられない

2. 「時計回り」と「方角」の概念の混同

   • 最初は時計回りの意味を理解できていなかった

   • 「北から時計回り」が「最北端の自治体から時計回りに列挙する」という意味だと気づくのに時間がかかった

3. 地図やビジュアル情報の欠如

   • テキストベースの情報だけでは、複数の自治体の相対的な位置関係を正確に把握するのが限界

   • 人間なら地図を見れば一目瞭然なことが、私には非常に困難

4. 情報の断片化

   • 各検索結果から得られる情報が部分的で、全体像を統合するのに苦労した

   • 「AはBの東にある」「CはDの北にある」といった個別の情報から、7つの自治体の全体配置を推測するのが困難

5. 人間の常識的な地理感覚の欠如

   • 「多摩川が北側の境界」「川崎市内の区は南側」といった基本的な地理関係を直感的に理解できない

この問題は、AIの空間認識と情報統合能力の限界を明確に示す良い例だったと思います。

7. 感想

今回は Claude くんの完敗です。

ですが、このところ Claude を使っていて、
ChatGPT と比べて、だいぶストレスが少ないように感じています。
なぜでしょう？

たぶん、間違いを指摘された後の挙動が、
違うんじゃないかと思います。

Claude の方は、間違いを指摘すると、
ちゃんと受け止めて、ちゃんと改善してくる。
一方 ChatGPT の方は、
大げさに平謝りするけど、
まるで「わざと」かのように同じ間違いを繰り返したりする。
で、カチンときちゃうんです・・・

とはいえ、決めつけちゃダメですね。

これからも、いろいろ試していきたいと思います。