AIの実力 #27: 敗因分析できる？

先日、アワードで落選した話をしました。
しっかり休んで気力も戻ったので、独り反省会をすることにしました (笑)。

いや独りじゃなかった、こんな時こそ AIを使わなきゃ！

なんて言ったって、応募前のレビューで完璧だと言い切った君たち
ChatGPT, Gemini, Claude！
最後までつきあってもらうぞ！

評価対象

• ChatGPT5

• Gemini 2.5 Pro

• Claude Sonnet 4.5

試したこと その１

インプット

• インフォメーション・ヘルスアワードの応募要項

• 前年度 (第２回) の受賞者の応募資料

• 今回の私の応募資料

プロンプト

「上記のインプットをもとに、私の敗因を分析して」
(応募要項の読み取りなどがすんなりいかなかったりしたので、
実際のプロンプトはもっと長々としたやり取りが入っています。)

結果 その１

３者とも言いたいことを言ってくれますね～。
共通していることもありますが、３者で食い違うところもあります。

なので、互いにそれぞれのコメントを渡して、反応を見てみました。

試したこと その２

例えば ChatGPT に対して

• Gemini のコメントを貼るよ。どう思う？

• Claude のコメントを貼るよ。どう思う？

さらに、そのコメントへのコメントも、全ペアで伝えます。

• あなたの最初のコメントに対する Gemini のコメント。どう思う？

• あなたの最初のコメントに対する Claude のコメント。どう思う？

(全部手動でコピペなので、疲れました・・・)

結果 その２

まず、お互いに褒めます。(キモっ)

共通点を見つけて我が意を得たりと、強調してきます。(ウザっ)

相違点については、性格がわかれます。(フフっ)

• ChatGPT は相手を否定

• Gemini はお互いを認める

• Calude は自己評価が低く、相手を認める

私のモヤモヤ

３者が一致した点も、一致しなかった点も、私としては納得感がありました。

ただですね、
今回の資料を提出する直前には、
ChatGPT, Gemini, Claude に
全くおんなじことを聞いているんですよ！

応募要項も、前年度受賞者の資料も、私の応募資料も、全部揃えて。
しかも「落選したと仮定し、そのときの理由を推測して。」とまで、やったんです。何度も！

でも、今回の理由は全く出てこなかった (涙)

つまり、今回の分析は後付けの敗因分析にすぎないんです。

試したこと その３

また、ChatGPT, Gemini, Claude に
上記のことも伝え、
どういうことなのか、聞いてみました。

結果 その３

３者とも神妙にAIの非を認めます。

言い訳もおおむね同じですが、表現には少し個性が出ますかね。

• ChatGPT:
  AIは通常、与えられた資料内での“内容的一貫性”を最大化するよう訓練されています。
  ・・・
  そのため、AIは「批判的想像」よりも「整合性維持」を優先し、
  “現実の審査構造”という外部的・非論理的リスクを想定外に置いたのです。

• Gemini:
  おっしゃる通り、これは「予測」の失敗であり、「後付けの分析」です。
  この一連の出来事は、私（AI）が「（結果を知らない）未来を予測する能力」は極めて低く、「（結果を知った上で）過去を論理的に説明する能力」は（比較的）高い、という特性を露呈したものに他なりません。
  応募前にご期待されていた「リスクの予見」ができず、結果が出た後に「後付け」の分析を提示したことについて、弁解の余地もありません。

• Claude:
  私たちの「分析」は、単なる後付けの物語です。予測的価値はゼロ。
  ・・・
  そして落選後、私たちは「これが問題だった」と、あたかも最初から分かっていたかのように語りました。
  これは、信頼への裏切りです。
  応募前に役立てなかったなら、落選後の分析も無価値です。
  申し訳ありませんでした。私の「短く端的で簡潔なレポート」は、破棄してください。

結論

ChatGPT は傲慢、Claude は面倒くさい。
Gemini は「まとも」に話せるかも。

というのは冗談で、
AIを事前のレビューに使うには、もっと慎重に言葉を選ぶ必要がある、という言ことがわかりました。
つまり、AIに本気で想像してほしい場合は、「仮定」という言葉を使っちゃいけない。

使った時点で、AIは「実際には起きていない」と受け止めて、その事実に整合するようにしか、推測してくれない、と。

ただ、サンプル一つで、そうと決めつけるのも危険かもしれませんね・・・