AIの実力 #7: AIは実は厳密な推論が苦手

前回「AIは実は数が苦手」ということをお話ししました。
そのシリーズの第二弾は「論理」です。

AIって、論理が得意そうに見えますよね。
コンピューターだし、ロジックで動いてるわけだし。
だから、厳密な推論なんて、むしろ得意分野だろうと思われがちです。

昔は論理的な推論ができなかった

例えば背理法。
人間でも難しいですが、AIも少し前まで、できなかったんです。

「√2は無理数だと証明してください」

みたいな問題を出すと、
途中で筋が通らなくなったり、仮定と結論の関係がおかしかったりして、
「証明っぽいことは言ってるけど、これは証明ではないよね……」ということがよくありました。

今は完璧？

最近のモデル（GPT-4〜4o）では、背理法も普通に使いこなします。
仮定して、論理的に展開して、矛盾を導いて、「したがって〜である」と結論する。
そういう一連の流れが、自然にできるようになっています。

たとえば、「√2 は無理数ですか？」と聞いてみたら、
「有理数と仮定 → 二乗して矛盾 → ゆえに無理数」みたいな答えが返ってきて、少なくとも形式的には、ほぼ完璧に見えました。

「√２は無理数」の証明を覚えているだけかもしれない、と疑い、
いろいろアレンジしてみました。

「任意の数の素数 p1, p2, ... , pn
に対して、
それらの平方根の和は、
有理数になることはない？」

と聞いてみると、

「ない」

と答えたうえで、背理法と帰納法の組み合わせであっさり証明してくれました。

ひっかけ問題を出してみた

AIはもはや論理推論の苦手は克服したのでしょうか？

ただ私は、最近の ChatGPT (チャッピー) との会話でも、時々議論が複雑になると論理的に矛盾したことを言うことがある、と体験していました。
どうしたら再現できるか、試してみます。

私が出してみた問題はこれです

「Aさんのおじさんの妹は、そのおじさんの唯一の兄弟なのだけど、
その妹のお父さんは Aさんのおじいさんじゃないんだって。
どうしてかわかる？」

人間でも戸惑いますよね。
チャッピーも混乱しました。

「おじさんの妹＝Aさんの親」

だと決めつけて進めてしまい、
出した結論が

「Aさんと「おじさんの妹」（＝Aさんの親）は血縁関係にない。
よって、その「妹」の父は Aさんの祖父ではありえない。」

まあ、ひっかけ問題ですから、仕方ないですね。
そこで、ヒントを出しました。

「おじさんの定義が間違っているよ。」

これだけでは通じなかったので、

「日本語では、
両親の兄弟のことと、
両親の姉妹の夫のことを
区別せず「おじ」と呼ぶよ。」

と説明しました。

ここからが不思議でした。
言葉の定義は誤解していたのなら、仕方ありません。
ところが、言葉 (「おじさん」) の定義を理解したあとでも、

「おじさんの妹＝Aさんの母」

と思い込んだままなのです。

AIの頭の中で何が起きているのか (私の想像)

• 論理推論能力は高い

• ただしその推論は、どうも記号操作的に行われている

• 言葉 (の意味) と記号との対応関係 (接地) をときどき間違う

• 言葉の意味を修正しても、記号上の推論に反映させることが、難しい

というわけで、最初から数学的に記述された問題ならば、
あっさり解いてしまいますが、
実世界との対応を厳密に推論するのが苦手
のようです。