AIの実力 #6: AIは実は数が苦手

これまで「AIの実力」シリーズで、AIには○○できない、と言われているものが、実は誤解だ、という話をしてきました。
今回はその逆に、「AIには得意そうに見えるけど、実は苦手」というものをご紹介します。

一般の方は、AIは何と言ってもコンピューター (計算機) で動いているんだから、当然、計算なんてお手の物だと、思われていると想像します。
それが、案外難しいのですよね。不思議なことに。
(※ ここでは「AI」と言っても、数学専用の AI ではなく、ChatGPTのような生成AIに限定して話を進めます。)

小数点の大小関係

その代表例が、「9.11 と 9.9 はどちらが大きいか？」という小数の比較問題です。

私も試しましたが、2024年前半ぐらいまでは実際に間違いました。
指摘すれば、すぐ理解してくれるのですが。

今は、最初から正しく答えますね。

音の数

川柳を生成させようとしたときも、同様のことが起きました。

5-7-5 の17音というルールは理解しているのですが、生成させると、5-7-7 になったり、5-5-5 になったりします。
音の数を併記させてみると、5-7-5 だと言い張るんです。
これはなかなか指摘しても、ダメでしたね。。。
(※ 今は、最初から 5-7-5 のをしっかり生成してくれます。)

つい最近も、同じようなことが起きました。
サービスの名称・屋号のアイディアを出させていた時、カタカナ4文字と指定しているのに、3文字の案ばかりを出してきます。
そして、4文字だと言い張るのです。
不思議です。
追求すればするほど、支離滅裂になっていきます。

最初は、生成時に制約条件を満たすように生成させることができないだけかと思いましたが、生成した後、自分で数えさせてもダメなのです。

AIの頭の中で起きていること (想像)

これはあくまで想像なのですが、LLM (大規模言語モデル) には数や量についての感覚が働いていないように思います。

人間でもそういうことはありますよね。
例えば、日本人が、英語の試験などで、桁の大きい金額を聞き取ったりするのが苦手なのと、似ているのではないかと。

現に今の ChatGPT に
9.9 と 9.11 の大小関係を聞くと、
桁をそろえる、とか、100倍するとか、
そういう答えの出し方をするんですよね。

まさに、ぱっと量が頭に浮かんでいるのではなく、
覚えた大小関係の求め方の公式を当てはめて
手続き的に解いている
みたな感じです。

そう考えるとむしろ、「なぜ人間には数や量について自然な直感が働くのか」ということの方が、不思議に思えてくるのです。

AI の案外苦手なところは他にもあります。
次回以降、ご紹介していきたいと思います。