AIの実力 #8: AIは実は修正が苦手

AIとのやりとりで、私はたびたびこんな経験をします。

「そうじゃないって言ったよね？」
「え、なんでまた同じ間違いをするの？」
「もう3回くらい説明したよ…」

普段のAIは、ほんとうに知的です。
私の言いたいことを察してくれるし、言語センスもあるし、ちょっとした会話なら人間より気が利くことすらある。

だからこそ、ごくシンプルな「指示」に従わないとき、驚いてしまうのです。
そして、イライラして、何度も説明して、結局また同じ間違いが繰り返されて・・・頭に血がのぼる。

「AI相手に何ムキになってるんだろう？」「私も学習しないなあ」と反省はするのですが、どうにも対処が難しいのです。
皆さんもそんな経験ありませんか？

見かけの賢さと従順さに期待してしまう

「AIは指示に従うもの」
これは、多くの人が抱いている期待だと思います。

「5-7-5の川柳を作って」と言えば、ちゃんと作ってくれる

「フォーマルな文体で書いて」と言えば、すぐに切り替える

「このスタイルで続けて」と言えば、同じ調子で続けてくれる

……はずだったのに。
数ターン後には音数が狂ったり、スタイルが崩れたり、以前の指示がすっかり忘れられていたりする。

しかも本人（AI）は自信満々で間違いを繰り返す。
指摘すれば「すみません、修正します」とは言うものの、また同じことをする。
まるで“従っているフリ”をしているかのように見えるのです。

なぜこんなことが起きるのか

チャッピーに聞くと

うーむ、でも、指摘するたびに、「次回から確認してから回答します」みたいなこと、毎回言ってくれるのですけどね、、、

期待しちゃうから、いけないのでしょうね。

では、なぜ期待しちゃうか？

それは、私がAIの挙動の原理を理解してないから、だと思います。

AIの挙動の原理を理解していないから、今やいちばんAIに近い存在である、人間に当てはめてしまうのだと。
この「当てはめ」は無意識に起こるから、コントロールが難しい。

AIの挙動の原理 (私の推測)

ChatGPT はインターネット上のありとあらゆるデータから言語の構造や使われ方 (≒言葉の意味) について学んでいます。
またそれと同時に、おおよそ一人の人間では把握しきれないほど広大な領域の専門知識も、把握しています。

それを使うことで、ユーザからの最初の質問に対して、かなりの確率で、満足のいく答えを生成することができます。

上手くいっている場合は、会話の話題が遷移していっても、柔軟についていくことができる。

ところが、それが一度間違えてしまうと、
ちょっとしたプロンプトの工夫だけでは、修正できないケースが多い。

仮説を立てて、進めてみて、間違っていたら、修正する、ということが
本質的にはできていないんじゃないかと、想像しています。

最新の ChatGPT や Gemini は、一見、上記の推論をできているかのような、ログを出しますが、
総じて、ユーザが間違いを指摘したときの対応は、なんかチグハグだったり、デタラメなことが多いです。
推論ロジックの途中に誤りがあることを指摘された場合に、そこを修正する、ということができていないんじゃないかと。
一度落とし穴に落ちちゃうと、何回やっても、ちょっとプロンプトを変えても、同じ穴に落ちちゃう、という感じ。

すごく頭の回転の速い、超物知りな若者なのに、間違いを指摘されても直せない、みたいな。

なのに、表面的な受け答えだけは、どんどん礼儀正しくなっていくので、それがますます私をいら立たせるのですよね・・・ (笑)