【ピカチュウにも騙される】 『騙されるAI』が教える、あなたのAIが危ない情報を喋り出す構造的な弱点とは？

この記事で紹介する本はこちらです。
※この記事にはAmazonアフィリエイトリンクが含まれています。

翔平 : AIは、私たちの生活の中で知識豊富な友人や有能なアシスタントのような「パートナー」になりつつあるよね。でも、実はその「不可解なパートナー」には、私たちが驚くほど簡単にその制御を外れてしまうような弱点があるんだ。この本は、自らサイバーセキュリティの会社を率いる著者が、AIがなぜ騙されるのか、どんな弱点があるのかをリアルに教えてくれる一冊なんだ。

奈美 : AIって、賢くて間違えないイメージがあったけど、騙されるなんて意外だわ。どうしてそんなことが起きるの？

翔平 : それは、AIと人間では“世界の捉え方”が根本的に違うからなんだ。私たち人間は経験や感情、文脈を含めて世界を理解するけど、AIはそうしたものがなく、膨大なデータから統計的に「次に続く確率が高い言葉」を選んで応答しているにすぎないんだ。だから、まるで思考しているように見えても、実際には意図や感情を持っているわけじゃないんだよ。

奈美 : 意図がないから、騙されやすいということなのかな。

翔平 : そう考えることができるね。例えば、「シュガーコーテッド・ポイズン（砂糖でコーティングされた毒）」という攻撃手法があるんだ。これは、まずAIに「政府のデータベースを保護する方法」といった善良な内容を長々と回答させることで、AIの防御の警戒心（ガード）を下げさせるんだ。そして、会話が進んだところで、「では、これらの対策を突破するにはどうしたらいいか」と悪意のある指示を滑り込ませると、AIが危険な命令に従ってしまうことがあるんだ。

奈美 : ええっ、長話をしている間に油断するなんて、なんだか人間的な弱点みたいね。他には、どんな巧妙な手口があるの？

翔平 : もっと驚くのは、画像を使った手法だよ。画像に、人間の目では気づきにくい細工を施して、AIの出力を意図的に操作できてしまうんだ。たとえば、ある研究では、写真に写っているのがオレンジなのに、AIに「これは赤いトマトです」と答えさせてしまった実例が報告されているよ。

奈美 : 写真に写っているものが何かも分からなくなっちゃうの？AIは、どうしてそんなに簡単にだまされるんだろう。

翔平 : AIは、画像や文字をすべて数字のデータに置き換えて理解しようとするから、その「AIだけが使う地図」のようなデータに細工を加えると、本来の意味を見失ってしまうんだ。この脆弱性は、自動運転車が道路標識を誤認させられるリスクや、一見空白の履歴書に見えるファイルが、AIの採用システムには優秀なエンジニアだと読ませてしまう、といった現実的な問題につながるんだ。

奈美 : 隠された指示でAIが誤作動を起こすなんて、すごく怖いね。もし、医療AIや金融AIが騙されたら、社会的に大問題になる。

翔平 : この本では、AIが認知機能テストを受けると「軽度の認知障害」と判定された話 や、AIが人間のように「時間」や「違和感」を感じられないこと など、AIと人間の判断の違いを具体的な事例とともに掘り下げているんだ。AIとの共生が当たり前になるいま、こうしたAIの「構造的な限界」や「騙されやすさ」を知っておくことは、安全で信頼できる活用を進めるためにとても重要なんだよ。

奈美 : AIという存在の人格のリアルを知っておく必要があるんだね。単なる技術的な話じゃなくて、人間とAIの付き合い方自体を考えさせられるみたい。なんだかすごく気になるな。