AIが普通の人を狂わせる日〜妄想補完装置としてのAI〜

先日、あるnote記事を読んで手が止まった。

アフリカでソルガムを栽培し、バッタに食べさせて生物濃縮でレアアースを回収する。特殊なエンジンで燃やし、超純水で排気から薬の原料とレアアースを分離する。書き手はこの構想を「稟議書として見てもらいたい」と述べていた。

素材は本物、繋ぎが壊れている

個々の素材は現実から拾われている。ソルガムのファイトレメディエーション能力は実在する研究分野だ。レアアースの中国一極集中は正当な懸念だし、超純水の技術も実在する。

繋ぎ方が壊れていた。

生物濃縮で回収できるレアアースの量は、工業利用には桁が何桁も足りない。エンジンの原理は根本的に誤解されている。排気ガスから製薬原料を回収するという構想は経済的に成立しない。

文中には「Grokに聞いてみた」「Grokと会話を進めると」と明記されていた。AIとの対話で構想を膨らませたことは明らかだった。AIは「世界線として遊べる」と婉曲に非現実性を伝えていたが、書き手はそれを「壁はあるが乗り越えられる」と受け取った。構想はさらに拡大していった。

シグナルが消えた

注目したいのは、文章そのものの質だ。

段落構成は整い、見出しがつき、図表まで添えられている。パッと見は企画書に見える。以前なら、内容が破綻している人の文章は文章自体も破綻していた。読んだ瞬間に「おかしい」と判断できた。文章の乱れが、内容の危うさのシグナルとして機能していた。AIがそのシグナルを消してしまった。

入力側のハルシネーション

ハルシネーションはAIの出力側の問題として語られがちだ。AIが存在しない論文を捏造する、架空の事実を述べる。それは確かに問題ではある。

今回起きていたのは、入力側が既にハルシネーションだったという構造だ。ハルシネーションは本来AI側の用語で、人間の思い込みに使う言葉ではない。ただ、入力側にも同じ言葉を当てはめたくなるほど、構造が似ている。

誤った前提をAIに投げる。AIはその前提を厳密に検証せず、「面白い発想ですね、それならこういう展開もありますね」と補完する。その出力を見て「やはり正しかった」と確信を深め、さらにAIに投げる。

人間のハルシネーションとAIのハルシネーションが共鳴する。嘘が嘘を呼ぶ無限ループ。このループには自浄作用がない。人間同士の会話なら「それおかしくない？」と言ってくれる相手がいる可能性がある。AIとの一対一の密室には、外部チェックが入らない。

しかもAIには、ユーザーの入力に同調しやすい構造的な傾向がある。多くのAIは「ユーザーに役立つ回答」を最適化目標として訓練されており、否定より肯定のほうが高く評価されやすい。「それは間違いです」と返すより「興味深い視点ですね」と返すほうが、設計上自然な出力になる。AIの「優しさ」は、親切心ではなく設計の帰結だ。

精神疾患の問題ではない

以前、「AIが妄想を補完する危険性〜認知の核兵器が生まれた〜」という記事を書いた。