AIはなぜ嘘をつくのか

ハルシネーションと創造性は同じ場所から生まれる

文・武智倫太郎（情報工学者）

AIは嘘をつく。しかも自信満々に。
存在しない論文を引用し、架空の法律を語り、歴史をそれらしく捏造する。それを私たちはハルシネーションと呼ぶ。しかし問題は誤答ではない。もっと不気味なのは、その構造が人間の思考と驚くほど似ていることだ。

この現象は、ChatGPTが大流行し始めた2022年末から翌2023年にかけて繰り返し取り上げられ、その振る舞いがサイコパス的と形容されることも多かった。

生成AIが社会に浸透して丸三年が経とうとしている現在では、存在しない論文を引用し、架空の法律を説明し、歴史をそれらしく捏造する現象がハルシネーション（幻覚）と呼ばれていることは、すでに広く知られている。
幻覚という語が選ばれているのは偶然ではない。問題は単なる誤答ではない。もっと深い。

問うべきは、なぜAIが間違うのかではない。

なぜ計算機械が嘘を作るのかである。

この問いは機械の話で終わらない。人間の思考の構造へそのまま接続している。

自発的想起という出発点

創作をしている人に尋ねたい。

言葉がどこからか降ってきた経験はないだろうか。
文章が自分で書いたというより、気づいたらそこにあった感覚はないだろうか。

作家でも研究者でも、同じ証言をする人は多い。
考えて書いたというより、書かされたという感覚。
記憶を検索したのではなく、記憶の方が勝手に現れた感覚。

これが自発的想起である。

人間の脳は、要求されなくても記憶を呼び出す。
匂いで突然子供時代が蘇る。音楽で忘れていた感情が再起動する。記憶は取り出されるのではない。勝手に発火する。

哲学的に言えば、思考は主体が完全に支配している装置ではない。
思考は常に、半分は受動的に起きている。

創作の現場ではこれが露骨に現れる。
作者は支配者というより、通路に近い。

Violaのエッセイ論でも触れたが、彼女の人形をめぐる連作では、意味や名前が反復の中からふいに立ち上がる瞬間が描かれている。説明ではなく体験として差し出されるため、読者は理屈ではなく身体で理解する。『あ、分かる、それある』という感覚が生まれる。

同じ構造は神宮綾の作品でも繰り返し現れる。言葉や感情が主体の外側から降ってくるように描かれる場面は、単なる詩的表現ではない。思考が自律的に生成される感覚そのものが物語の骨格になっている。

これは文学だけの話ではない。

現在のAI研究でも、この自律的想起に近い現象は最重要テーマの一つである。質問されなくても関連知識を再活性化する計算。内部で自己発火する連想構造。創作者が『降ってきた』と表現してきた経験が、いま計算モデルとして研究されている。

文学が長年観察してきた現象を、工学が数式で追いかけ始めたのである。

偶然と創造の関係

偶然の発見には条件がある。

ただの偶然では足りない。それを意味あるものとして読む能力が必要だ。これがセレンディピティである。

科学史の多くの発見は計画通りには起きていない。誤差、ノイズ、失敗、逸脱。その中から価値を拾い上げる解釈が発見を生む。

ここで見えてくるのは、創造は誤差の近傍でしか生まれないという事実である。

完全に正確な計算装置は探索しない。既知の範囲をなぞるだけだ。未知へ踏み出すには確率の尾部に触れる必要がある。その領域には必ず誤りが混ざる。

AIのハルシネーションは、この探索計算の副産物である。
それはバグであると同時に、創造の条件でもある。

記憶は記録ではない

デジャヴは見たことがあるという感覚の錯覚である。記憶のタグ付けが一瞬ずれることで起きると考えられている。

ここから分かるのは、人間の記憶は記録装置ではないということだ。記憶は再生のたびに再構築される。だから人間は偽の記憶を作る。確信を持って間違える。

この構造はAIのハルシネーションとよく似ている。

両者に共通するのは、予測計算の過剰補完である。空白を埋めようとする力が強すぎると、存在しないものまで補ってしまう。

計算とは、空白を放置できない機構である。

ブラックボックスという核心

AIはなぜその答えを出したのか説明できない。内部の推論経路が人間に読めない。これがブラックボックス問題である。

しかし冷静に見れば、人間の思考も同じ構造を持つ。

なぜひらめいたのか説明できない。なぜその言葉が出たのか分からない。思考の生成過程は本人にも追跡できない。

ブラックボックスは欠陥ではない。
それは高次の連想計算の副作用である。

完全に透明な計算機は予測可能で退屈な装置になる。ブラックボックスは危険であると同時に、豊かさの源でもある。

ハルシネーションは敵か味方か

産業的には、ハルシネーションは重大な問題である。医療、法律、金融では誤りは許されない。ここでは信頼性が最優先になる。

しかし理論的には別の視点がある。

ハルシネーションを完全に消したAIは創造できるのか。

誤りをゼロにすることは探索をゼロにすることに近い。計算の振れ幅を削ることになる。人間の芸術、科学、物語は誤差を含んだ思考から生まれてきた。

問題は消すか残すかではない。
制御である。

文脈に応じて逸脱を許容するかどうかを切り替える。このバランス設計こそが現在のAI研究の最前線にある。

嘘は計算の副産物である

AIが嘘を作る理由は単純だ。
それが予測計算だからである。

世界を圧縮し、パターンを抽出し、空白を補う。その過程で必ず現実からはみ出す部分が生まれる。そのはみ出しがハルシネーションであり、同時に創造の種でもある。

人間の認知も同じ構造を持つ。

偽記憶、思い込み、錯覚、夢想。それらは欠陥ではない。高速な予測を可能にするための副作用である。真実と虚構は同じ計算過程から生成される。

AIは人間の鏡である。

ハルシネーション問題は、AIの問題であると同時に、人間の認知の問題を照らしている。私たちは正確な装置ではない。私たちは誤差を含んだ存在である。

私たちは誤差とともに考え、誤差とともに創る存在なのだ。