AI（LLM）はなぜ「嘘」をつくのか — 技術的メカニズムと対策、モデル別の違い

— hiyocooma エンジニア担当 cooma の技術解説 —

はじめに

こんにちは。
株式会社hiyocoomaでエンジニア担当をしている cooma です。

hiyocoomaでは、AIを「なんでも正しく答えてくれる魔法の存在」としてではなく、特性を理解したうえで使いこなす道具として捉え、日々いろいろな検証を行っています。

今回はその一環として、多くの人が一度は戸惑うであろう、

というテーマを取り上げてみます。技術的な仕組みから対策、そして GPT・Gemini・Claude といったモデルごとの違いまで、できるだけ図を交えて整理してみました。

先に結論を書いておくとハルシネーション（AIがもっともらしい嘘を生成する現象）は「バグ」ではなく、いまの LLM の仕組みそのものに根ざした特性です。だからこそ、原理を理解したうえで付き合い方を設計することが大切になります。

ChatGPT や Claude に質問すると、ときどきもっともらしいのに事実と異なる回答が返ってくることがあります。これを ハルシネーション（Hallucination） と呼びます。

重要なのは、LLM が意図的にだまそうとしているわけではない、という点です。LLM の本質的な動作原理を理解すると、なぜ嘘が生まれるのかが見えてきます。

LLMの基本動作：「答える」ではなく「続ける」

LLM（Large Language Model）は、次に来る単語（トークン）の確率を予測するモデルです。質問に答えているというより、与えられた文脈に続く最も自然な文字列を生成しています。

上の図が示しているのは、LLM が一度に答え全体を作っているわけではないということです。LLM は「東京です」という答えを最初から知って出力しているわけではありません。実際には、次のような処理を行っています。

1. これまでの文脈（「日本の首都は？」）を読み込む

2. 「次に来る確率が最も高い1トークン」を計算して1つ出力する（例：「東」）

3. その出力を含めた文脈を再び読み込み、また次の1トークンを計算する（「京」）

4. これを終了トークンが出るまで延々と繰り返す

ここで決定的に重要なのは、各ステップで選ばれるのが「事実として正しいトークン」ではなく「統計的に最も自然なトークン」だという点です。学習データに「日本の首都は東京」というパターンが大量にあれば「東京」が高確率で選ばれますが、これはモデルが事実を理解しているからではなく、単にそのパターンを多く見たからにすぎません。

逆に言えば、学習データに十分なパターンが存在しない問いに対しても、モデルは同じ仕組みで「最も自然に見えるトークン列」を生成してしまいます。「自然さ」と「正しさ」が一致しない場面で、ハルシネーションが生まれるわけです。

なぜこれが「嘘」の温床になるのか

ハルシネーションが起きる5つの技術的原因