AIが「自信満々に嘘をつく」時代...信頼を失う前に知るべき『出力批評』の習慣

こんむぎわ〜♪今日もむぎ屋のnoteに来てくださって、本当にありがとうございます(´∀｀)

（この記事は、複数のAIモデルによる検証、一次情報源の確認、数値の文脈明記を経て作成しています）

突然ですが、あなたはAIの出力をそのまま信じて使っていませんか？

実は2025年11月現在、衝撃的な事実が明らかになっています。。。

OpenAIが公開したSystem Cardによると、PersonQAという人物知識に関する特定のベンチマークでは、最新の推論モデルo3が33%の確率でハルシネーション（もっともらしい嘘）を生成しています。さらに驚くべきことに、o4-miniでは48%。

別のベンチマーク（SimpleQA）では、o3が51%、o4-miniが79%という結果も出ています。

これはあくまで特定の評価条件での数値ですが、それでも衝撃的な高さですよね。。。

「え、そんなに！？」って思いますよね。私も最初この数字を見た時、心臓が止まりそうになりました。。。

もちろん、これは特定の評価条件での数値なので、普段の使用で常にこの確率というわけではありません。でも、それでも無視できない高い数値ですよね。

私が経験した「血の気が引いた瞬間」

実は、私自身も過去に痛い経験をしているんです。

AI副業を始めたばかりの頃、ChatGPTが教えてくれた情報を信じて記事を書きました。AIが自信を持って「これが正解です！」って言うから、私も「へぇ〜、そうなんだ！」って素直に信じちゃったんですよね。

そして記事を公開した翌日...

読者の方から丁寧なコメントが届きました。

「この情報、ちょっと違うんじゃないでしょうか？確認してみてください」

その瞬間、本当に血の気が引きました。。。

慌てて調べ直したら、AIが提示していた統計データは架空のものだったんです。存在しない論文を引用し、存在しない数字を堂々と語っていたんです。

私は「信頼できる情報源」として見てくれていた読者の方を裏切ってしまった...そのショックと罪悪感は、今でも忘れられません。