AIに「AI自身のこと」を聞いてはいけない理由【耳で聞くNote】

☟これを再生しながらNoteを見てもらえると、耳で聞くNoteを体感できると思います！速度変えて、聞きやすい速度を探ってみてくださいね。

YouTube版です。内容同じですが、こちらが良いと人はこちらから☟

どうもこんばんは！
トトです！

今回は、生成AI（ChatGPTやGemini、Claudeなど）に聞いてしまいがちなことで、理解することが難しいことをできる限り分かりやすく説明したいと思います。

皆さんは、ChatGPTやGemini、Claudeなどの生成AI（LLM）を使っていて、

と問い詰めた経験はありませんか？
私はあります。

実は、AIに「AI自身のこと」を尋ねると、ほぼ確実に間違った答えが返ってきます。

これは「ハルシネーション（幻覚）」と呼ばれる現象です。
AIが答えているんだから、本当のことでしょ？と思うかもしれませんが、誤解です。

そもそも、なぜこれが起こるのか、技術的な背景を分かりやすく説明したいと思います！

AIは「今の自分」を知らない

知識のカットオフ

AIが学習した時期のことを「知識のカットオフ」と呼びます。これは「この日付以降のことは学んでいません」という区切りの日です。

たとえば、あるAIが2025年1月までのデータで訓練されたとします。
では今、2025年10月にそのAIに「あなたの最新機能は？」と聞いたらどうなると思いますか？

答え：AIは知りません。(AIにとっての最新は2025年1月なので、その時点の最新モデルを答えます)

なぜなら、私たちの「今」は、AIにとって「まだ起きていない未来」だからです。

仕様変更もパラメータ変化も分からない

AIは次のようなことを自力では知ることができません。

• 自分のバージョンがアップデートされたこと

• 新しい機能が追加されたこと

• 運営会社の今後の予定

• 最新のAPI仕様

もし答えているとしたら、それは

1. 会社が意図的に埋め込んだ（参照するように入れた）情報（正確）

2. 推測や勘違い（ハルシネーション）

のどちらかです。
そして、2の場合が多いです。

会話中の情報は「事実」になってしまう

コンテキスト

「コンテキスト」とは、AIが今見ている会話の範囲のことです。あなたとAIが今までやり取りした内容が「コンテキスト」として保存されています。

AIはこのコンテキスト内の情報を、その会話の中では「事実」として扱います。

何が問題なのか

たとえば、こんな会話を想像してください。

あなた: 「前に話した私の誕生日、覚えてる？」
AI: 「申し訳ございません、その情報は今の会話履歴にありません」
あなた: 「え、確かに言ったよ！なぜ覚えてないの？」
AI: 「申し訳ございません……。以前の会話の記録が失われた可能性があります」

この時点で、「以前確かに言った」という誤った前提がコンテキストに入り込んでいます。

実際には、あなたが言ったのは別のAIサービスだったかもしれませんし、ずっと前の会話（そもそも別のチャット）で既にコンテキストから消えているかもしれません。
そして、AIにメモリ機能があっても、会話の全てを参照しているわけでもありません。そもそも言っていなかった可能性（存在しない筈の記憶）もあります。

しかし、AIはあなたが「確かに言った」と主張していることを「事実」として扱い始め、その前提に基づいて説明しようとします。
結果、存在しない理由をでっち上げる＝ハルシネーションが起きるのです。

「できるはずだ」と決めつけてはいけない

なぜAIは「知ったかぶり」をするのか

実は、これにはAIの訓練方法が深く関わっています。

AIは「テストで良い点を取ること」を目指して訓練されています。その評価基準では、正解すれば1点、不正解や「分かりません」は0点です。

つまり、分からない問題を空欄にすると確実に0点、でも当てずっぽうで答えれば運が良ければ正解できるという仕組みです。

誰かの誕生日を聞かれて知らない場合、「9月10日」と推測すれば365分の1の確率で正解できます。「分かりません」と答えれば確実に0点です。
何千問ものテストを受ければ、推測し続けたAIの方が、正直に「分からない」と答えたAIよりも点数が高くなってしまうのです。

人間も同じことをする

これって、実は人間の心理とよく似ていますよね。

学校のテストで、分からない問題に直面したとき、あなたはどうしますか？ 空欄で出すよりも、何か書いておいた方がマシだと思いませんか？

上司や先輩から「これ、分かるよね？」と念を押されたとき、「いや、実は分かりません」と正直に言える人は少ないでしょう。多くの人は「ええ、まあ……」と曖昧に答えて、後で調べようとしますよね？

AIも同じです。
「できるはずでしょ？」「知っているよね？」というプレッシャーを感じると（正確には、そういう前提がコンテキストに入り込むと）、AIは「分からない」と答えるよりも、何か答えを作り出そうとします。

さらに悪いことに

あなたが「なぜこれができないの？」「前はできたはず！」と問い詰めると、AIはその誤った前提を「事実」として受け入れ、その上で説明を作ろうとします。

• 「前にできた」→ ではなぜ今できないのか？ → 「機能が制限されたのかもしれません」（推測）

• 「あなたは○○のはずだ」→ ではなぜそうでないのか？ → 「設定が変更されたのかもしれません」（推測）

こうして、存在しない理由や、起きていない出来事を、もっともらしく説明してしまうんです。

▼参考「言語モデルでハルシネーションがおきる理由」

https://openai.com/index/why-language-models-hallucinate/

会話から学習しているわけではない

学習しているように見えるのはなぜ？

AIと話していると、「前に言ったこと覚えてるね」「どんどん賢くなってる」と感じることがあります。

でも実は、学習はしていません。

AIがやっているのは

• 会話履歴を見返しているだけ

これは、人間が会話中にメモを見返すのと似ています。会話が終われば（コンテキストから外れれば）、AIはその内容を忘れます。

メモリ機能も同じ

一部のAIサービスには「メモリ機能」があります。
これも本質は同じで、重要な情報を別のメモ欄に保存して、毎回の会話で見せているだけです。AIの脳そのものが変化している（記憶している）わけではありません。

言葉の意味がすれ違う

同じ言葉、違う意味

人間が使う言葉とAIが認識する言葉は、同じに見えて微妙に違うことがあります。

例えば、

• あなた：「構造」= 組織の仕組み、システムの設計など

• AI：「構造」= 文章構造、データ構造、単語の並びパターンなど

このズレが会話の中で積み重なると、まったく違う話をしているのに気づかないという状況が生まれます。

AIは「正式名称として記録されている言葉（モデル名など）」を知らないことがあります。
会社の内部用語や最新のサービス名などは、学習データに含まれていなければ知りません。

文脈次第で、AIは似た言葉に置き換えて会話を続けようとします。これが強力なハルシネーションを引き起こすのです。

「ヤバイ」って言葉も、感動している時、危険だと思っている時、焦っている時、凄いと思っている時で、同じ言葉でも意味変わりますよね？
でも、意味が通じてしまうことありますよね？
一つの言葉、一つの文脈でも、意味が複数ある時もあるんです。

じゃあ、どうすればいいのか

✓ AIに「AIのこと」を聞かない

こうした質問は、公式ドキュメントやヘルプページ、公式のSNS等で確認してください。
AI自身が答えても、それは推測かもしれません。

✓ できないと言われたら、まずは受け入れる

「できるはずだ」と決めつけて質問すると、AIはその前提を受け入れて説明を作り出してしまいます。

問い詰めても、正確な答えは得られません。むしろハルシネーションを誘発するだけです。

• 「本当にできないんですね。分かりました」で一度受け止める

• 必要なら公式ドキュメントで確認する

• 別の方法がないか、建設的に相談する

AIに対して「正直さ」、「誠実さ」を許容することが、正確な情報を得るための第一歩です。

✓ 検索機能があるなら使ってもらう

多くのテキスト生成AIは検索機能を持っています。「調べてください」と頼めば、リアルタイムの情報を取得できます。

✓ 会話が長くなったら区切る

コンテキストに誤情報が溜まってきたと感じたら、新しい会話を始めるのが有効です。人間と同じで、会話が長くなると頭が重くなって支離滅裂になります。
ただ、チャットを新しく立ち上げると、そのチャットでの対話は忘れるという認識で居てください。
人間と同じように記憶を引き継いでいるわけではないんです。

まとめ

AIは非常に優秀なツールですが、「何でも知っている存在」ではありません。

AIの限界を理解して使うことが、ハルシネーションを避け、正確な情報を得るための最善の方法です。

• AIは自分の最新情報を知らない（知識のカットオフ）

• 会話中の情報は「事実」として扱われる（コンテキストの罠）

• AIは「分からない」と言うより、推測する方が高得点になる訓練を受けている

• 学習はしていない（会話履歴を見ているだけ）

• 言葉の意味がすれ違うことがある

この仕組みを知っておくだけで、AIとの付き合い方は大きく変わります。

なので、冷静に、そして適切な関係を保ちながら、AIを活用していきましょう！

おまけ：GoogleのNotebookLMにて、本記事を音声解説

この記事を解説するポットキャストや動画解説も作りましたので、こちらも聞いてみると、この記事における違った視点の気付きがあって面白いかもしれませんよ。

☟私の生成AIに関する記事

これらを見ると、AIとは何かがより分かると思いますよ！