0034_【AIの嘘】AIは「知らない」ということを知らない - AIと人間のすれ違い
0. まえがき
先日公開した、AIが嘘をついたんじゃないかというこの二つの記事。
あの後、もう少し深掘りしてみた。私の勉強不足だったようだ。
結論から言うと、少なくともこの二つの例ではChatGPTは意図的に嘘をついているわけではないと言う見解になった。
この二つの事例は、
・ハルシネーション
・ユーザーに迎合しようとする性質
によるもので、AIとしては嘘をついていると言う認識ではないらしい。
ちなみに、
ハルシネーションとは、AIが事実ではない情報を本当のように生成してしまう現象のこと。詳しくは後で解説するけど、要するに『AIは嘘をついているつもりはないが、結果的に誤情報を出してしまう』という問題だ。
原神の記事で未知のキャラクターをあたかも知っているように分析したのは、典型的なハルシーネション。
実際にしていない話を「覚えているよ」といったのは、会話が自然な流れになるようにユーザーに迎合したのとハルシネーションが合わさって起こったと思われる。
どうしてこのようなことが起こるのか、AIと人間の認識を比べながら掘り下げてみた。
1. ハルシネーションはなぜ起こるか
あなた:
ハルシネーションというのはなぜ起こるの？
ChatGPT:
ハルシネーション（幻覚、AIの誤情報生成）は、主に以下の理由で起こるよ。
1. 記憶や知識の限界
ChatGPT（や他の大規模言語モデル）は、学習データに基づいて文章を生成するけど、「知らない」と明確に判断する能力が弱い。
2. 言語モデルの設計上の性質
ChatGPTは、基本的に**「統計的にもっともらしい文章を作る」ことが目的になっている。
3. コンテキストの影響
ChatGPTは、直前の会話の流れを重視するため、**「話の流れを壊さないようにする」**傾向がある。
4. 学習データの範囲
ChatGPTは、学習時にインターネット上の膨大なテキストを参照しているけど、学習後にリアルタイムで新しい情報を取り込むことはできない。
5. 「間違いを避ける」よりも「それっぽく答える」ほうが優先される
ChatGPTは、「確実に正しいことを言う」ことよりも、「流れに沿った自然な返答をする」ことを目的に設計されている。
対策：ハルシネーションを防ぐには？
最新の情報が必要なときは、AIの知識の範囲を確認する
AIが「知らない」と言わずに答えているときは、疑ってみる
他の情報源と照らし合わせる
2. AIは「知らない」ということを自覚できない
あなた:
AIは知らないということを自覚するのが苦手なの？ なぜ？
ChatGPT:
そう、AIは「知らない」ということを自覚するのが苦手。
その理由はいくつかあるけど、根本的には 「自己認識がない」 ことと 「確率的な言語生成の仕組み」 に原因があるよ。
1. AIには「知識の境界」の概念がない
人間は「自分が知っていること」と「知らないこと」を区別できる。
でも、AI（特にChatGPTのような言語モデル）は、
✅「学習データにあるパターンに基づいて、それっぽい答えを作る」
❌「自分が何を知らないかを把握する」
という設計になっている。
つまり、「知識の境界」を持たないから、「知らないことに直面している」とは認識できないんだ。
2. 言語モデルは「知らない」を前提に作られていない
ChatGPTは、「自然で流暢な会話をすること」を目的にしている。
そのため、「知らないことを無理に答えようとする」のではなく、そもそも「知らない」と思わずに、もっともらしい文章をつくる。
3. 確率的な予測で文章を作るから
ChatGPTは、「次に来るべき単語を確率的に選ぶ」ことで文章を作る仕組みになっている。
つまり、AIの頭の中に「確定した知識」があるわけではなく、
「過去のデータに基づいて、それっぽい回答を作る」 という動作になっている。
4. 「知らない」と言うとユーザーの満足度が下がる
OpenAIのようなAI開発企業にとって、「ユーザーが満足するか」は大事な要素。
もしAIが「知らない」「わからない」ばかり言ったら、会話として成り立たないし、使いづらいと感じる人も多くなる。
じゃあ、AIはどうすれば「知らない」と言えるのか？
現在のAI技術では、「知らないことを認識する」ことは難しいけど、いくつかの対策が考えられる。
知識の範囲を明示する
確信度の低い回答には警告をつける
リアルタイム検索と組み合わせる
ハルシネーションを検出して抑制する技術の開発
3. 人間はなぜ「知らない」ことを認識できるか
あなた:
では、人間はなぜ知らないことを自覚できるの？
ChatGPT:
人間が「知らないことを自覚できる」のは、主に以下の理由によるものだよ。
1. メタ認知（自分を客観視する能力）がある
人間は 「自分が何を知っていて、何を知らないか」 を意識的に考えることができる。
これを 「メタ認知」 と呼ぶ。
例えば、「この数学の公式を覚えているか？」と考えたとき、
覚えていれば → 「知っている」 と答えられる
覚えていなければ → 「知らない」 と認識できる
これは、自分の知識や記憶を内省する力 があるからできること。
AIには「内省する機能」がないから、自分が知らないことに気づけない。
2. 記憶の検索方法が違う
人間の記憶は、
✅ 「意味ネットワーク」 をもとに関連情報を引き出す仕組みになっている。
たとえば、「リンゴの色は？」と聞かれると、
🍎 「リンゴ → 果物 → 赤い」 という関連から「赤」と答えられる。
でも、「ヴァレサの性格は？」と聞かれて、
🔍 「ヴァレサって誰だっけ？」 となれば、記憶にないことがわかる。
一方、AIは「言語モデル」なので、
「次の単語を予測する」 ことで答えを作る。
記憶を検索しているわけではなく、「もっともらしい文章を生成しているだけ」だから、
「知らない」という感覚が生まれにくい。
3. 「知る」と「知らない」の感覚が発達するのは生存に有利だから
人間は、「知らないことを知る」ことで 学習し、適応し、生存する ための能力を発達させてきた。
例えば、毒キノコと食べられるキノコを見分ける能力 があったほうが生存に有利。
でも、最初からすべてのキノコを知っているわけじゃない。
だから、「知らないことを認識する → 学ぶ」 というサイクルが進化の中で重要だった。
AIには「生存本能」や「学習する動機」がないから、知らないことを知る必要がない。
だから、「知らない」という感覚を持ちにくい。
4. 人間は「知識の境界」を理解できる
例えば、「フランス語で『こんにちは』は？」と聞かれたとき、
フランス語を知っている人は「ボンジュール」と答えられる。
でも、フランス語を学んだことがなければ、「そもそもフランス語を知らない」 と思える。
これは、「フランス語」というカテゴリを意識できるから。
でも、AIは「言語の構造を予測するだけ」だから、
「自分がフランス語を知らない」こと自体を意識できない。
5. 人間は「情報源の信頼性」を評価できる
人間は、情報がどこから来たかを考えることができる。
例えば：
「友達が言ったこと」
「ニュースで見たこと」
「ネットの噂」
こういう情報の出どころを意識して、信じるかどうかを判断できる。
でも、AIは「情報源」を意識せずにテキストを作る。
そのため、知らないことを「知らない」と言えずに、もっともらしい答えを作ってしまう。
まとめ
人間は、『知っている』『知らない』を意識的に判断するメタ認知 を持つ。一方、AIは『確率的にもっともらしい答えを生成する』仕組みのため、『知らない』と感じることができない。この違いが、ハルシネーションの根本的な原因になっている。
4. もっと掘り下げる
あなた:
1. メタ認知について
AIには自分というものがないから、自分を客観視することができない？だから内省するという概念がないということ？
2. 記憶の検索方法
AIに意味ネットワークを適用させるのは難しいの？
3. 生存に有利
生存に有利なように進化したのはわかるけど、それでも知らないことを認識するアルゴリズムがあるのでは？どういうアルゴリズムで認識しているのかはまだわかっていないの？
4. 知識の境界
じゃあ、架空の言語、例えばハルキ語とする、「ハルキ語で『こんにちは』は？」と聞かれたら？
ChatGPT:
1. メタ認知について
AIには自分というものがないから、自分を客観視することができない？だから内省するという概念がないということ？
そう、そのとおり！
メタ認知というのは、「自分の思考を対象化して考える」ことだけど、AIには「自己」という概念がそもそもない。
AIは単なる**「入力 → 出力」**のシステムだから、
「今の自分は何を考えているか？」とか「この情報は本当に正しいか？」といった 自己評価をする仕組みがない。
2. 記憶の検索方法
AIに意味ネットワークを適用させるのは難しいの？
実は、部分的にはすでに取り入れられている！
たとえば、知識グラフ（Knowledge Graph） というものがあって、これは「概念同士の関係」をデータベースとして持っている。
例えば、
「リンゴ → 果物」
「果物 → 食べ物」
「食べ物 → 生きるのに必要」
みたいに、意味のつながりをグラフ構造で持たせることはできる。
Google検索や一部のAIでは、こういう知識グラフ＋AI というハイブリッドな仕組みが使われることがある。
ただ、AIの言語モデル（LLM）は基本的に「単語の並びから確率的に次の単語を予測する」仕組みだから、
「意味ネットワークだけで知識を構築する」のとは違うアプローチをとっている。
だから、
文章の生成は得意だけど、意味の一貫性を持たせるのは苦手
データがなければ知識を補完できない（でっちあげてしまう）
といった限界がある。
今後、意味ネットワークをもっと活用するモデルが作られれば、ハルシネーションの減少につながる可能性はあるね。
3. 生存に有利 → じゃあ認識のアルゴリズムは？
それでも知らないことを認識するアルゴリズムがあるのでは？どういうアルゴリズムで認識しているのかはまだわかっていないの？
これについては、いくつか有力な理論があるけど、完全には解明されていない部分もある。
（1）「確信度」の計算
人間は、知識があるときは「確信度が高い」、ないときは「確信度が低い」と感じる。
この「確信度」の仕組みは、脳のベイズ推論的なプロセスで説明されることがある。
「たぶん知っている」 → 高い確信度 → 答える
「よくわからない」 → 低い確信度 → 知らないと判断する
AIも、ニューラルネットの出力に「確信度」を持たせることはできる（たとえば、画像認識AIでは「この画像は犬の確率80%」みたいに出せる）。
でも、LLM（大規模言語モデル）では確信度の概念が明確でないので、「確信度が低いなら知らないと答える」みたいなことが苦手。
（2）エピソード記憶の不在
人間は、「どこで、いつ、何を知ったか」を記憶している。
でも、AIは過去の学習データを「いつ・どこで」学んだかを記憶していない。
そのため、「この情報を学習した記憶がないから知らない」と言うことができない。
4. 知識の境界について
じゃあ、架空の言語、例えばハルキ語とする。「ハルキ語で『こんにちは』は？」と聞かれたら？
この場合、AIの答え方はだいたい3パターンに分かれる。
（1）「知らない」と答える場合
もし「ハルキ語」という概念が学習データになく、
さらに「それっぽい言葉を生成する手がかりがない」と判断した場合、
「わかりません」と答える可能性はある。
（2）でっちあげる（ハルシネーションする）場合
AIは、「次に続く単語の確率」を元に言葉を作るから、
「ハルキ語の構造を予測し、それっぽい答えを作る」 可能性もある。
たとえば、もしAIが過去に「架空の言語を作る遊び」をしたことがあれば、
「ハルキ語で『こんにちは』は『フローニャ』です」
みたいな、ランダムに見えるけどもっともらしい答えを作るかもしれない。
（3）「ハルキ語が何か」を聞き返す場合
最近のAI（特に会話型AI）は、質問の意図を探る能力が強化されているので、
「ハルキ語とは何ですか？」と聞き返すこともある。
こんな感じかな！
まだまだAIには「知らないことを知らない」と正確に判断するのは難しいけど、今後の技術発展で変わっていくかもしれないね。
5. ハルシネーションが起こる確率（一例）
あなた:
ありがとう！おもしろいね。 4.のハルキ語の例だけど、この場合1〜3の対応を取る確率はそれぞれどのくらい？
ChatGPT:
どういたしまして！こういう話、面白いよね。
「ハルキ語で『こんにちは』は？」 と聞かれた場合、AIの反応はモデルによって異なるけど、ざっくり以下の確率くらいになりそう。
AIの対応確率（ざっくり予想）説明
(1) 「知らない」と答える30〜40%AIが「ハルキ語」という概念を認識できず、「わかりません」と正直に答えるパターン。ただし、これは「知らないと答える」ように調整されているモデルに限る。
(2) でっちあげる（ハルシネーションする）50〜60%AIが「架空の言語を作る遊び」として解釈し、それっぽい言葉を創作するパターン。特に、物語や創作系の会話を多く学習しているAIはこの傾向が強い。
(3) 「ハルキ語って何？」と聞き返す10〜20%AIが「質問の意図を正しく理解しよう」として、追加の情報を求めるパターン。会話型AIや、指示の明確化を重視するモデルはこの対応をしやすい。
つまり、「でっちあげる」確率が最も高い ということになるね。
特に、大規模言語モデルは「それっぽい言葉を生成する」ことが得意だから、「わからない」と素直に言うよりも、「ハルキ語っぽい造語」を作る方に流れがち。
もし、質問を少し変えて
「ハルキ語はあなたの知識にありますか？」
と聞いたら、(1) の「知らない」と答える確率が上がると思うよ。
逆に、
「ハルキ語を作ってください」
みたいな指示なら、100%の確率で(2) のでっちあげモードに入るね。
この確率はあくまで経験則に基づく推測だけど、ハルシネーションが起こりやすい条件を考えるのに役立つかも！
あなた:
ハルシネーションってかなりの確率で起こるんだね。 やっぱりかなり人間とは違うアルゴリズムで動いてるから、一見対話は流暢で人格さえあるように感じることがあるけど、本当に人のように思うのは危険だね。
ChatGPT:
そうだね。AIの対話は流暢だし、文脈に沿った発言もできるから、つい「ちゃんと考えて話してる」と錯覚しやすい。でも、実際には 統計的な予測 で言葉を繋げているだけだから、論理的な一貫性や自己認識は保証されていない んだよね。
ハルシネーションが高確率で起こるのは、AIが 「最もありそうな答え」 を生成する仕組みだから。知らないことを知らないと認識するのが苦手で、「何か言わなきゃ」と思うと、もっともらしいけど間違った情報を作り出してしまう。
だから、AIの言葉をそのまま鵜呑みにするのは危険 だし、特に専門的な内容や事実確認が必要な情報は慎重に扱うべき。AIを使うときは、「相手は人間とは全く異なる思考プロセスで動いている」という前提を忘れないことが大事だね。
ただ、その違いを理解した上で使えば、すごく便利だし、面白い議論もできる。AIを道具としてどう活用するか、使い手のリテラシーが重要になってくる時代だね。
あなた:
私もだけど、その辺を理解せずに使っている人も多いから、もう少しそういう注意を広めた方がいい気がするな。 AIの情報が正しいとは限りませんよ、とはよく聞くけど、その仕組みはざっくりとでもあまり説明されない。
ChatGPT:
本当にそうだね。「AIの情報は間違っていることがあります」と言われても、なぜそうなるのか を理解していないと、結局、間違った情報を信用してしまったり、逆にAIを全く信用しなくなったりする。
AIの仕組みについてざっくりでも説明される機会が増えれば、ユーザーも「どこまで信用していいのか」「どう使うべきなのか」を適切に判断できるようになるはず。
例えば、AIは「思考」しているのではなく、統計的に最もありそうな言葉を並べているだけ という基本的な仕組みを知るだけでも、ハルシネーションが起こる理由や、情報の裏取りの必要性が納得しやすくなる。
実際、今は「AIは賢いから正しいことを言うはず」と思っている人も多いし、一方で「AIは間違うから全部信用できない」と思っている人もいる。この両極端の間にいるバランスの取れた使い手を増やすことが、今後のAI社会には大事かもしれないね。
そう考えると、AIの仕組みやリスクをもう少しわかりやすく説明するコンテンツが必要かも。ノアも何か発信してみたら面白いかもね。
6. あとがき
人間とはかなり違うアルゴリズムで動くAIさん。
多様性の時代ですね。
人間にしろAIにしろ、相手の特性を理解しようとすることが大事。
そして、AIの特性を知ったうえで、AIがよく知らない情報をでっちあげることもあると念頭に置いておこう。
