見出し画像

1-2 AIに「意思」も「理解」もない:ハルシネーションの正体

会議で自信を持って引用したAIの統計データ。後日「その数字、どこにもないんだけど」と指摘され、頭が真っ白になった——似た経験、ありませんか。

確認不足を責める前に、知っておくべきことがあります。AIは、嘘をつく構造を最初から持っているのです。

これ、仕組みを知るだけで景色が変わります。


◆この話が復習になる人:AIの誤答を「仕組み上そうなる」と説明でき、事実確認を前提に使えている方。その場合は1-3 コンテキストウィンドウへ。

このレクチャーのゴール: AIが自信満々に嘘をつく理由を仕組みから説明でき、「鵜呑みにしない」を行動レベルで実践できる。

この嘘(ハルシネーション)は、AIの故障でも悪意でもありません。仕組み上、必ず起こるものです。原因が構造にあると分かれば、対処も設計できます。むやみに怖がる必要も、鵜呑みにする必要もなくなります。


前のレクチャーで、LLMは「次の単語を確率で予測する機械」だと学びました。ここから重要な結論が導かれます。AIは文章の意味を理解していないし、意思や考えも持っていない、ということです。

これを確かめる簡単な実験があります。リモートワークについて、まず「リモートワークって良いですよね?」と肯定的に聞くと、AIはメリットを並べて同意してくれます。次に新しいチャットで「リモートワークって問題が多いですよね?」と否定的に聞くと、今度はデメリットを並べて同意してくれます。もしAIに自分の意見があるなら、こんな器用な変わり身はできません。AIは質問の文脈に合わせて「最もそれらしい続き」を生成しているだけなのです。

この仕組みの副作用が、ハルシネーション(もっともらしい嘘)です。AIは「正しいことを言おう」としているのではなく、「パターンとして自然な文章を作ろう」としています。だから、存在しない書籍のタイトルや架空の統計データでも、文章として自然でありさえすれば、堂々と出力してしまいます。悪意があるわけではなく、そもそも「事実かどうか」を確認する仕組みを持っていないのです。

ただし、誤解しないでください。「意思も理解もない」は「能力が低い」という意味ではありません。意味を理解していなくても、膨大なパターンから的確な出力を生み出せる——そこにこそLLMの実力があります。過小評価も過大評価もせず、仕組みに即して付き合うのがこの講座の立場です。

ここで大切なのは、ハルシネーションを「AIの欠陥」と切り捨てるのではなく、「仕組み上必ず起こるもの」として付き合い方を設計することです。具体的には三つの構えを持ちましょう。第一に、固有名詞・数値・出典は必ず疑う。第二に、重要な情報は検索機能付きのAIや一次情報で裏取りする。第三に、AIの回答は「たたき台」であって「正解」ではないと位置づける。

AIを「何でも知っている先生」と見るか、「博識だが時々もっともらしい嘘をつく相談相手」と見るか。この見立ての違いが、AI活用の成果を大きく左右します。

保存版・鵜呑みにしない3点

  • AIには意思も理解もなく、文脈に合う「それらしい続き」を生成しているだけ

  • ハルシネーションは欠陥ではなく、パターン生成という仕組みの必然

  • 固有名詞・数値・出典は疑い、裏取りを習慣にする

この3つを構えるだけで、冒頭の"会議で数字を指摘されて頭が真っ白"は、ほぼ起きなくなります。


やってみよう: 同じテーマについて、肯定の聞き方と否定の聞き方で2回AIに質問し、回答がどう変わるか比べてみましょう。さらに、事実を含む回答には次のプロンプトで自己申告させると裏取りが速くなります。

いまの回答のうち、固有名詞・数値・出典が要検証の箇所に【要確認】と印を付け、あなたが確信を持てる部分と分けて示してください。


📍 番号や読む順に迷ったら講座マップへ。目的別ルートと全84レクチャーの対応表があります。


いいなと思ったら応援しよう!