見出し画像

ChatGPTはなぜ嘘をつくのか?ハルシネーションで振り回された僕の失敗と対策

ChatGPTを使い始めた頃、僕は何度もこう思いました。
「これ、嘘ついてないか?」と。

それっぽく正しい文章。一見、筋が通っている説明。でも、数字を確認すると合わない。前回と言っていることが微妙に違う。仕事で使おうとすると、なぜか信用しきれない。

いわゆる ハルシネーション に、完全に振り回されていた時期です。

当時の僕は、「ChatGPTは便利だけど、実務では危ない」「結局、最後は人が全部チェックしないと使えない」そんな距離感で使っていました。

でも今振り返ると、原因ははっきりしています。

ChatGPTが嘘をついていたわけではありません。嘘をつかせる指示を、僕が出していただけでした。

目的が曖昧。
前提条件が抜けている。
何を求めているのかを言語化できていない。

この状態でAIに仕事を投げれば、それっぽい回答が返ってくるのは、むしろ当然だったんです。

この記事では、

・僕がハルシネーションで実際に失敗した事例
・なぜ独学だと再現性が出なかったのか
・ハルシネーションを起こしにくくする考え方
・今、仕事で使っている「嘘を減らすプロンプトの設計」

を、実務目線でまとめています。

「ChatGPTを仕事で使いたいけど、出力が信用できなくて一歩踏み込めない」

そんな人にとって、AIが悪いのではなく、向き合い方の問題だったと気づくきっかけになれば嬉しいです。



ChatGPTはなぜ嘘をつくのか?(ハルシネーションの正体)

結論から言うと、ChatGPTは「嘘をつこう」として嘘をついているわけではありません。
多くの場合、足りない情報をそれっぽく補完してしまうことで、結果的に嘘に見える回答が生まれます。

これが、いわゆるハルシネーション(Hallucination)です。

ChatGPTは、

・与えられた情報
・これまでの文脈
・統計的にもっともありそうな言葉の並び

を元に回答を生成します。

つまり、

・前提条件が曖昧
・目的が不明確
・制約が指定されていない

この状態で質問を投げると、「分からない」とは言わず、それっぽい答えを作りにいく性質があります。

OpenAI自身も、この仕組みについて以下のように説明しています。

指示や前提が曖昧な場合、モデルは空白を埋めるために推測を行い、
結果として事実ではない内容をもっともらしく生成することがある

出典:OpenAI公式
https://openai.com/ja-JP/index/why-language-models-hallucinate/

ここで重要なのは、ハルシネーションは「精度の低さ」ではなく「使い方の問題」で起きやすいという点です。


失敗例|Uber Eats広告で「それっぽいのにズレた回答」を掴んだ話

僕がハルシネーションで一番痛かったのは、「完全に嘘じゃない」けど「前提がズレてて使えない」回答を、仕事の判断材料にしそうになった時です。

たとえば、

Uber Eatsのリスティング広告で、「CPCを下げる方法を教えて」

とだけ聞くと、ChatGPTはそれっぽい改善策を並べてきます。
商品数を絞る、配信時間をピーク帯に寄せる、商品名を調整する、写真の明るさを改善する…みたいなやつですね。

UberEatsで「CPCを下げる方法を教えて」と依頼して出てきた回答。

これ一見、正しそうに見える。でも、よく見ると検討違いになります。
Ubereatsでは商品毎の広告配信はできません。一見それっぽいけど、Ubereatsでは一般的なリスティング広告とは仕様が異なるので、その前提のルールを渡す必要があります。


なぜズレたのか?(原因は「前提情報の欠落」)

Uber Eatsの広告って、そもそも運用のルールが独特なんですよね。

でも、ChatGPTは僕がそのルールを渡さない限り、一般的なWeb広告(Google広告やSNS広告)っぽい文脈で補完して答えようとします。

結果、文章は正しそうなのに、現場で使うとズレる。

つまりこれは、AIが嘘をついたというより、僕が「ズレた土俵」にAIを立たせてしまったというミスでした。


本当は、最低でもこれを渡さないといけなかった

僕のケースだと、最低限これが必要でした。

1)前提(役割)「あなたはUber Eatsのマーケター/広告運用担当です」
2)ルール(制限・仕様)Uber EatsのCPCは大きく
①広告費の自動入札(自動最適化)
②CPCを◯◯円で入札(例:1クリック15円〜のように指定)
の2パターンがある
クリック率が高ければ配信が増える仕組み
広告で配信する画像も変更可能
商品単位での広告出稿はできない。業態毎しか不可

3)条件(出力の制約)
「僕が出した情報」と「ファクトが明確なもの(出典明示)」のみを正とする
推測・勝手な解釈は禁止

これを渡して初めて同じ質問でも務で使える回答になりました。


対策|「前提・ルール・条件」を渡すだけで、出力の再現性が変わる

ここで僕が学んだのは、プロンプトの小技じゃなくて、もっと根っこの話です。ChatGPTに仕事を任せるときは、まず

前提(誰として考えるか)
ルール(何ができて何ができないか)
条件(何を正とし、何を禁止するか)

この3点をセットで渡す。これだけで、ハルシネーションは目に見えて減ります。

条件を揃えると、回答は「それっぽい助言」から「構造的な答え」に変わる

前提・ルール・条件を整理して渡した結果、最終的に返ってきた回答がこちらです。

3つの条件を入れて返ってきた回答

これでやっと正しい回答が得られる状態に。

ここで重要なのは、「具体的な業態URLや実データを渡していない」にも関わらず、

・CPCは入札額ではなくCTR × 競争状況の構造で決まる
・画像変更=学習リセットになるため広告配信中の変更はCPC悪化に直結する
・入札で補うのではなく業態画像(代表商品)でCTRを作るべき

といった、Uber Eats広告の仕様に沿った構造的な回答”返ってきています。

これは、「細かいテクニックを教えてもらった」というより、

・どこを触るとCPCが上がるのか
・どこを触れば再現性が出るのか

という 判断軸そのもの が整理された感覚でした。

ここからさらに業態の詳細をインプットすれば、自分の業態にあった施策のヒントを得ることができます。


なぜ、ここまで精度が上がったのか

理由はシンプルです。

この仕事には、このルールがあるという前提を、先に渡しただけです。

逆に言うと、前提を渡さなければ、ChatGPTは

・一般的な広告論
・それっぽく聞こえる改善案

を、親切に補完してくる

それが嘘をつかれたように感じる正体でした。


僕がハルシネーションに振り回されていた本当の原因

ここまでを振り返って、今ならはっきり言えます。

ChatGPTが嘘をついていたのではありません。

・前提
・ルール
・判断基準


を整理しないまま、仕事の相談を投げていた 僕の側の問題でした。生成AIは、「答えを出す存在」ではなく「構造を整理する補助脳」

この役割を理解してから、ハルシネーションに振り回されることは、ほとんどなくなりました。


ハルシネーションが起きやすい仕事/起きにくい仕事

ここまでの話を踏まえると、ハルシネーションは ランダムに起きているわけではないことが分かります。

実際には、

仕事の種類によって、起きやすさがはっきり分かれる

というのが、僕の実感です。


ハルシネーションが起きやすい仕事

まず、注意が必要なのは次のような仕事です。

・ルール・仕様・制約が多い仕事
・プラットフォームや制度に強く依存する仕事
・「正解が1つに決まっている」実務相談
・前提を省略したまま投げる専門領域の相談

今回の Uber Eatsの広告運用 が、まさにこれでした。

Uber Eatsには、

・広告の配信ロジック
・入札方式の違い
・変更してはいけないタイミング
・業態単位という独特の設計

といったUberEats独自の暗黙の前提・ルール が大量にあります。

これを渡さずに「CPCを下げる方法を教えて」と聞けば、それっぽいけど、実務ではズレた回答が返ってくるのは、ある意味当然でした。

ChatGPTは Uber Eatsの内部仕様を前提として推論することはできないからです。


ハルシネーションが起きにくい仕事(修正版)

一方で、次のような仕事では、ChatGPTは非常に安定して力を発揮します。

・情報の整理・要約
・考えを言語化するための壁打ち
・仮説の洗い出し
・論点整理・構造化
・文章の下書きや構成作成

これらに共通しているのは、「一定の型や考え方が、すでに一般論として存在している」という点です。

たとえば、

・要約には「情報を削る順番」がある
・文章には「読みやすくなる構造」がある
・論点整理には「抜け漏れを防ぐ型」がある

こうした 汎用的なルール がある仕事では、ChatGPTはそれをベースに安定した出力を行えます。

文章の整理や要約が、ChatGPTで比較的安定するのは、「まとめ方」には汎用的な型が存在するからです。

たとえば PREP法のように、

・結論を先に示す
・理由を補足する
・具体例で支える

といった構造は、分野やテーマを問わず使えます。

ChatGPTは、こうした 型に沿って情報を整理すること自体は非常に得意です。

一方で、その 中身 はまったく別物です。

業種や業態、ツールの仕様、現場ごとのルールなど、文脈に強く依存する情報は、人が正しく与えなければなりません。

ChatGPTは「型を使って整えること」はできても、前提やルールを自動で正しく補完することはできない

ここを理解せずに使うと、事実としては間違っていなくても、
現場とは噛み合わない「それっぽいけどズレた答え」に振り回されることになります。


僕が混乱していた本当の理由

振り返ると、僕は以前、

・正解が厳密に決まっている仕事
・ルール依存の強い実務

に対しても、

ChatGPTなら答えを出してくれるはず

という期待を、無意識に置いていました。

これが、ハルシネーションに振り回されていた最大の原因だったと思います。


まとめ|ハルシネーションを起こす原因とは?

ハルシネーションを起こす原因とは…。

ChatGPTに嘘をつかれていると思っていた原因は、AIではなく、前提やルールを整理せずに仕事を投げていた自分にありました。

僕自身は独学では出力の再現性に限界を感じ、スタートAIのスクールで「前提・ルール・条件」を揃える考え方を学んだことで、ハルシネーションは激減しました。

生成AIは答えを出す存在ではなく、構造を整理する補助脳。この認識に切り替わったことで、仕事での使い方も大きく変わりました。


これから生成AIを学ぶ人へ

もし今、ChatGPTを使っていて「なんだかズレる」「結局よく分からない」「自分には向いてないのかも」と感じているなら、それは能力の問題ではありません。

多くの場合、生成AIに何を期待して、どこまでを任せるのかこの整理ができていないだけです。

生成AIは、魔法の答えをくれる存在ではありません。
一方で、前提・ルール・条件を揃えたうえで使えば、仕事の思考整理や判断スピードを、確実に押し上げてくれます。

独学で試行錯誤するのも一つの道ですが、僕自身は、考え方と出力の軸を整理するためにスクールという選択をしました。

大切なのは、「学ぶこと」そのものではなく、自分の仕事のどこに、どう組み込むかを考えること

この記事が、生成AIに振り回される側から、生成AIを使いこなす側に立つための、ひとつのヒントになれば嬉しいです。

以下は僕が参加したスタートAIの無料セミナー(生成AI速習ウェブセミナー)。当時の僕のような課題を感じている人には解決方法のヒントになるので、覗いてみてみてくださいね。

出典:https://zerochat-master.jp/ln/zrrv/wrk/stl/4265

◾️スタートAI|生成AI速習ウェブセミナー
1.努力革命

AI時代は「頑張り方そのものが変わる」という思想整理

2.AI思考法(実務視点)
ChatGPTを文章生成ツールではなく「仕事の補助脳」として捉える考え方

3.一行プロンプトの実演
長文プロンプトではなく、目的から逆算して一行ずつ精度を上げる手法

4.実務活用例の紹介
文章作成・資料整理・企画・調査など、実際の業務ベースの活用シーン

URL:https://zerochat-master.jp/ln/zrrv/wrk/stl/4265

◾️免責事項
本記事には、生成AIスクール「スタートAI」を含むアフィリエイトリンク(PR)が含まれる場合があります。
ただし、記事内で紹介している内容や評価は、筆者自身の実体験・検証・業務での活用をもとにしたものであり、広告掲載の有無によって内容や結論を変えることはありません。

生成AIセミナーやスクールの受講は、目的やスキルレベルによって向き不向きがあります。
最終的な判断は、ご自身の状況に合わせて行ってください。

いいなと思ったら応援しよう!