見出し画像

【第25回】AIは平気で嘘をつく。実在しない判例が、世界の法廷で1,000件超〜毎週木曜20時更新｜AI × クリエイティブ実験

AIは俺のスタンド 長澤宏樹 x AI

世界中の裁判所で、弁護士が「実在しない判例」を提出してしまう事故が相次いでいる。AIが"でっち上げた"それっぽい判例を、信じてそのまま出してしまうのだ。専門家のデータベースには、すでに1,000件を超える事例が記録され、今も毎日のように増えている。米国では、制裁金を科された弁護士までいる。

プロですら、AIに足をすくわれている。AIは、平気で嘘をつく。 悪気なく、堂々と、こちらが信じたくなる顔で。

しかも、その嘘の責任は使う側が取らされる。カナダでは、航空会社が自社AIチャットボットの誤案内の責任を問われ、賠償を命じられた(2024年)。日本でも、生成AIが実在しない数字や論文を「もっともらしく」出す"ハルシネーション"が、企業の業務リスクとして語られ始めている。

なぜAIは嘘をつくのか(1分で)

AI(ChatGPTやClaude、Gemini)の正体は、ざっくり言えば「世界最強の予測変換」だ。膨大な文章を学習し、「この文脈なら次に来る確率が一番高い言葉はコレ」を高速で並べている。

つまりAIは、「正しいこと」を調べているのではなく、「それっぽく続く言葉」を計算している。 だから学習データに無いことを聞かれても「知りません」とは言わず、それっぽい言葉で穴を埋めてしまう。これがハルシネーションの正体だ。

厄介なのは、AIに「事実」と「当てずっぽう」の区別が無いこと。本当のことも、デタラメも、まったく同じ自信たっぷりの顔で言う。だから見抜けない。

嘘はバグではなく仕様。性能が上がっても、ゼロにはならない。

俺自身、業務にAIを入れてから何度も食らった。存在しない実績を書かれた。「やりました」と言われた作業は手つかず。送り先は推測で埋められていた。嘘が仕様なら、使う側が仕組みで防ぐしかない。

嘘は"お願い"では消えない。"構造"で防ぐ

コツはひとつ。お願いではなく、構造で縛る。

毎回プロンプトで「嘘つかないでね」と頼んでも、会話が変わればAIは忘れる。だから、AIが必ず参照する"場所"に、ルールと手順をあらかじめ仕込む。役割の違う3種のファイルを、分けて、つなぐ。

① ルールは"必ず読まれる場所"に常駐させる(CLAUDE.md)

Claudeには、毎回必ず自動で読み込まれる指示ファイル(CLAUDE.md)がある。ここに"絶対ルール"を最上段で常駐させる。

・数字・固有名詞・経歴・引用は、一次ソースを確認してから書く。無ければ「無い」と言う。
・推測なら「推測」と明示する。知らないなら「知らない」と言う。

ミソは、毎回プロンプトに打つのではなく、"毎回必ず読まれる場所"に置くこと。
→ ChatGPTなら「カスタム指示」、Claudeなら「プロジェクト指示／CLAUDE.md」に同じ文言を入れれば、今日から真似できる。

② 検証の手順を"部品"にして自動で走らせる(スキル)

ルールを書いても、人もAIも"うっかり"する。だから検証の手順そのものを部品(スキル)にする。

俺の環境では「数字や固有名詞が出てきたら、出典URLを実際に開いて照合する」という手順をスキル化し、外に出す文章はこれを通さないと"完成"にしない、と決めている。スキルの本質は、「チェックリストをレシピのように固め、条件が来たら自動で走らせる」こと。言い回しではなく、手順で縛る。

③ 事実は1件1ファイルにして、索引で必ずつなぐ

覚えておくべき事実は、1ファイル1事実のメモにして、索引(目次)に必ず載せる。索引に載っていないと読み込まれず、「書いたのに効かない」が起きる。

大事なのは、3つを役割で分けて、リンクさせること。混ぜると必ず壊れる。

  • CLAUDE.md = 何を守るか(憲法・ルール)

  • スキル = どうやるか(手順)

  • メモ = 何を知っているか(事実)

④ 記憶に頼らない。"意志ゼロでも動く仕掛け"を置く

③まで整えても、まだ抜ける。AIは、昨日の自分を覚えていないからだ。会話(セッション)が変わると、記憶はリセットされる。だから「毎日これをやる」と決めても、AIの記憶や善意に任せた瞬間、数日で必ず止まる。

実際、これは俺自身がやらかした。「毎日やる」と決めた地味な作業が、4日であっさり止まった。仕組みにせず、気合に頼ったのが敗因だ。意志や記憶に任せた瞬間、人もAIも続かない。

答えは、AIの"外側"に、意志ゼロでも必ず動く仕掛けを置くこと。専門的には「決定論的トリガー」と呼ぶ。AIの判断を一切介さず、条件が来たら機械が勝手に実行する仕組みだ。

  • フック:Claudeには、操作のたびにプログラム(AIではない)が決まった処理を必ず走らせる仕組みがある。俺は「この作業を今日まだやっていなければ、毎回⚠️警告を自動で出す」スクリプトを仕込んだ。やり忘れを、機械が毎回つきつけてくる。入れた途端、止まらなくなった。

  • 定期実行(予約タスク):時間が来たら必ず起動。「あとでやる」を物理的に潰す。

  • 完了の物理判定(②と連動):「やった」と言わせず、"成果物が在るか"を機械が確かめる。

Claudeを使っていなくても本質は同じだ。スマホの繰り返しリマインダー、カレンダーの定期通知、ZapierやiPhoneショートカットの自動化——「自分の意志の外側」から発火するものなら何でもいい。たとえばiPhoneなら、毎日決まった時間に「AIで作った文章、出典を確認したか?」と繰り返しリマインドを出すだけでもいい。

つまり、やる気で続けようとしない。続く"設計"にする。 これは習慣化でも、人のマネジメントでも、まったく同じだ。「気をつけます」より、ミスが起きない動線。

まとめ:今日から真似できる4手順

  1. 常設指示に"嘘よけルール"を最上段で書く(①)

  2. 数字・固有名詞は「出典を開いて照合」を必須工程にする(②)

  3. 事実メモは1件1ファイル＋索引で管理する(③)

  4. 続けたい作業は自動リマインドで縛る(④)

今日の実験はここまで。あなたがAIに任せて、一番ヒヤッとした"嘘"は何だろう。何を聞いて、何をでっち上げられたか。コメントで教えてほしい。次の実験ネタにする。毎週木曜20時更新。

出典・参考


いいなと思ったら応援しよう！