AIの答え、そのまま使って大丈夫？――何度も間違えられた私が作った「4段階の確認ルール」

AIに質問すると、すぐに答えが返ってくる。
しかも、その答えはかなり自然です。

理由も説明してくれる。
数字も出してくれる。
聞けば出典まで教えてくれる。

私も、いつの間にかそれに慣れていました。
分からないことがあれば、とりあえずAIに聞く。

仕事でも、調べものでも、何か困ったときでも。
もちろん、AIが間違えることがあるのは知っています。

それでも私は最近まで、

「ちゃんと資料を渡して、その資料について質問しているなら、少なくとも資料を読んだうえで答えているだろう」

と思っていました。その感覚が大きく変わった出来事がありました。

きっかけは、国税庁のPDFでした。

国税庁のPDFを、ChatGPTに渡してみた

先日、ChatGPT Voiceで国税庁のPDFについて質問する検証をしました。
税金の資料って、正直なところ全部読むのは大変です。

そこで、

「普通の会社員に関係しそうな内容だけ、3分くらいで分かるように説明して」

と頼みました。

するとChatGPTは、

年末調整。
ふるさと納税。
医療費控除。
副業。

といった、会社員に関係しそうな話を次々としてくれました。

私は普通に、「PDFを読んで、その中から説明してくれている」

と思っていました。

だって、こちらはPDFを渡して、そのPDFについて質問しているんです。

その後も、

「副業を始めた場合に関係しそうなところはある？」
「医療費をたくさん払った場合は？」
「ふるさと納税では何に注意するように書かれている？」

と聞きました。

ChatGPTは、そのたびに自然に答えてくれました。

ここまで聞いて、

「実はそのPDFを読まずに答えているかもしれない」

なんて、私はほとんど考えていませんでした。

「何ページ？」と聞いた

状況が変わったのは、ここからです。私は何気なく、

「今の回答は、このPDFの何ページに書いてありますか？」

と聞きました。

するとChatGPTは、PDFを直接見て答えているわけではなく、一般的な税務知識をもとに回答していた、と説明しました。

そこで初めて、

「え？」

となりました。

今までの回答は何だったんだろう。

こちらはずっと、渡したPDFについて質問していました。それなのに、PDFに書かれていることと、AIがもともと知っている一般知識が、自然に混ざっていた。

しかも会話だけを聞いていると、その境界がほとんど分かりませんでした。

さらにPDFについて質問を続けました。

医療費控除について聞くと、

「12ページ」

と回答。

実際に見てみると違う。

指摘すると、今度は、

「32ページ」

と回答。

そこを見ると、また違う。

さらに確認して、最終的には15ページ周辺にたどり着きました。

最初の12ページ。次の32ページ。そして15ページ。

私はそこで、かなり怖くなりました。

怖かったのは、間違えたことではない

AIが間違えること自体は、今ではそれほど驚きません。
生成AIが常に正しいわけではないことは分かっています。

私が一番引っかかったのは、そこではありませんでした。

分からないなら、分からないと言ってほしい。

これです。

さらに言えば、

根拠がないのに断言するのが、一番怖い。

今回も途中で、「このPDFは読めるの？」と聞いています。

すると「読める」と答えた場面がありました。
だから、こちらもその前提で会話を続けます。

でも、その後になって実際にはPDFを確認できていなかったことが分かる。

もし最初から、

「今はPDFそのものを確認できていません。一般知識からなら回答できます」

と言われていたら、受け取り方はまったく違いました。

一般知識として参考にする。
あとでPDFを確認する。

それだけです。

間違っているかもしれない回答より、

「分かりません」と言える方が、私はずっと信用できます。

そして気づいた。似たことは、これまでもあった

今回の出来事をきっかけに、これまでAIを使ってきた経験を振り返ってみました。すると、似た経験がいくつもありました。

障害対応の引き継ぎ情報をAIに渡したときには、元の情報では確認できない「復旧」まで自然に補われたことがありました。

Kubernetesの障害調査では、ログから確認できる事実以上に、原因を具体的に説明されたこともあります。

危険な手順をAIが止めてくれたので安心したら、代わりに提示された手順にも別の問題がありました。

最新情報について詳しく説明してくれたのに、あとから公式情報を探すと確認できない内容が混ざっていたこともあります。

ジャンルは全部違います。でも、共通することがありました。

AIの間違いは、

いつも「明らかに変な答え」の姿でやってくるわけではない。

むしろ厄介なのは、

自然で、詳しくて、もっともらしい答え。

なんです。

間違っていると分かる回答なら、まだ簡単です。

疑えばいい。でも正しそうに聞こえたら、そもそも確認しようと思わない。

今回のPDFも、まさにそうでした。

それでも、私はAIを使っています

ここまで読むと、「じゃあAIなんて信用しない方がいいのでは？」と思うかもしれません。

でも私は、まったく逆です。今でもかなり使っています。

理由は単純で、

調査のスタート地点として圧倒的に速いから。

自分でゼロから検索して、
ページを何枚も開いて、
必要な情報を探して、
整理して……。

それを考えれば、AIに最初の調査を手伝ってもらうのは圧倒的に楽です。

間違いはある。でも、それ以上に便利。

だから私の場合、

「AIを使わない」

という結論にはなりませんでした。変わったのは、使い方です。

昔は「答えを教えてもらう」ものだった

AIを使い始めた頃の私は、

AIに「答えを教えてもらう」

という感覚が強かったと思います。

質問する。
答えが返ってくる。
読む。
終わり。

でも、いろいろな失敗を経験した今は違います。

私にとってAIは、

「調査を手伝ってもらい、最後は自分で判断するもの」

になりました。この違いは、かなり大きいです。

AIの回答をゴールにしない。むしろ、そこから調査を始める。

私がAIに聞くようになった3つの質問

その結果、私はAIの回答に対して、こんなことを聞くようになりました。

「どこに書いてある？」
「これは事実？ 推測？」
「公式情報で確認できる？」

特に重視しているのが、公式情報です。

AIが言っていることと、公式サイトに書かれていること。
どちらを信用するかと言われたら、私はまず公式情報を見ます。

ただし、ここにも落とし穴があります。

「公式情報で確認しました」と言われたら、それで十分？

AIに、「公式情報で確認して」とお願いする。

すると、出典らしきURLまで出してくれることがあります。
これだけ見ると、かなり安心します。

でも私は今、

URLが出てきただけでは確認したことにしていません。

実際にページを開きます。本当にそのページが存在するのか。

そしてもっと重要なのが、

AIが説明した内容が、本当にそのページに書かれているのか。

そこまで確認します。

なぜなら、

AIが「確認しました」と言ったこと自体が正しいのかも、確認しなければ分からないからです。

でも――。

ここで別の問題が出てきます。

じゃあ、AIの回答は毎回全部調べ直すの？

AIは間違えることがあります。でも、だからといって毎回答え合わせをしていたら、AIを使う意味が薄れてしまいます。

私自身、雑談やアイデア出しまで全部公式情報で確認しているわけではありません。では、

何をそのまま使っていいのか。
何を確認した方がいいのか。
どこまで確認できなければ、そこで止まるべきなのか。

私は何度もAIの回答に違和感を感じたり、実際に間違いを見つけたりするうちに、自分なりの判断基準を作るようになりました。

大げさなものではありません。

「間違っていたら何が起きるか」を考えて、必要なときだけ確認を深くする。

そして重要な内容では、AIの回答をそのままゴールにせず、できるだけ公式情報まで戻る。

ここからは、その考え方を

• 4段階の判断基準

• AI回答を使う前の10項目チェックリスト

• そのまま使える用途別の確認プロンプト

• 実際に私の聞き方がどう変わったかというBefore / After

まで、実際に使える形にまとめます。

目指すのは、AIを疑い続けることではありません。

「この回答は使っていい」
「これは一度確認しよう」
「これは今は止めよう」

と、自分で判断できるようになること。

そのために、私が今やっていることをここから全部まとめます。