ChatGPTのリスク管理、テクニックだけでは足りない理由—気づける人と気づけない人の分かれ目
ChatGPTの「怖さ」、実は入口の話で終わっていないでしょうか
「ChatGPTって、情報漏洩とか間違った回答とか、なんだか怖い」
そう感じたことはありませんか。
私も最初の頃はそうでした。
ニュースやSNSで「ChatGPTって危ないらしい」という話を見聞きするたびに、なんとなく不安になる。
でも、その中身を具体的に説明してと言われると、言葉に詰まってしまう。そんな状態が長く続いていました。
以前の記事では、「ダミーデータに置き換える」「数字は自分の目で確認する」という注意点に軽く触れました。
今日はこの2つの注意点を、
正面からもう少し深く掘り下げてみたいと思います。
というのも、「テクニックは知っているのに、なぜか不安が消えない」という感覚を、私自身よく味わうからです。
ダミーデータに置き換える習慣も、
鵜呑みにしないという心構えも、間違いなく大事です。
でも、それだけで本当に十分なのかと聞かれると、
正直、私も自信を持って「はい」とは言えません。
テクニックは知っているのに、なぜ不安が拭えないのか。
今日はそこに一歩踏み込んでみます。
ChatGPTに潜む3つのリスク：まず正体を知る
「怖い」という感覚を、もう少し具体的な形に分けてみます。
ChatGPTのリスクとしてよく挙げられるのは、大きく3つです。
①ハルシネーション：もっともらしい嘘
ChatGPTは、正しい情報を検索して提示する仕組みではありません。
統計的に「自然な続き」を作り出す仕組みです。
だから、事実と違うことを、それらしい文章で出してくることがあります。これがハルシネーションと呼ばれる現象です。
生成AI関連のnote記事でNABLASさんが指摘していたのですが、文章の整合性が高ければ高いほど、人間はかえって誤りを見落としやすくなるそうです（出典）。
たしかに、文章がガタガタでいかにも怪しい出力なら疑いますが、
スラスラと筋の通った文章で出てくると、つい信じたくなってしまいますよね。
これは、その分野に詳しい人であっても油断すれば起こり得ることだと思っています。「自分は分かっているから大丈夫」という慣れが、かえって確認の手間を省かせてしまうことがあるからです。
専門知識があっても、確認という一手間を惜しんだ瞬間に、
ハルシネーションはすり抜けてしまう。
この話は、後ほど記事の核心につながってきます。
②機密情報・個人情報の入力リスク
2つ目は、入力した情報が意図しない形で外部に渡ってしまうリスクです。
2023年3月、サムスン電子で、従業員が業務効率化のために社内のソースコードをChatGPTに入力し、機密情報が外部のサーバーに送信されてしまう出来事がありました（出典）。
悪意があったわけではないはずです。
「ちょっと整理してもらおう」「要約を作ってもらおう」という、
業務効率化のつもりだったのだと思います。
私自身、経理の仕事で数字や社名を扱うことが多いので、
この感覚はよく分かります。
急いでいるときほど、「このくらいなら大丈夫だろう」と、
うっかり実データのままコピペしてしまいそうになる瞬間があります。
③社内ガバナンス未整備のまま使うリスク（シャドーAI）
3つ目は、会社としてのルールが整わないまま、
一人ひとりが個人の判断でChatGPTを使ってしまう状態です。
「シャドーAI」と呼ばれています。
ガートナージャパンが発表した調査によると、日本企業の73%が、このシャドーAIへの有効な対策を取れていないそうです。
内訳を見ると、43%は実態すら把握できておらず、30%は把握はしているものの有効な対策がなく、有効な対策まで取れているのは24%にとどまるとのことでした（出典）。
これを裏付けるように、IPA（情報処理推進機構）が発表した「情報セキュリティ10大脅威2026」では、「AIの利用をめぐるサイバーリスク」が組織向け脅威として初めて3位に選ばれました（出典）。
2026年、最新の話です。会社にとっても、もはや無視できないテーマになっているということですね。
これらに共通する「本当の土台」—業務知識という結界
ハルシネーション、機密情報の入力、シャドーAI。
並べてみると別々の話に見えますが、
実はこの3つには共通する根っこがあります。
それは、「使う側にその領域の業務知識があるかどうかで、ChatGPTの回答の正誤に気づける可能性が大きく変わる」という構造です。
先ほどのIPA「情報セキュリティ10大脅威2026」でも、
「生成AIの出力の正確性を確認せずに業務に利用することで発生するトラブル」という記述があります。
裏を返せば、確認さえできれば防げたはずのトラブルが、
実際には多く起きているということなのだと思います。
では、なぜ確認できる人とできない人が分かれるのか。
ここに、業務知識の有無が関わってきます。
同じ「ChatGPTが間違った答えを出す」という場面に遭遇しても、
結果はまったく違ってきます。
自分がよく知っている領域なら、「あれ、この数字、いつもの感覚と違うな」と、引っかかりを覚えられます。
逆に、まったく知らない領域だと、
その引っかかりそのものが生まれません。
もっともらしい顔をした誤りが、そのまますり抜けていってしまいます。
私自身、経理の仕事を20年以上やってきて、実感していることがあります。
ChatGPTに数字の集計や文章のチェックを頼んだとき、
出てきた答えが「なんかいつもと違う」と感じたことが何度かありました。
経費の内訳の割合が普段の感覚とズレていたり、
勘定科目の説明がどこか教科書的すぎたり。
長年の経験で染みついた「普段の数字感覚」があったから、
その違和感に気づけたのだと思います。
これが、もし自分がまったく詳しくない分野。
たとえば法律や専門的な技術分野だったら、どうでしょうか。
同じようにおかしな答えが返ってきても、たぶん気づけません。
もっともらしい文章の勢いに押されて、
そのまま信じてしまう可能性のほうが高いはずです。
後輩に仕事を教えているときも、似た感覚があります。
作業の手順そのものは、経験の浅い後輩でも一度教えればできるようになります。でも、「この数字、なんかおかしくないだろうか」という違和感は、場数を踏んだ人でないと持てません。
ChatGPTの回答を確認する力も、これと同じなのだと思います。
以前の記事で、「頻度・ルール化できるか・影響度」という3つの物差しで業務を仕分ける話をしました。
実はあの物差しと、今回の「業務知識の及ぶ範囲」は、根っこでつながっています。影響度が大きい業務ほど、自分の知識で検証できる範囲かどうかが、より重要な意味を持ってくるからです。
ただし、ここで一つ、はっきりさせておきたいことがあります。
業務知識があれば絶対に誤りに気づけるという話ではありません。
あくまで、気づける可能性が上がるという話です。
経理20年の私でも見落とすことはもちろんあります。
それでも、まったく知識がない状態よりは、
格段にマシなはずだと感じています。
では、実際にどう付き合うのが最適か
正体が分かったところで、
次は「じゃあ、どう付き合っていけばいいのか」という話です。
個人としてできることと、組織として確認しておきたいこと、両方の視点から見ていきます。
個人レベルでできること
完璧な対策というものはたぶんありません。
それでも、現実的な出発点はあります。
「自分の知識が及ぶ範囲から使う」という線引きです。
以前の棚卸し記事でお伝えした「影響度」の物差しとも重なる話です。
間違えたときに取り返しがつかない業務ほど、
自分が普段から詳しい領域かどうかを、意識して選んでほしいと思います。
ダミーデータへの置き換えも、引き続き大事な習慣です。
前回の実行ロードマップ記事でも触れましたが、実際の金額や取引先名はそのまま入力せず、まずは仮の数字や仮名で試す。
これは今回の話とセットで考えると、より意味がはっきりします。
ダミーデータへの置き換えは「情報を守る」ための工夫であって、
「回答の正しさを見抜く」ための工夫ではありません。
この2つは別の役割を持つ工夫なのだと捉えておくと、混同せずに済みます。
ファクトチェックについても、
一言一句を疑ってかかる必要はないはずです。
前回お伝えした通り、私自身、最近は数字と固有名詞など、
自分が確信を持てるポイントを重点的に確認するようにしています。
すべてを疑っていたら、時間がいくらあっても足りません。
自分の得意な範囲を軸に、確認する場所を絞り込む。
これが現実的なやり方だと感じています。
組織レベルで確認しておきたいこと
個人の工夫だけでなく、会社のルールがどうなっているかを確認しておくことも、リスクに気づくための土台の一部です。
まず、社内にChatGPTの利用ガイドラインがあるかどうか、確認したことはありますか。
先ほどお伝えした通り、日本企業の73%がシャドーAIへの有効な対策を取れていないという調査結果があります。
つまり、ガイドラインがなくても、それはむしろ「よくあること」だと捉えたほうが実情に近いのだと思います。
ルールがないなら、自分なりの線引きを持って使うというのが今のところの現実的な向き合い方になりそうです。
もう一つ、知っておくと安心なのが、プランによる違いです。
個人向けのFree・Plusプランは初期設定のままだと、
入力した内容がモデルの学習に使われる仕組みになっています。
一方、法人向けのTeam・Enterpriseプランは
最初から学習利用がオフになっているのが基本です（出典）。
個人プランを使っている場合、この設定は自分でオフにできます。
「Settings（設定）」から「Data Controls（データコントロール）」に進み、「Improve the model for everyone」というトグルをオフにするだけです（出典）。
数十秒でできる作業なので、
まだの方は今日のうちに済ませておくことをおすすめします。
ただし一点、注意もあります。
この設定はこれからの会話には適用されますが、すでに送ってしまった過去のやり取りについては、別途手続きが必要になる場合があると案内されています。
過去データの扱いについては、私自身も公式情報だけでは細部まで確認しきれていない部分があるので、心配な方は設定画面や公式ヘルプセンターで直接確認してみてください。
リスク管理は、棚卸しと同じ話だった
ここまで、ChatGPTの3つのリスクと、
その根っこにある「業務知識」という土台の話をしてきました。
最後にもう一度お伝えしておきたいのは、対策すれば絶対に安全という話ではないということです。
業務知識があっても、気づけないときはあります。
ダミーデータに置き換えていても機密情報の扱いに完璧はありません。
今日お伝えしたのはあくまで「気づける確率を高める」ための考え方です。
それでも、「なんとなく怖い」から「ここまでは自分の知識で判断できる」に変わるだけで、ChatGPTとの距離はずいぶん近づくはずです。
今日からできる小さな一歩を、2つだけ挙げておきます。
自分がいちばん詳しい業務領域を1つ思い浮かべて、そこからChatGPTを試してみる
まだの方は、データの学習利用オフの設定を今日のうちに済ませておく
思い返せば、以前お伝えした「棚卸し」も今日の話も、
根っこは同じでした。
自分の知識や経験が及ぶ範囲を自覚して、そこから少しずつ広げていく。ChatGPTとの付き合い方は結局のところ、この積み重ねなのだと思います。
