プロンプトインジェクションとは。仕組みと対策
プロンプトインジェクションは、AIへの指示を外部から乗っ取る攻撃です。仕組みと、業務利用で本当に危なくなる条件、防ぎ方を整理します。
「AIをだます攻撃」と聞いて他人事だと思っていないか
生成AIのセキュリティ記事でよく出てくる「プロンプトインジェクション」。名前は聞くけれど、自社に関係があるのか分からない、という方が多いと思います。
結論を先に言うと、チャット画面で調べ物をするだけの使い方なら、現時点で過度に恐れる必要はありません。危なくなるのは、AIに社内データを読ませたり、AIが自動でメールやツールを操作する仕組み(AIエージェント)を入れたときです。
導入が進むほど関係してくる攻撃なので、仕組みだけは今のうちに押さえておきましょう。
仕組み: AIは「指示」と「データ」を区別できない
通常のシステムでは、プログラム(命令)とデータは分離されています。ところが生成AIは、システム側の指示も、ユーザーの入力も、読み込んだ文書も、すべて同じ「文章」として処理します。
この性質を突いて、データのふりをした指示を紛れ込ませるのがプロンプトインジェクションです。大きく2種類あります。
とくに危険なのは間接型です。攻撃者はAIに直接触れる必要がなく、AIが読みそうな場所に文章を置いておくだけで成立します。
普通の脆弱性と違い、パッチでは直らない
ソフトウェアの脆弱性は、修正パッチを当てれば塞がります。プロンプトインジェクションはそうはいきません。
「文章で指示を受けて動く」という生成AIの仕組みそのものに根ざした問題のため、モデルの改善で成功率は下げられても、ゼロにはできないというのが現在の共通認識です。セキュリティ専門家のコミュニティであるOWASPがまとめた「LLMアプリケーションのリスクTop 10」でも、プロンプトインジェクションは第1位(LLM01)に位置づけられています。
つまり対策の考え方は「攻撃を完全に防ぐ」ではなく、「攻撃が成功しても被害が出ない構造にする」になります。
危険になる条件は3つ揃ったとき
自社のリスクを見積もる目安として、次の3条件で考えると分かりやすいです。
権限: AIが社内データやツール(メール送信、ファイル操作、決済)にアクセスできる
外部データ: AIが信頼できないデータ(受信メール、Webページ、顧客からのファイル)を読む
自動実行: AIの判断で、人間の確認なしにアクションが実行される
3つが揃うと、「攻撃者が細工したメールをAIが読み、社内データを添付して外部に送信する」といったシナリオが現実になります。
逆に言えば、チャットで公開情報を調べるだけの利用は、権限も自動実行もないため、この攻撃の影響はほぼ受けません。リスクはAIの「できること」を増やすほど増える、と覚えてください。
防ぎ方: 完封ではなく被害の最小化
中小企業が押さえるべき対策は、優先順に次の通りです。
権限を最小にする: AIに渡すアクセス権は業務に必要な範囲だけにする。全社ファイルへのアクセス権を持つAIアシスタントは、それ自体がリスク
重要な操作は人間が承認する: メール送信・ファイル共有・決済など、外に影響が出る操作はAIに完結させず、人間の確認を挟む
読ませるデータを区分する: 社内文書と、外部から来た信頼できないデータ(受信メール等)を同じ扱いでAIに渡さない
ベンダーに質問する: AI搭載製品を導入するときは「間接プロンプトインジェクションへの対策」「AIが実行できる操作の範囲」を確認項目に入れる
これらは特別な製品を買わなくても、設計と運用ルールで実現できる対策です。自社の利用ガイドラインに組み込む場合の全体像は『生成AI利用ガイドラインの作り方と5つの決め事』を参照してください。
AIエージェント導入前がチェックのタイミング
チャット利用からAIエージェント(自動でタスクをこなすAI)へステップアップするときが、この攻撃への対策を真剣に考えるタイミングです。
導入検討時に「このエージェントは何を読み、何を実行できて、どこで人間が確認するのか」を1枚の図にしてみてください。それが描けない製品・構成は、まだ入れるべきではありません。
まとめ
プロンプトインジェクションは、データのふりをした指示でAIを乗っ取る攻撃
AIが外部データを読む「間接型」は、攻撃者がAIに触れずに成立するため特に危険
仕組み上ゼロにはできない。OWASPのLLMリスクTop 10でも第1位
危険なのは「権限・外部データ・自動実行」の3条件が揃ったとき
対策は完封ではなく被害の最小化: 権限最小化・人間の承認・データの区分
参考資料
OWASP Top 10 for LLM Applications(LLM01: Prompt Injection) https://genai.owasp.org/
AIエージェント導入のセキュリティを相談したい方へ
TodoONadaでは、生成AI・AIエージェントを含むシステム開発や社内ルール整備について相談を受け付けています。「入れたいが、どこまで権限を渡してよいか判断できない」といった設計段階からご相談いただけます。お問い合わせはこちら。
