AIに「任せる」を、委任の心理学で読む【今週のセキュリティを、教養で読む #03】
Anthropicが「Claude Code Security」を発表しました。AIが自律的にプログラムの弱点を探索し、修正案まで提示する。
「AIがセキュリティの仕事を肩代わりしてくれる時代が来た」。そう読んだ方も多いでしょう。
しかし、この発表で本当に注目すべきは「AIの能力」ではありません。「AIに任せる」という行為そのものが持つ、構造的なリスクです。今回は経済学と認知心理学の視点から読み解きます。
碧コンサルの視点：「任せる」の構造を分解する
プリンシパル＝エージェント問題 ── 代理人はあなたのために動いているか
経済学にプリンシパル＝エージェント問題という古典的な概念があります。依頼主（プリンシパル）が代理人（エージェント）に仕事を委任するとき、両者の間には必ず情報の非対称性が生まれる。
株主と経営者。患者と医師。そして今、人間とAI。
Claude Code Securityは弱点を見つけて修正案を出すAIです。しかし、その判断過程を人間が完全に検証することはできません。AIが「問題なし」と判定した箇所に本当に問題がないのか。AIが提示した修正案に新たな穴がないのか。
これはAIの性能の問題ではなく、「代理人に任せる」構造そのものが持つ、逃れられないリスクです。経営者が部下の報告を100%検証できないのと同じ構造が、人間とAIの間にも生まれています。
自動化バイアス ── 「AIが言うなら正しい」の認知の罠
認知心理学では**自動化バイアス（Automation Bias）**と呼ばれる現象が知られています。自動化されたシステムの出力を、人間が過度に信頼してしまう傾向です。
航空業界で数多くの事故分析から発見されたこのバイアスは、パイロットが自動操縦の異常を見逃す、計器の誤表示をそのまま信じる、という形で現れました。
Claude Code Securityは「最終判断は人間が行う」設計です。しかし問題はまさにここにあります。
忙しい現場が、AIの提案を「レビュー」しているか。それとも「承認」しているだけか。
航空業界の教訓は明快でした。自動化の導入直後は事故が減る。しかし人間が「監視者」に退いた瞬間から、別の種類の事故が始まる。「任せた安心」が判断力を鈍らせるのです。
両用技術のジレンマ ── 同じ自律性は攻撃にも使える
Anthropic自身が認めている事実があります。同じAIの自律性は、攻撃にもそのまま転用できるということです。弱点の探索、攻撃手段の作成、権限の拡大——これらが最小限の人手で進む。
科学史ではこれを**両用技術のジレンマ（Dual-Use Dilemma）**と呼びます。ダイナマイト、核エネルギー、遺伝子編集。人類を前進させた技術は、例外なく「使い方を間違えれば破壊する力」でもあった。
AIセキュリティもこの歴史の延長線上にあります。能力が高いほど、統制の設計が重要になる。これは技術の問題ではなく、人類が繰り返し直面してきた「力の管理」の問題です。
「安全な部品」が「危険な組み合わせ」になる構造
もう一つ、見逃せない構造があります。
社会学者チャールズ・ペローが提唱したノーマル・アクシデント理論。複雑に結合したシステムでは、個々の部品が正常でも、組み合わせで事故が起きるという理論です。原子力発電所も、スリーマイル島事故も、個々の機器は正しく動いていた。しかしそれらの「相互作用」が想定外の連鎖を生んだ。
AIツールも同じです。AI単体は安全かもしれない。ファイル管理も安全かもしれない。しかしAIがファイル管理に接続し、さらに外部サービスに繋がった瞬間、リスクは掛け算で増える。
リスク評価の単位は「個々の道具」ではなく「組み合わせ」。ペローが40年前に警告したこの原則は、AI時代にこそ切実です。
あなたの組織では？
Claude Code Securityの導入に関わらず、「AIに任せる」場面は確実に増えています。3つの問いを投げかけます。
1. AIの出力は「レビュー」されていますか。それとも「承認」されていますか？
自動化バイアスは、忙しいほど強く効きます。AIが出した提案をクリック一つで承認する運用が定着していないか。形式的なレビューは、レビューがないより危険です。「確認した」という記録が、組織を油断させるからです。
2. AIが「見つけなかった問題」を、誰かが探していますか？
AIを信頼することと、AIが見逃した問題を放置することは紙一重です。プリンシパル＝エージェント問題の教訓は「代理人を疑え」ではなく、**「信じ方を設計せよ」**です。
3. AIに与えている権限を、最後に棚卸ししたのはいつですか？
ペローの教えに従えば、AIに繋がっているサービスや情報の一覧を作り、「なぜこの接続が必要か」を説明できないものがあれば、それが最初に切るべき線です。
もっと深く知りたい方へ
「AIに任せる」のリスクは、実はAI固有の問題ではありません。自動化バイアスもプリンシパル＝エージェント問題も、人間が「誰かに任せる」すべての場面に共通する構造です。
当アカウントの無料連載**「教養としてのサイバーセキュリティ Season 3：失敗する組織の心理学」**では、組織が判断を委任するときに何が起きるのかを、5つの構造バグとして解剖しています。
また、**「正解の時代」**では、限られた予算でツール導入の優先順位をどう設計するかをフレームワークとして提示しています。AIツールの導入判断にも、そのまま使える考え方です。
碧（AOI）セキュリティコンサルティング
戦略的セキュリティ・コンサルタント。技術論に終始しがちなセキュリティ対策を、経営・心理・構造の観点から再定義し、組織の「基礎体力」を高める発信を行っています。
#AI #自律型AI #ClaudeCodeSecurity #自動化バイアス #組織論 #サイバーセキュリティ #セキュリティ #碧コンサルティング #AOISecurity
