AIに任せた仕事を、あとで説明できなくなる。承認前に元データを1つ確認する話（判断の解剖学④）
開発エージェントのレビュー欄で、メンバーが「Approve（承認）」を押す。私も横で見ていて、まあ大丈夫だと思った。数千行のコードは整って見え、テストも通っている。正直、かなり助かった。面倒な点検をせず前に進むなら、それでいいと、どこかで思っていた。その楽さのほうを、今もよく覚えている。これは、私が経営してきた会社の現場で起きた出来事だった。そこから数週間、開発エージェントは正常に見えるコードを次々と出した。開発スピードは上がり、エンジニアチームも「今までで一番効率よく開発が進む」と話していた。
ところが1ヶ月後、本番機能を少し直す必要が出たとき、開発チームの反応が鈍った。担当エンジニアが、少し言いにくそうにこう話した。
「実は、どこにどのロジックが置かれたか、自分たちでも説明できないんです」
その言葉を、能力不足の話として聞くとズレる。現場で起きていたのは、能力の急な低下というより、点検の配分の変化だった。提案を受け取ってクリックする回数が増え、生成物の中身を自分で確かめる時間が減っていた。私はそこで少し黙った。便利になったはずなのに、誰も中身を説明できずにいる。これは便利なのか、ただ楽をしただけなのか、すぐには判断がつかなかった。
ツールの出来そのものより、前提を見に行く回数が減っていた。生成物、広告、資料は別々の業務に見えても、人間が最後だけ押す構造なら同じズレが起きる。似たクリックは、開発現場の外にも見つかる。採用候補者のスコア、広告の自動入札、営業資料の3行化、経営会議に出すシミュレーション。前提を自分で見ていなければ、最後のクリックは点検として不十分になる。開発以外にも広がる話だ。
あとから私は、この変化に「任せきり萎縮」という仮の名前をつけた。医学的な診断名ではない。現場で観察し、判断基準を戻すための呼び名である。ここで問うのは地味なことで、任せた前提を見直す回数が減ると、点検の習慣も弱る。会社のKPIでも、同じことが起きる。
1.KPIだけをAIに渡すと、書かなかった条件が落ちる
ペーパークリップの話は大げさに聞こえるので、会社のKPIの話に近づけて読む。開発現場のクリックと目的関数の話は、任せた範囲だけが最適化される点で同じ構造を持つ。極端な例から見る。オックスフォード大学の哲学者、ニック・ボストロムは「ペーパークリップ・マキシマイザー」という思考実験を提唱した。「地球上のペーパークリップの製造数を最大化せよ」という単純な命令を与えると、AIは命令の範囲を極端に追い、社会への影響や利用者への害を無視する方向へ走る、という話である。
この話を会社のダッシュボードくらいまで小さくして読む。たとえば経営陣が「今期の売上を最大化せよ」「顧客獲得数を最大化せよ」というKPIを掲げる。現場は目標の数字を追うために、AI採用ツールや自動広告配信を強く回す。広告の件数もリード数も伸びる。会議では、数字を見る限り気持ちがいい。たぶん少し安心もある。ただ、横ではスパムすれすれの広告に苛立つ利用者が増え、ブランドへの信頼が落ち、サポートには小さな苦情が積もる。会議で利用者側の話が出ても、「でもリードは増えていますよね」と誰かが言う。私も、たぶん言う側に回る。困るのは、ツールの悪意より、私たちの書き漏れである。「増やしたいもの」を書き、「守るべきもの」を書かなかった。
前提を見る作業を省いたクリックと同じで、KPIに入れなかった条件が後から効いてくる。この構造は、データを捨てる話ではなく、目的関数に何を書かなかったかを見る話である。目的関数に入れなかった制約や、現場で避けたい不都合は、自動化された処理から見えにくい。ダッシュボード上に並ぶ「最適化された結果」を見ていると、すべてが順調に見えてしまう。
ここまでは、企業側の仕組みが現場事情を落とす例だった。次は、抜け落ちが人間の読み方に移る。仕組みが背景を見なくなると、人間も同じ状態に慣れてしまう。読み方の変化は、大きな事故の前に、会議の小さな手順として始まる。
2. 1万字を3行にしたとき、何を読まなくなるのか
なぜ私たちは、こうした暴走に気づきにくいのか。さっきの会議で言えば、元資料を開く一手間が消えたところから変化は始まっていた。背景には、心理学で「cognitive offloading（認知のオフロード）」と呼ばれる現象がある。KPI設計のズレは、外部の仕組みだけで完結しない。人間側の読み方も、思ったより普通に変わる。
ここを一般論のまま置くと、自分と関係の薄い話に見えてしまう。まず会議で起きる小さな省略として見る。
この現象は、会議室ではもっと目立たず起きる。私たちは、圧縮ツールに「1万字のレポートを3行に圧縮して」と指示し、読みやすく整ったスライドを提示資料へ貼り付ける。元のPDFは開かず、利用者コメントも読まない。会議で誰かが「元資料、見ました？」と聞けば止まれるのに、だいたい誰も聞かず、私も聞かない。けれど会議では、ツールが作った3行をそのまま読み上げる。その時点で、私たちは「スマートに仕事をこなした」と錯覚した。
見た目には、本人が意思決定したように見える。けれど、前提に触れていない選択は、UI上のクリック作業に近づいていく。
この省略を、ここでは「文脈抜け」と呼ぶ。下準備や選択肢の整理を丸投げした直後、画面の前には、都合よく整理された数字と短文が残る。判断基準として問うべきなのは、その短文の裏に何が落ちたかである。アンケートの自由記述欄に残った生の怒りも、競合製品の使い勝手を調べたときの違和感も、画面の外である。
情報が整理されるほど、私たちは元資料を見る量を減らす。そして、UIが提示した「もっともらしい3つの選択肢」の中から、単にボタンを押して済ませてしまう。
「承認」という行為は、それだけでは主体的な判断を保証しない。前提を他者に任せた上で、クリックの記録だけが残る。効率化を理由に、点検動作を減らし続けてきたのは、私たちの側だった。
3. 論理だけでは、署名ペンも選べない
ここで見たいのは、有名な研究者の名前ではない。ペンの色ひとつで止まってしまう困り方を見る。次の臨床例は、論理だけでは選べない場面を示す。
1980年代の記録を確認する。著名な脳神経学者アントニオ・ダマシオの記録に、一人の患者が登場した。彼の名は「Elliot」。彼はかつて非常に優秀なビジネスパーソンだったが、脳の腫瘍摘出手術の過程で、前頭葉の一部を損傷したとされる。
その手術後も、Elliotの知能や論理的思考力、記憶力は大きく保たれていたとされる。彼は他者のビジネス上のトラブルに対して、論理的で客観的な解決策を提示できた。
だが、彼には深刻な変化があった。私生活や仕事において、日常生活の単純な判断が著しく難しくなっていた。
難しさは、予約日を決める場面にまで現れた。ダマシオが「次の予約日はいつにしますか？」と尋ねると、Elliotは手帳を開き、それぞれの候補日のメリットとデメリットについて、長く論理的な比較検討を続けた。しかし、いつまで経っても「この日で」と決められない。書類への署名でも、「どの色のペンを使うべきか」についてさえ、インクの粘度やペンの太さの議論を繰り返し、立ち尽くしてしまった。
この症例から読めるのは、論理力だけで選べるわけではない、ということだった。失われていたのは「感情（身体信号）」の働きである。頭では分かるのに、最後に決められない。同じ困り方は会社でも普通に起きる。
ダマシオはこの症例から、意思決定における「ソマティック・マーカー仮説」を提唱した。過去の経験と結びついた身体信号が、広がりすぎた選択肢を絞り込み、決めるところを助けるという考え方である。
AIには計算能力はあっても、この身体感覚がない。前提整理を任せきると、こちら側も買い手の反応やログを見る回数を減らしてしまう。
4. AI料金モデルで、嫌な感じを無視した話
ここで、私自身の恥ずかしい失敗を書く。自社の経営者として、私はかつて新規事業の料金設計で、自動化した高度な「価格モデル」の最適化シミュレーションを導入した。
この章では役割を分けて読む。料金は入力、買い手の行動は結果、サポートログや商談メモは原因を探す材料とする。ここを混ぜると、数字は合っていても判断対象がずれる。ズレを、私自身は夜10時の料金モデルでやってしまう。早く帰ればいいのに、粗利率が一番高く見える案が出ると、なんとなく仕事が進んだ気になった。私はその夜、モデルの根拠を見に戻らなかった。サポートログを開けばよかったのに、利益率の高い案を見て、仕事を前へ進めた気分でいた。
「モデルの予測によれば、この料金帯が最も高い粗利を生み出します。これで進めますね」
報告に、私はうなずいた。ここで止めて、「サポートログは見た？」と聞けばよかったのに、聞かなかった。UIの「Approve（承認）」ボタンを深く確かめずにクリックした。流れとしては楽で、正直、ボタン一つで良い決定をした気分にもなっていた。
でも、どこかで嫌な感じも残っていた。自分が市場の一次情報を、もうほとんど見ていないのではないか。そういう不安だった。
不安は、少なくとも私の記録では、売上の伸び悩みという販売データとして返ってきた。最終クリック後しばらく、新規事業の数字は想定どおりに動かなかった。何を見落としていたのか。
理由を突き止めようと、私たちはダッシュボード上の競合データをいくら見直しても、エラーの兆候は見つからなかった。だが、私が直接、サポート対応の生ログや、営業メンバーが書き残した商談メモの一次データを手動で検索し、生の不満を読んだ時点で、理由が見えてきた。
買い手は、製品の機能や料金そのものより、データ化される前の体験がどこまで悪くなっていたかを気にしていた。私たちの決済フローの遷移スピードや、マニュアルの分かりにくさという、買う前のひっかかりにストレスを感じ、購入をやめていた。
価格モデル、競合データ、購入前の体験を別々の指標として扱った時点で、構造的なズレはダッシュボード上のエラーとして現れない。数字は正しくても、判断の対象がずれていた。
料金モデルは、そうした「言葉にしづらい一次情報」を拾いきれていなかった。抽象的な料金軸で見れば合理的でも、買い手の文脈に触れずに進めば、判断材料が足りないままになる。
かつて手動で料金を決めていた頃、私たちは「高すぎるのか」「相手は本当にこれで満足してくれるのか」と、胃が痛むほど迷っていた。胃の違和感は、一次情報と自分の判断をつなぐソマティック・マーカーだった。
下準備と提案を任せた結果、私は必要だった嫌な感じを避けていた。
ここで決めたいのは、ツールを使うかどうかではない。どの基準だけは、市場や現場の記録を一度見てから前へ進むのか。その線を先に決めておく。
5. 承認前にやる3つの確認
利便性を使いながら、前提の点検をどう残すのか。私の会社では、最終クリックの直前に元データを見直すための「3ステップ承認前チェック」を置いた。名前は大げさだが、やっていることは地味だ。
ステップ1：任せるタスクの「情報抽象度」を測定
まず、ツールに作業（3行化、シミュレーション、コード生成など）を渡す前に、タスクが元の一次情報からどれだけ抽象化されるかを1〜5段階で採点しておく。
段階1: 生のログ、利用者の発言
段階3: 事実を整理したマトリックス、統計データ
段階5: ツールが3行化した提案スライド
段階4以上の提案を受け取る場合は、裏に段階1の生データを3件以上ぶら下げ、すぐにアクセスできる形で置く。きれいな表より、すぐ開けるログのほうが役に立つ日がある。
ステップ2：失敗したときに困る点を先に書く
出力を見る前に、あえて「もしこのプロジェクトが致命的に失敗した場合、どこが原因になりそうか」「自分自身が責任を取って胃を痛めるとしたらどの変数か」を、1文で手元のノートに書き出す。
整った回答を見る前に、この一文を書く。すると、自分の責任を思い出す。きれいなデータを見せられた直後に、無意識に押してしまう点検エラーを少し減らせる。
ステップ3：一次情報に1分だけ戻る
提案を「承認」または「コピー」のボタンを押す前に、必ず「手動で生のデータや現場の記録を1分間見る」規律を課す。1分という短さが大事で、長い儀式に変えれば忙しい日にはすぐ消えてしまうからだ。正直、1分でも面倒な日はある。だから、1分で十分である。
具体例として、圧縮されたサポートレポートを押す前に、不満を抱えたユーザーの生のメール1件でいい。生成されたプログラムのデプロイ前に、中核の関数ロジックを3行だけ手動で書き換えてテストを走らせる。
この1分が、最終クリックの前に前提を見返す点検になる。面倒だが、この点検が欠けた承認は、あとで高くつく。
6. 自動化の中で、責任を引き受ける
ここまで扱った論点は、押す前に前提を見たかどうかに絞られる。大きな思想ではなく、かなり小さい手順の話だ。
高速な処理の前では、ユーザーの生ログを読むことや、胃の違和感を書き留めることは遅く見える。それでも、遅さが、あとで説明するための根拠として残る。
運用が順調なうちは、元データを見返す手順があるかどうかは問題になりにくい。トラブルが起きたときに、前提を見た記録が残っているかどうかを問われる。そのため、AIに任せること自体を捨てなくていい。任せた後に見返せるファイル、ログ、コメントを残す。
AIに準備を任せることは、強力な手段になる。ただ、便利な手段を使うために、自分自身の「判断に必要な身体信号」を手放したくはない。
AIを使うとき、出力を速くするだけでは足りない。どこで元データへ戻るかを決めておくことだ。戻る手順を今日の仕事でどこに置くのか。
スライドのコピー前に、承認ログを残す前に、一回だけ自分自身に問いかけてほしい。
「私は今、元データに一度戻った上で押したと言えるか。それとも、整った3行を信用して押しただけか」
この点検があるだけで、AI利用は任せっぱなしになりにくい。スライドを貼る前に元データを一つ開き、承認を押す前に嫌な感じを一行だけ書く。私は、この小さい点検を仕事の中に残しておきたい。
あなたはAIや自動化ツールに業務を任せた結果、元資料、ログ、利用者コメントを見なくなった経験があるなら、それをどうやって防いでいる？
参考文献・資料
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies / ペーパークリップ・マキシマイザーと目的関数最大化の暴走構造。
Antonio Damasio, Descartes' Error: Emotion, Reason, and the Human Brain / ソマティック・マーカー仮説と判断の身体性。
Shoshana Zuboff, The Age of Surveillance Capitalism / デジタル化に伴う知覚・前提コンテキストの剥離。
Evan F. Risko and Sam J. Gilbert, "Cognitive Offloading" (Trends in Cognitive Sciences, 2016) / 外部装置への認知処理の外部化。
Parasuraman, Sheridan and Wickens, "A Model for Types and Levels of Human Interaction with Automation" (IEEE Transactions on Systems, Man, and Cybernetics, 2000) / 自動化と人間の関与レベル。
