「なんとなく承認」がAIを暴走させる理由
AIが生成したコードに、なんとなく「OK」を押した経験はないだろうか。
「動いてるからいいか」「よくわからないけどエラーも出てないし」—— そんな感覚で承認ボタンを連打していたとき、ふと気づいた。
これって、目隠しでスイッチを押してるのと同じじゃないか。
人間がAIを「管理」しているはずなのに、実態はAIに管理されているかもしれない。 そんな問いをここ最近ずっと考えている。
1. そもそも「ヒューマン・イン・ザ・ループ」って何？
AIの意思決定に人間が関わる設計思想を「ヒューマン・イン・ザ・ループ（HITL）」と呼ぶ。
💡 補足：HITL（Human-in-the-Loop）とは AIが何かをする前に、人間の確認・承認を必要とする仕組みのこと。AIの暴走や誤りを人間が防ぐための「安全装置」として設計される。
関与の深さによって、大きく3つのレベルに分けられる。
HITL（人間が実行・承認）：人間が「Go」を出さないと先に進めない。最も介入が深い
HOTL（人間が監視）：AIが動くのを人間が見守り、異常時だけ介入する
HOOTL（人間が介在しない）：全自動。リスクが低いタスクに限定される
この概念が生まれた背景には、AIのハルシネーション（誤情報の生成）や、倫理的バイアスへの懸念がある。
「AIだけに任せると怖い。だから人間がチェックしよう」 という、ある意味シンプルな発想だ。
2. コーディングエージェントの「承認ボタン」という現実
最近のAIコーディングツールには、人間の承認を必要とするステップが組み込まれている。
たとえばこんな場面だ。
AIが「このコマンドを実行してよいですか？ rm -rf ./temp」と聞いてくる。 人間は「OK」または「キャンセル」を選ぶ。
これはまさにHITLの実装例だ。 AIが提案し、人間が判断する。理想的な分担に見える。
でも——ここに重要な前提がある。
「承認する人間が、その内容を理解していること」
承認とは責任を引き受けることだ。 中身がわからないままボタンを押すことは、目隠しでスイッチを押すのと変わらない。
削除されるのが何のファイルか。 実行されるのがどんな処理か。 それを理解した上で「OK」を出す——それが本来の「人間の関与」のはずだ。
3. バイブコーディングと形骸化の問題
ここ最近、「バイブコーディング」という言葉をよく聞く。
💡 補足：バイブコーディング（Vibe Coding）とは プログラミングの知識がなくても、AIに感覚的な指示を出しながら開発を進めること。「なんか動いてるから大丈夫」という感覚で進める開発スタイル。
未経験者でもアプリが作れるようになった。これは間違いなく革命だ。
ただ、副作用がある。
AIがコードを出してくる → よくわからないけど動いてるっぽい → 承認ボタンを押す
この繰り返しが続くと、HITLは「儀式」になる。 形だけの確認ステップ。ラバースタンプ（ただの押印係）の誕生だ。
このリスクは3つある。
セキュリティホールの混入：意図しない脆弱性が入り込んでも気づけない
意図しない破壊的変更：「動いてるからOK」が、実は重要なファイルを消していたりする
スキルの空洞化：依存が進み、トラブルが起きたとき自力で修正できなくなる
「AIがやってくれる」は正しい。 でも「AIが全部正しいことをやってくれる」は、まだ正しくない。
4. オートメーション・バイアスという罠
人間には
「オートメーション・バイアス」という認知の歪みがある。
💡 補足：オートメーション・バイアスとは 自動化されたシステムが正しい答えを出し続けると、人間がそれを疑わなくなる心理的傾向のこと。航空業界や医療現場でも問題になっている概念。
AIが100回正しい答えを出すと、101回目も疑わなくなる。
これは人間の合理的な省エネ戦略でもある。いちいち全部確認していたら疲弊する。 でもその油断が、致命的な見落としを生む。
飛行機のオートパイロットが誤作動したとき、パイロットが「まあ機械が言うなら」と従ったまま墜落した話を聞いた。 AIとの関係でも、同じ構造が生まれ始めていると思う。
5. 「意味のある介入」をどう設計するか
じゃあどうすればいいのか。
一つのアイデアは、
AIが人間に「逆質問」する設計だ。
クリティカルな局面で、AIがこう聞いてくる。
「このファイルを削除しようとしています。なぜこの操作が必要だと思いますか？」
人間に立ち止まらせる。考えさせる。 「承認するだけ」から「理解した上で判断する」への転換だ。
もう一つは、
説明可能なAI（XAI）の実装だ。
単に「このコードを実行します」ではなく、 「このコードはAというファイルを削除し、Bという設定を変更します。リスクは〇〇です。中学生にわかるように言うと〜」 という形で、意図とリスクをセットで提示する。
💡 補足：XAI（Explainable AI）とは AIが「なぜその判断をしたか」を人間に説明できるようにする技術・設計思想のこと。ブラックボックスなAIへの対抗策として注目されている。
責任を取るのは人間だ。 だからこそ、AIには「中身を見せる義務」があると思う。
6. ハンドルだけじゃなく地図が必要な時代
AIが高度化するほど、人間への要求も変わっていく。
かつては「AIを動かせるか」が問われた。
これからは「AIが何をしているか理解できるか」が問われる。
ハンドルを握るだけでは足りない。 地図を読む力が必要だ。
HITLを「儀式」にしないために必要なのは、 技術的な解決策だけじゃない。
「自分が押したボタンには責任が伴う」という感覚を取り戻すことだと思う。
AIが正解を出し続けても、最後に判断するのは人間だ。 それを手放したとき、責任もどこかへ消えていく。
承認ボタンを押すとき、あなたは何を考えていますか？ 「これで合ってる」と自信を持って押せているなら、それがHITLの本来の姿だと思います。
同じようなことを考えている方、ぜひスキで教えてください。
