AI導入しても監督する人を残せば安心、ではない——Podcastと読書から考えるHITLの限界
手段が目的になってしまうとき——human in the loop から考える、AI時代の制度設計と読書計画
この問いの出発点は、ひとつのPodcastと、ひとつの入門記事だった。ひとつは『WIRED』日本版ポッドキャスト「AIと戦争のゆくえ〖ゲスト：伊藤錬（Sakana AI 共同創業者・COO）〗」で、2026年4月10日に配信された49分の回。AIの軍事利用を入口にしながら、human in the loop を「それを言っておけばよかった言葉」から、もう少し厳密に考え直す必要を語っていた。
この回で印象に残ったのは、human in the loop への二つの疑いだった。ひとつは、人が介在することで性能が落ちる場合があること。もうひとつは、AIが自分で処理できない難しい案件だけを人間に回すようになると、人間の側に残る判断がどんどん重くなっていくことだ。伊藤錬さんは、6分14秒ごろから9分06秒ごろにかけて、去年くらいまでは「ヒューマンインザループって言っときゃよかった」と感じていたこと、しかし今は軽々しく使えなくなったこと、人間が入ることで性能が下がる場面があること、そして「ヒューマンインザループに耐えられるヒューマンが何人いるか」が問題になることを率直に話している。
その違和感に見取り図を与えてくれたのが、AI Journal の記事「Human-in-the-Loop とは？AIエージェント運用で重要な人間介在型制御を解説」だった。この記事は、HITL を AI の判断や制御プロセスに人間を介在させる仕組みとして整理し、HITL / HOTL / HOOTL の違い、承認チェック、ツールガードレール、人間レビューのワークフロー、さらにマルチAIエージェント時代にはより高度な監視と介入が必要になることまでをコンパクトにまとめている。HITL は単なる標語ではなく、「どこに人間の介在を置くか」を決める設計の問題なのだ、ということがよく見えた。
でも、そこでかえって疑問は深くなる。人間が loop の中に「いる」ことと、人間が本当に「意味のある統制」をしていることは、同じではないからだ。承認ボタンが残っているだけで十分なのか。大量の案件を本当に見切れるのか。AIの出力を疑い、止め、覆すだけの時間と権限があるのか。システムの速度が上がり、マルチエージェント化が進むほど、人間の介在は中身のある判断というより、形式的な承認や責任の受け皿に変わってしまうかもしれない。ここで問題になるのは、単なるAI倫理ではなく、制度設計のほうだ。
誰がどの判断を担うのか。どこまでが現場の裁量で、どこからが組織の責任なのか。止める権限はあるのか。監督負荷は測られているのか。失敗したとき、その責任は末端の一人に押しつけられていないか。human in the loop を考えるとは、結局のところ「人を残しているか」ではなく、「どの速度と粒度で、どんな権限と責任のもとに、人を関与させているか」を考えることなのだと思う。
この視点は、AIやロボットによる省力化にもそのままつながる。省力化を進めれば、現場は少人数化し、ワンオペに向かいやすい。DX が進むほど人件費は可視化されるし、だからこそ削減対象として語りやすくもなる。けれど、人件費には目の前の作業コストだけではなく、例外対応、相互監督、引き継ぎ、後進育成、判断力の維持のコストも含まれているはずだ。そこまでまとめて「減らすべきもの」としてしか見なくなると、短期の数字はよくなっても、長期には組織の学習能力と責任能力のほうが痩せていく。人件費を語ること自体が悪いのではない。ただ、人件費ばかりを強く言いすぎると、制度を支えている見えにくい部分まで、一緒に削ってしまう。
だから、このテーマを考えるために読みたいのは、AIの性能を礼賛する本ではなく、手段が目的に化ける瞬間を見抜くための本だ。
まず一冊目は、ジェリー・Z・ミュラー『測りすぎ——なぜパフォーマンス評価は失敗するのか？』。みすず書房から2019年に刊行された邦訳で、訳者は松本裕。数字や評価指標が、本来の目的を食ってしまう構造を考えるための本として読みたい。
二冊目は、ニコラス・G・カー『オートメーション・バカ——先端技術がわたしたちにしていること』。青土社から2015年に刊行された邦訳で、訳者は篠儀直子。自動化が人を楽にするどころか、監視役や非常時の責任者に変えてしまう逆説を考えるには、いちばん近い本だと思う。
三冊目は、スチュアート・ラッセル『AI新生——人間互換の知能をつくる』。みすず書房から2021年に刊行された邦訳で、訳者は松井信彦。これは「最後に人間を置けばよい」という発想をいったん外して、そもそもAIをどんな制御原理で設計し直すべきかを考えるための本として読みたい。
AI時代に必要なのは、人を外すことでも、人を形式的に残すことでもなく、人が本当に判断主体として残っているかを見極めることなのだと思う。手段の目的化とは、効率、可視化、自動化といった本来は便利な道具が、いつのまにかそれ自体のために人間を従わせ始めることなのかもしれない。だからまずは、human in the loop を「技術の話」ではなく、「制度の話」として読み直すところから始めたい。
ハッシュタグ
#AI #人工知能 #生成AI #AIエージェント #HITL #HumanInTheLoop #AI倫理 #制度設計 #技術哲学 #自動化 #DX #省力化 #ワンオペ #組織論 #人間工学 #ガバナンス #読書メモ #測りすぎ #オートメーションバカ #AI新生
P.S.
タイムリーだったな。
もう一つ、「工事中止命令」という大友克洋アニメがあったな。
