今週やったこと：魔法使いの弟子と工事中止命令——AI時代の人間中心を考える

先週、「AIが仕事を奪う」という言い方について調べていて、少し見方が変わった。
問題は、生成AIの性能だけではない。
むしろ、仕事をどのように切り分け、どの判断を機械に渡し、最後の責任を誰に戻すのかという、アルゴリズムと制度設計の問題なのだと思った。
そしてそこには、ワンオペという古くて新しい問題も重なっている。
AIが人間を置き換える、というよりも、AIによって仕事が再配置される。
複数人で見ていたものが一人に集約される。
経験や相談や違和感の共有が、確認ボタンに置き換わる。
「人間が最後に見ています」という言葉の裏で、その人間だけに判断負荷と責任が集中する。
今週はその続きを、HITL、つまり Human in the Loop という言葉から考えていた。

人間がループの中にいる、とは何か

報告AIを導入しても、最後に人間が監督すれば安心なのか。
人間が見ているから大丈夫。
人間中心だから大丈夫。
AIだけに任せていないから大丈夫。
そう言いたくなる。
けれど、その人間が止められないなら。
疑えないなら。
学べないなら。
それは本当に人間中心なのだろうか。
人間がループの中にいるように見えても、実際には承認欄に名前が残っているだけかもしれない。
AIの出力を確認する人はいる。けれど、確認する時間がない。
疑うための情報がない。
止める権限がない。
止めたあとに守られる仕組みがない。
それでも、事故が起きたときには「人間が確認していたはずだ」と言われる。
それはHITLではなく、名目的HITLである。
ループの中に人間がいるのではない。
ループの出口に、責任の札として人間が置かれているだけである。

福島真人『学習の生態学』を読む

この問いに応える形で、福島真人『学習の生態学——リスク・実験・高信頼性』を読んだ。
この本を読んでいると、学習とは、頭のいい個人が正解を覚えることではないのだと思えてくる。
むしろ、現場の中で試行錯誤が許され、失敗や違和感が共有され、組織が自分の作動を見直すことができるかどうか。そこに学習がある。
高リスクな現場では、マニュアル通りに動くだけでは足りない。
例外に出会ったとき、何を疑うのか。
誰に知らせるのか。
どこで止めるのか。
その経験を次にどう残すのか。
つまり、人間の介在が実質的な統制になるためには、人間の能力だけではなく、人間が介入できる制度が必要になる。
HITLも同じだと思った。
制度としてのHITLとは、AIの後ろに人間を置くことではない。
人間が本当に介入できる条件を設計することである。
停止条件があること。
エスカレーション先があること。
判断負荷が一人に集中しないこと。
責任だけでなく権限もあること。
疑うためのログや根拠が残っていること。
運用後に振り返り、仕組みを直す回路があること。
そこまで含めて、ようやく「人間がループの中にいる」と言えるのではないか。

魔法使いの弟子は、終了条件をプロンプトしていない話だった

HITLを考えているとき、ディズニーの『ファンタジア』に入っている「魔法使いの弟子」を教えてもらった。
これは、まさに終了条件をプロンプトしていない話だった。
箒は有能である。
命令されたことを実行する。
水を運ぶ。
疲れない。
文句を言わない。
効率がいい。
だから怖い。
問題は、箒が無能なことではない。
むしろ、箒が命令通りに動き続けることにある。
止め方を知らないまま、自動化だけを起動する。
結果が出ているあいだは便利に見える。
けれど、環境が変わり、限界を超え、部屋が水で満たされても、箒は止まらない。
そこで人間が慌てて介入する。
しかし、介入できるだけの知識も、権限も、停止手順もない。
箒を切っても、かえって増殖してしまう。
これはAIの寓話として読める。
生成AIが間違えるから危ない、というだけではない。
目的が単純化され、終了条件が曖昧で、例外時の停止手順がなく、人間が後追いで責任を取る構造そのものが危ない。

もう一つのHITLアニメとしての「工事中止命令」

もう一つ、僕が思いついたHITLアニメが、大友克洋の「工事中止命令」だった。
「魔法使いの弟子」が、止め方を知らない自動化の話だとすれば、「工事中止命令」は、止める命令があるのに止まらない組織の話である。
中止は決まっている。
命令も存在する。
人間も派遣される。
けれど、現場は動き続ける。
ここで怖いのは、単にロボットが働いていることではない。
中止命令が、現場の作動を止める力を持っていないことである。
人間はいる。
命令もある。
監督者もいる。
それでも止まらない。
これは、名目的HITLの問題そのものではないかと思った。
「人間が関与しています」という説明はある。
「必要なら止められます」という建て付けもある。
けれど、実際には止まらない。
止めようとした人間が、巨大な自動化された現場の中で孤立する。
HITLの問題は、AIの画面上の承認ボタンだけではなく、命令系統、責任分配、現場の権限、組織の学習能力の問題でもある。

測りすぎ、自動化しすぎ、任せすぎ

手元には、『オートメーション・バカ』『AI新生』『測りすぎ』も置いていた。
それぞれ違う本だけれど、今週の関心から読むと、同じ問いに合流してくる。
自動化は人間を助ける。
しかし、自動化に任せすぎると、人間の能力や注意や判断の身体が痩せていく。
AIに目的を与えるとき、その目的が本当に人間の目的と合っているのかは、簡単にはわからない。
測定指標は便利だが、測りやすいものばかりを追うと、文脈や違和感や熟練した判断が見えなくなる。
効率化は、いつも学習を助けるとは限らない。
効率化によって、振り返る時間が消えることもある。
相談する相手が減ることもある。
例外を例外として扱う余白がなくなることもある。
そのとき組織は、賢くなるのではなく、間違い方を発見できなくなる。
報告AIも同じだと思う。
報告が速くなる。
要約がきれいになる。
一覧性が上がる。
それはたしかに便利である。
けれど、その速さによって、誰か一人が大量の報告を確認するだけになるなら。
違和感を拾う余白がなくなるなら。
現場で何が起きているかを学ぶ回路が細るなら。
それは単なる効率化ではなく、組織の学習能力を痩せさせることになる。

制度としてのHITLへ

だから、HITLについて考えるとき、問いは「人間がいるかどうか」では足りない。
その人間は、止められるのか。
疑えるのか。
問い返せるのか。
判断を分担できるのか。
責任だけでなく権限を持っているのか。
失敗や違和感を、次の設計に戻せるのか。
人間中心AIという言葉は、そのままだと安心の言葉になりやすい。
けれど、人間が止められないなら、それは人間中心ではない。
人間が疑えないなら、それは人間中心ではない。
人間が学べないなら、それは人間中心ではない。
それは、見せかけの人間中心である。

名目的HITLから、制度としてのHITLへ。

今週考えていたのは、たぶんこのことだった。
AIが仕事を奪うのか、という問いは、もう少し別の形に言い換えられる。
AIによって、人間はどのような位置に置かれるのか。
人間は判断する主体として残るのか。
それとも、責任だけを負う名目的な監督者になるのか。
この問題は、学会やAIの勉強会など、どこかで一度報告できるかもしれないと思っている。
いま考えたいのは、AIの性能だけではない。
止められる人間。
疑える組織。
学べる制度。
HITLとは、本来そのための言葉であるはずだ。

参照・リンク

名目的HITLから制度としてのHITLへ——福島真人『学習の生態学』つまみ読み

ディズニー『ファンタジア』「魔法使いの弟子」

KADOKAWA『迷宮物語』

眉村卓

福島真人『学習の生態学——リスク・実験・高信頼性』

ニコラス・G・カー『オートメーション・バカ——先端技術がわたしたちにしていること』

スチュアート・ラッセル『AI新生——人間互換の知能をつくる』

ジェリー・Z・ミュラー『測りすぎ——なぜパフォーマンス評価は失敗するのか？』

ハッシュタグ

#HITL #HumanInTheLoop #AI #生成AI #AIガバナンス #人間中心AI #制度設計 #アルゴリズム #オートメーション #自動化 #仕事とAI #ワンオペ #組織学習 #高信頼性組織 #学習の生態学 #福島真人 #魔法使いの弟子 #工事中止命令 #オートメーションバカ #今週やったこと