本当にシステムを止められるか——ニコラス・G・カー『オートメーション・バカ』読書ノート
書誌情報と目次
書名：『オートメーション・バカ——先端技術がわたしたちにしていること』
原題：The Glass Cage: Automation and Us
著者：ニコラス・G・カー
訳者：篠儀直子
出版社：青土社
刊行：2015年1月
ISBN：978-4-7917-6844-8
判型・頁数：20cm、332頁＋索引4頁
定価：2,420円（税込、本体2,200円）
主な章立て：第1章「乗客たち」、第2章「門の脇のロボット」、第3章「オートパイロットについて」、第4章「脱生成効果」、第5章「ホワイトカラー・コンピュータ」、第6章「世界とスクリーン」、第7章「人間のためのオートメーション」、第8章「あなたの内なるドローン」、第9章「湿地の草をなぎ倒す愛」。
---
承認ボタンは統制ではない——『オートメーション・バカ』から考えるAI制度設計
本当にシステムを止められるか
AI導入をめぐる議論で、よく聞く言葉がある。
「最後は人間が判断します」
「人間がループの中にいます」
「承認ボタンを押すのは人間です」
一見すると安心できる言い方だ。完全自動化ではない。人間が関与している。だから暴走しない。だから責任も残っている。
けれど、本当にそうだろうか。
人間がループの中にいることと、人間が実質的な統制をしていることは、同じではない。
この問題意識は、これまで考えてきたHITL、つまり human in the loop の限界から出てきた。前回までの整理では、HITLが「人間が関与しているから大丈夫」という便利な合言葉になりやすい一方で、AIが処理しきれない難しい案件だけを人間に回すことで、人間の判断負荷が重くなる問題が見えていた。さらに、人間が見られない、疑えない、止められない、相談できない、失敗から学べない、育たないなら、その人間は統制主体ではなく、責任の置き場所になってしまう、という結論に至っていた。
今回、ニコラス・G・カー『オートメーション・バカ』を読むと、この問題がさらに具体的になる。
問いは、こう言い換えられる。
人間は、本当にシステムを止められるのか。
承認ボタンが残っているだけで十分なのか。
大量の案件を、本当に人間は見切れるのか。
AIの出力を疑い、止め、覆すだけの時間と権限があるのか。
システムの速度が上がり、マルチエージェント化が進むほど、人間の介在は、中身のある判断ではなく、形式的な承認や責任の受け皿に変わってしまうのではないか。
これは単なるAI倫理の問題ではない。
制度設計の問題である。
「魔法使いの弟子」と「工事中止命令」
この問題を考えるとき、二つの映像のイメージが頭に浮かぶ。
ひとつは、ディズニー『ファンタジア』の「魔法使いの弟子」。1940年公開の『ファンタジア』に含まれる有名なセグメントで、ミッキーが魔法を使って箒に水汲みをさせるが、止め方がわからず、水があふれ続ける物語である。
もうひとつは、大友克洋が監督した『迷宮物語』の一篇「工事中止命令」。ジャングルの奥地でロボットたちが工事を続けており、男が中止を告げに行くが、システムは止まらない。
この二つのイメージは、『オートメーション・バカ』を読むうえで、とても正しい補助線になる。
どちらも、「始めること」はできる。
どちらも、「命令すること」はできる。
しかし、いったん動き出したシステムを止められない。
つまり問題は、能力や効率ではなく、停止権限である。
自動化は、作業を速くする。
自動化は、人間の負担を減らす。
自動化は、ミスを減らすこともある。
しかしその一方で、自動化は、止める力を人間から奪うことがある。
しかも厄介なのは、その奪い方が露骨ではないことだ。人間はまだ席に座っている。画面を見ている。ログインしている。承認ボタンも押している。だから、形式上は人間が関与している。
しかし、もしその人間が、何が起きているかを十分に見られず、判断の根拠を確認できず、異議を唱える時間もなく、止める権限もなく、止めた場合に組織から守られないなら、その人間は統制していない。
ただ、そこに置かれているだけである。
つまみ読みする章
『オートメーション・バカ』は通読してもよい本だが、今回の問題意識から読むなら、まず次の章を拾うのがよいと思う。
第3章「オートパイロットについて」
第4章「脱生成効果」
第5章「ホワイトカラー・コンピュータ」
第7章「人間のためのオートメーション」
第8章「あなたの内なるドローン」
第9章「湿地の草をなぎ倒す愛」
この順番で読むと、本書は単なる「自動化批判」ではなく、人間の判断力がどのような環境で育ち、どのような環境で痩せていくのかを考える本として見えてくる。
第3章「オートパイロットについて」——普段は任せ、非常時だけ戻される人間
第3章で重要なのは、航空機の自動化である。
現代の航空機は高度に自動化されている。オートパイロット、フライトマネジメントシステム、センサー、警報、表示装置。これらは航空安全に大きく貢献してきた。自動化そのものが悪いわけではない。
しかしカーが注目するのは、別の点である。
自動化がうまく機能しているあいだ、人間は操作する主体ではなく、監視する主体になる。パイロットは手を動かす機会を減らし、システムが出す情報を眺め、必要なときだけ介入する存在になる。
問題は、まさにその「必要なとき」である。
2009年のエールフランス447便事故は、本書でも象徴的に扱われる出来事である。Google Booksの説明でも、この事故では最新のグラスコックピットを備えたエアバスA330が大西洋に墜落し、オートパイロットが切れたことが重要な契機として紹介されている。
ここで見えてくるのは、自動化の逆説である。
平常時には、人間から操作経験を奪う。
異常時には、人間に高度な判断を求める。
普段は任せておきながら、非常時だけ「さあ、人間が判断してください」と戻してくる。
これはかなり無理のある設計である。
判断力は、非常時だけ取り出せるものではない。日常の小さな操作、確認、失敗、違和感、修正の中で維持される。人間が手を動かし、状況を読み、結果を受け取り、次の判断に反映する。その反復によって、技能は身体に残る。
ところが自動化は、その反復を減らしてしまう。
だから、AI制度設計に引き寄せるなら、ここで問うべきなのは「人間が最後にいるか」ではない。
その人間は、日常的に判断しているのか。
異常が起きる前から、状況を理解しているのか。
システムのふるまいに違和感を持てるだけの経験を維持しているのか。
非常時にだけ呼び戻される幽霊のような責任者になっていないか。
これが第3章からの教訓である。
第4章「脱生成効果」——人間の能力は、使わなければ痩せる
第4章「脱生成効果」は、今回の問題意識にかなり近い。
自動化は、人間の仕事を置き換えるだけではない。人間の能力の生成過程そのものを変えてしまう。
たとえば、道を覚えること。
たとえば、患者の状態を総合的に見ること。
たとえば、図面を引くこと。
たとえば、飛行機を操縦すること。
これらは単に「結果を出す」ための作業ではない。作業をする過程で、人間の中に知覚、判断、身体感覚、記憶、勘、違和感が生成される。
しかしソフトウェアが途中過程を代行すると、人間は結果だけを見るようになる。
便利にはなる。
速くもなる。
ミスも減るかもしれない。
けれど、その過程で、判断力を育てる経験が失われる。
カーが論じる automation complacency と automation bias、つまり自動化への過信と、自動化の出力を自分の訓練や感覚より信じてしまう傾向は、航空機の事例だけでなく、多くの自動化システムに当てはまると整理されている。
ここから、AI時代の承認ボタン問題が見えてくる。
AIが下書きを作る。
AIが候補を出す。
AIがリスクを分類する。
AIが次のアクションを提案する。
人間はそれを確認し、少し修正し、承認する。
一見すると、人間は関与している。
しかし、もし人間が最初から考える機会を失い、比較する素材を失い、自分で判断を組み立てる経験を失っていくなら、承認は判断ではなくなる。
承認とは、判断の最後の一押しではない。
本来は、そこに至るまでの理解、疑い、比較、保留、反証、責任の引き受けを含む行為である。
その途中過程をAIがほとんど肩代わりし、人間が最後のクリックだけを担うなら、それは「人間が判断している」とは言いにくい。
人間は判断者ではなく、判子になる。
第5章「ホワイトカラー・コンピュータ」——専門職も監視役になる
第5章は、ホワイトカラー労働の自動化を扱う。
医療、建築、金融、事務、法律、設計。これまで「専門職」と呼ばれてきた領域にも、ソフトウェアによる自動化が入り込む。青土社の紹介でも、本書は医療、株取引、建築設計、自動車、ロボットなど、さまざまな領域の自動化を対象にしているとされている。
ここで大事なのは、自動化が肉体労働だけでなく、判断労働にも及ぶということだ。
医師は電子カルテや診断支援システムを使う。
建築家はCADや設計支援ソフトを使う。
金融業務はアルゴリズムと高速取引に依存する。
企業の事務処理はワークフローと承認システムに組み込まれる。
これらは便利である。
しかし同時に、専門職の仕事を、システムへの入力、確認、例外処理へと変えていく。
専門職は、考える人から、システムが出した結果を処理する人へと変わる。
ここで再び、承認ボタンが問題になる。
承認者は本当に判断しているのか。
それとも、システムがすでに決めた結論に、後から名前を付けているだけなのか。
特に危険なのは、判断の根拠がソフトウェアの内部に隠れ、承認者には最終出力しか見えない場合である。
その場合、承認者は「承認した人」として記録される。
しかし、実際には判断の生成過程には関与していない。
事故が起きたときだけ、「人間が確認していました」と言われる。
ここで人間は、統制主体ではなく、責任の受け皿になる。
第7章「人間のためのオートメーション」——人間を楽にする設計か、人間を痩せさせる設計か
第7章「人間のためのオートメーション」は、カーの議論を制度設計へ接続するうえで重要である。
自動化を全部否定する必要はない。
問題は、どのように自動化するかである。
人間から作業を奪い、人間を監視役に変え、非常時だけ責任を戻す自動化なのか。
それとも、人間の技能、注意、判断、理解を保ちながら、道具として支える自動化なのか。
この差は大きい。
前者は、人間をシステムの外側へ押し出す。
後者は、人間をシステムの中で能動的に保つ。
AI制度設計でも同じである。
AIが速く処理できるからといって、人間の判断過程をすべて奪ってよいわけではない。
AIが高精度だからといって、人間の違和感を無意味にしてよいわけではない。
AIが提案できるからといって、人間が試し、迷い、照合し、学ぶ時間を削ってよいわけではない。
人間のためのAIとは、人間を楽にするAIではなく、人間が判断主体であり続けられるAIである。
ここでいう「人間中心」は、気分のよい標語ではない。
人間が見られること。
人間が疑えること。
人間が止められること。
人間が他者と照合できること。
人間が失敗から学べること。
人間が次の判断者として育つこと。
これらが設計に入っていなければ、人間中心は見せかけになる。
第8章「あなたの内なるドローン」——距離ができると責任の線がぼやける
第8章を、今回の問題意識から読むなら、責任の遠隔化の章として読める。
技術は、人間に距離を与える。
遠くを見る。
遠くを操作する。
遠くの対象に作用する。
距離は便利である。
しかし距離が生まれると、責任の線がぼやける。
ドローン、遠隔操作、画面越しの判断、アルゴリズムによる選別。これらは、行為と結果のあいだに距離を作る。すると、人間は自分が何をしているのかを直接感じにくくなる。
AIでも同じことが起きる。
画面上では、ただ承認ボタンを押しただけに見える。
けれど、その承認が誰かの融資、採用、治療、警告、処罰、監視、攻撃、契約、解雇に結びつくことがある。
行為は軽く見える。
結果は重い。
だから制度は、行為と結果の距離を再接続しなければならない。
誰が何を見たのか。
何を根拠に承認したのか。
どの段階で止められたのか。
異議申し立ては可能だったのか。
承認者に十分な情報と時間と権限があったのか。
これを記録し、検証し、改善する仕組みがなければ、「人間が関与した」という事実だけが残り、責任だけが人間に落ちていく。
第9章「湿地の草をなぎ倒す愛」——便利さだけでは、人間は育たない
第9章は、カーの議論が単なる安全論ではないことを示している。
自動化は便利である。
しかし、人間にとって大事なものは、便利さだけではない。
面倒な作業の中で、身体が覚えることがある。
遠回りの中で、土地勘が育つことがある。
手を動かす中で、世界との関係が深まることがある。
失敗や試行錯誤の中で、判断力が育つことがある。
すべてを滑らかにし、すべてを最短距離にし、すべてを自動化すると、人間は楽になるかもしれない。
しかし同時に、人間は痩せるかもしれない。
AI導入やDXでは、どうしても人件費や処理時間が見える。削減できるものとして語られる。けれど、人件費の中には、見えにくいコストも含まれている。
例外対応。
相互監督。
引き継ぎ。
後進育成。
判断力の維持。
違和感を共有する時間。
小さな失敗を学習資源に変える場。
これらをまとめて削ってしまうと、短期的には効率化しても、長期的には組織の判断能力が痩せる。
だから『オートメーション・バカ』は、AI時代の制度設計にとって重要である。
この本が問うているのは、機械が人間より賢いかどうかではない。
人間が、判断主体であり続けられる環境を残せるかどうかである。
「人間がいる」ではなく「止められる人間がいる」
ここまで読むと、HITLの問いはかなり変わる。
「人間がループに入っているか」では足りない。
問うべきなのは、次のことだ。
その人間は、何を見ているのか。
AIの出力だけでなく、判断の前提を見られるのか。
どの情報にアクセスできるのか。
どの段階で止められるのか。
止めたとき、組織はその人を守るのか。
AIの判断を覆すことは、制度上許されているのか。
判断件数と判断時間は、人間が本当に見られる量になっているのか。
難しい案件だけが人間に集中していないか。
監督負荷は測定されているのか。
複数人で照合する回路はあるのか。
現場の違和感は、正式な情報として扱われるのか。
小さな失敗やヒヤリハットは、学習資源として扱われるのか。
省力化によって、相互監督、引き継ぎ、後進育成が削られていないか。
人間を残すことが、責任を人間に押しつける口実になっていないか。
これらを問わないまま「HITLです」と言っても、それは制度ではなく表示である。
人間がいるだけでは足りない。
止められる人間がいなければならない。
しかも、その人間は一人であってはならない。
高リスクな領域では、一人の英雄的判断者に頼るのではなく、複数の観察点、複数の停止点、複数の確認経路、複数の責任分担が必要になる。人間、道具、記録、会話、訓練、異議申し立て、免責、監査、改善の回路が重なって、はじめて実質的な人間統制になる。
「止められるかテスト」
AI制度設計に必要なのは、「人間が入っています」という説明ではなく、「止められるかテスト」だと思う。
あるAIシステムを導入するとき、次の七つを確認する。
第一に、停止権限。
誰が、どの段階で、処理を止められるのか。
第二に、停止時間。
人間が異常に気づいてから、実際に止めるまでの時間は、システムの速度に間に合うのか。
第三に、可視性。
人間は、AIの出力だけでなく、入力、前提、根拠、影響範囲を見られるのか。
第四に、反証可能性。
AIの出力を疑い、別の資料や別の人の判断と照合できるのか。
第五に、負荷管理。
一人あたりのレビュー件数、判断時間、例外案件の重さは測られているのか。
第六に、免責と保護。
止めた人、疑った人、異議を出した人が、あとから不利益を受けない制度になっているのか。
第七に、学習回路。
止めたケース、迷ったケース、覆したケース、事故に至らなかったヒヤリハットが、次の設計に戻されるのか。
この七つがなければ、人間の介在は弱い。
承認ボタンは統制ではない。
統制とは、止められる構造である。
結論——「工事中止命令」を出せる制度をつくる
『魔法使いの弟子』の怖さは、箒が水を汲むことではない。止め方を知らないことだ。
『工事中止命令』の怖さは、ロボットが働くことではない。中止命令が届かないことだ。
『オートメーション・バカ』が教えてくれるのも、同じことだと思う。
自動化そのものが悪いのではない。
AIそのものが悪いのでもない。
問題は、自動化によって人間が判断から遠ざけられ、技能を失い、状況を見失い、それでも最後だけ責任者として呼び戻される構造である。
人間を残せば安心なのではない。
人間が見られる制度を残せるか。
人間が疑える制度を残せるか。
人間が止められる制度を残せるか。
人間が他者と照合できる制度を残せるか。
人間が失敗から学べる制度を残せるか。
人間が次の判断者として育つ制度を残せるか。
そこが問われている。
AI時代に必要なのは、承認ボタンの数を増やすことではない。
人間の名前をログに残すことでもない。
「人間中心」と書いた倫理文書を作ることでもない。
必要なのは、実際にシステムを止められる制度である。
人間がループの中にいることと、人間が実質的な統制をしていることは違う。
そして、実質的な統制とは、最後に人間が判子を押すことではない。
本当に危ないときに、
「止める」
と言えること。
その声が、技術的にも、組織的にも、制度的にも、ちゃんと届くこと。
その条件をつくることが、AI時代の制度設計なのだと思う。
---
参考にしたリンク集
青土社：オートメーション・バカ
e-hon：オートメーション・バカ
Nicholas Carr 公式：The Glass Cage
The Guardian：The Glass Cage review
Books and Culture：The View from the Glass Cage
Time：Fantasia 75周年記事
映画.com：迷宮物語
武蔵野美術大学 美術館・図書館 イメージライブラリー：迷宮物語 工事中止命令
ハッシュタグ20
#オートメーションバカ
#ニコラスGカー
#AI制度設計
#実質的人間統制
#HITL
#HumanInTheLoop
#AIガバナンス
#AI倫理
#自動化
#オートメーション
#承認ボタン
#責任の受け皿
#マルチエージェント
#オートパイロット
#脱技能化
#自動化バイアス
#人間中心設計
#魔法使いの弟子
#工事中止命令
#読書ノート
