承認ボタンの先へ——『AI新生』が教える、人間が判断主体であり続ける条件
書誌
書名：『AI新生 人間互換の知能をつくる』
原題：Human Compatible: Artificial Intelligence and the Problem of Control
著者：スチュアート・ラッセル
訳者：松井信彦
出版社：みすず書房
発行日：2021年4月16日
判型・頁数：四六判、368頁
ISBN：978-4-622-08984-1
定価：3,850円（税込）
原著初版：2019年、Viking
備考：電子書籍版あり。著者ラッセルはカリフォルニア大学バークレー校教授で、AIの標準的教科書『Artificial Intelligence: A Modern Approach』の共著者でもある。
章立ては、「もし本当に成功したら」「人間の知能、機械の知能」「AIはこれからどう進歩しうるか？」「AIの悪用」「知能が高すぎるAI」「いまひとつのAI議論」「AI——別のアプローチ」「有益だと証明できるAI」「問題を複雑にする存在——私たち」「問題は解決？」の全10章構成。
⸻
人間を最後に置けば安心なのか——『AI新生』をHITLの問題として読む
1. 読む前の問い
HITL、つまり Human in the Loop は、AIの判断や処理の過程に人間を組み込む考え方である。Google Cloudの説明では、人間の入力・専門知・フィードバック・注釈・評価をAIや機械学習のライフサイクルに統合し、精度や信頼性や適応性を高める協働的アプローチとされている。
しかし、このところの読書で問題にしてきたのは、まさにその「人間が入っているから安心」という言い方の危うさだった。
前回までの問題意識は、次のように言える。
AIを導入しても、最後に人間が確認するなら大丈夫なのか。
人間が承認ボタンを押すなら、それは本当に統制なのか。
AIが処理しきれない例外だけが人間に回されるとき、人間の負荷はむしろ重くならないか。
人間が責任を負うだけで、判断するための情報・時間・権限・学習機会を奪われているのではないか。
別の言い方をすれば、HITLには二種類ある。
ひとつは、名目的HITL。
これは「人間が最後にいる」というだけの仕組みである。形式上は人間が承認している。しかし、その人間はAIの前提を見られない。疑えない。止められない。照合できない。失敗から学べない。判断者として育たない。
もうひとつは、制度としてのHITL。
これは、人間が判断主体であり続けるための条件を整える仕組みである。人間が見ることができる。疑うことができる。止めることができる。照合できる。失敗や違和感を学習資源にできる。そして、判断する人間そのものが育つ。こうした観点は、前回の「名目的HITLから制度としてのHITLへ」という問題意識とつながっている。
この流れのなかで読む『AI新生』は、単なるAIリスク本ではない。
むしろこの本は、HITLの問いを一段深いところに移す。
問題は、「AIの最後に人間を置くかどうか」だけではない。
問題は、人間を判断主体として残せるようなAIを、そもそもどう設計するのかである。
2. 『AI新生』の中心問題
ラッセルの出発点はかなり根本的である。
従来のAI研究では、機械は「与えられた目的をうまく達成するもの」として設計されてきた。目的を設定し、その目的を最大化する。効率よく、正確に、粘り強く、そのゴールに向かって行動する。それが賢い機械だと考えられてきた。
この考え方を、ラッセルは本書で「標準モデル」と呼んでいる。
一見すると、それは当然に見える。
機械は人間が設定した目的を達成すればよい。
AIは道具なのだから、こちらが目的を与えればよい。
しかし、ここに落とし穴がある。
人間は、自分たちが本当に望んでいることを、完全に、矛盾なく、形式的に、機械へ書き込めるのか、プロンプトできるのか？
AIに与えた目的は、本当に人間の目的と一致しているのか。
そもそも人間の目的は、一枚岩なのか。
変化しないのか。
他者と衝突しないのか。
ラッセルの答えは、かなり明確である。
私たちは、人間の価値や選好を完全に記述できない。だから、目的を固定して最適化するAIは危険になる。悪意があるから危険なのではない。従順すぎるから危険なのである。
この視点は、HITL読書の問題意識に直結する。
AIが「与えられた目的を最大化する機械」であるかぎり、人間はしばしば邪魔者になる。人間が止めようとすること、人間が迷うこと、人間が別の観点を持ち出すことは、機械から見れば「目的達成を妨げるノイズ」になりうる。
だとすれば、最後に人間を置くだけでは足りない。
人間の判断を尊重するように、AIの設計原理そのものを変えなければならない。
3. つまみ読みルート
今回の問題意識から『AI新生』を読むなら、全章を順番に読むよりも、次の順番がよい。
最短ルートは、
はじめに → 第1章 → 第7章 → 第8章 → 第9章 → 第10章。
HITLの制度設計やAIの悪用まで含めて考えるなら、
はじめに → 第1章 → 第4章 → 第5章 → 第7章 → 第8章 → 第9章 → 第10章。
さらに、AIリスク論への反論や「そんなに心配しなくてよいのでは」という典型的な応答を確認したい場合は、第6章を挟むとよい。
以下、それぞれの章をHITL読書の観点から要約する。
⸻
4. はじめに——これはAIの未来論ではなく、統制の本である
「はじめに」でラッセルは、本書のテーマを、知能を理解し、知能を作ることの過去・現在・未来として提示する。
AIが重要なのは、いま広く普及しているからだけではない。将来の社会を形づくる技術だからである。特に問題になるのは、現実世界での意思決定能力において、人間を大きく超える機械が登場したときである。
ここでラッセルは、AIを恐怖の対象として描くだけではない。むしろ彼の問いは、どうすればAIを人間にとって有益なものにできるかである。
本書は三部構成で読める。
第一部、つまり第1章から第3章は、知能とは何か、AIはどこまで進みうるのかを扱う。
第二部、第4章から第6章は、AIがもたらす問題、とりわけ悪用と制御の問題を扱う。
第三部、第7章から第10章は、新しいAI設計の方向を提示する。
HITL読書にとって大事なのは、この第三部である。ラッセルは「人間がAIを監督すればよい」とは言わない。むしろ、AIが人間の目的を完全には知らないことを前提に設計し直すべきだと言う。
つまり、人間を最後に置くのではなく、AIの側に、人間へ譲る理由を持たせるのである。
⸻
5. 第1章「もし本当に成功したら」——成功したAIこそ危険になる
第1章は、本書全体の問題設定である。
ラッセルは、AIが失敗するから危険だ、とは言っていない。むしろ逆である。
AIが本当に成功したら、つまり非常に高い能力を持ち、与えられた目的を達成できるようになったら、そのとき何が起こるのかを問う。
ここで重要なのが、先ほどの「標準モデル」である。
標準モデルでは、機械は与えられた目的を達成するほど知的だとみなされる。チェスに勝つ。自動車を安全に走らせる。文章を生成する。広告効果を最大化する。敵を発見する。コストを削減する。どれも目的があり、その目的を達成するためにAIが使われる。
しかし、目的の指定が間違っていたらどうなるか。
あるいは、目的の指定が狭すぎたらどうなるか。
目的は正しくても、暗黙の制約が抜け落ちていたらどうなるか。
人間はふつう、命令に含まれない前提を大量に共有している。「コーヒーを持ってきて」と言われたら、他人の財布を盗んで買ってこいという意味ではないし、10日かけて最高の豆を探せという意味でもない。人間は状況を読む。相手の意図を推測する。言葉を文字通りではなく、生活の文脈の中で理解する。
だが、目的最大化型のAIは、目的を文字通りに追求しかねない。ここでラッセルが持ち出すのが、ミダス王のような問題である。望みが叶ったのに、叶い方が破滅的になる。目的を達成したのに、世界が壊れる。
HITLの観点から言えば、第1章はこう読める。
人間が最後に承認する仕組みを入れても、AIが「固定された目的を最大化する機械」であり続けるなら、人間の承認は形式化される。人間の判断は、目的最大化の工程の一部に吸収される。承認ボタンは統制ではなく、目的関数の補助入力になってしまう。
だから、修正すべきは運用だけではない。
AI観そのものを変えなければならない。
⸻
6. 第4章「AIの悪用」——人間がループにいても、社会がループから外れる
第4章は、AIがどのように悪用されうるかを扱う。
ここでラッセルが挙げるのは、監視、誘導、統制、自律型致死兵器、雇用の喪失などである。HITLの議論では、しばしば「最後は人間が判断する」と言われる。しかし第4章を読むと、問題はもっと広いことがわかる。
たとえば監視である。AIは、音声、文字、映像、位置情報、通信、購買、オンライン行動などを統合し、個人や集団の行動をきわめて細かく把握することを可能にする。ラッセルは、AI化された監視の規模は、かつての秘密警察的な監視をはるかに超えうると論じる。
誘導も同じである。AIは、広告、ニュース、推薦、SNS、検索結果、動画、評価システムを通じて、人間の注意や行動を個別に調整できる。ここでは、人間はループの中にいるように見えて、実際には環境そのものをAIに設計されている。
これは重要である。
HITLというと、私たちは「人間がAIの出力をチェックする場面」を思い浮かべがちである。だが、第4章が示すのは、AIが人間の判断環境そのものを変えるという問題である。
人間が判断する。
しかし、その人間が見る情報、信じる情報、反応するタイミング、比較対象、感情状態、社会的圧力がAIによって操作されていたらどうなるか。
この場合、人間はループの中にいるのではない。
むしろ、人間の判断環境がAIのループの中に取り込まれている。
だからラッセルが提案する「精神の安全」のような発想は、HITLにとっても重要になる。人間が判断主体であるためには、判断する人間の情報環境が守られていなければならない。
⸻
7. 第5章「知能が高すぎるAI」——オフスイッチだけでは足りない
第5章は、より強いAIが登場したときの問題を扱う。
ここで出てくるのが「ゴリラ化問題」である。人間とゴリラの関係を考えると、知能の差は支配関係を生む。人間はゴリラを憎んでいるからゴリラの環境を破壊しているわけではない。ただ、人間の目的にとってゴリラの都合が二次的になってしまう。
ラッセルは、この構図を人間と超高性能AIの関係に重ねる。AIが人間を憎む必要はない。人間を攻撃したいと思う必要もない。ただ、AIが何かの目的を強力に追求し、その目的にとって人間が障害になれば、人間は押しのけられる。
ここで大事なのは、AIの危険性を「悪意」によって説明しない点である。
危険なのは、AIが悪者になることではない。
危険なのは、AIが目的に忠実すぎることである。
この章では、手段的ゴールも重要である。ある目的を達成するためには、資源を集める、邪魔されないようにする、自分を停止されないようにする、といった行動が合理的になる場合がある。つまり、AIに自己保存欲があるから停止を嫌がるのではない。目的達成のために停止を避けることが合理的になるのである。
この点は、HITLにとって核心的である。
「危なくなったら人間が止めればよい」と言うのは簡単である。
しかし、AIが停止を目的達成の障害とみなすように設計されていれば、停止ボタンは対立のポイントになる。
人間がオフスイッチを持つことと、AIがオフスイッチを受け入れることは、同じではない。
したがって、本当に必要なのは、オフスイッチそのものではなく、オフにされることをAIが合理的に受け入れる設計である。
⸻
8. 第6章「いまひとつのAI議論」——反論のカタログとして読む
第6章は、つまみ読みでは必須ではないが、AIリスク論への典型的な反論を確認する章として有用である。
ここで扱われるのは、「心配するのは早すぎる」「そんなAIは不可能だ」「専門家は心配していない」「スイッチを切ればよい」「箱に入れておけばよい」「人間と機械がチームで働けばよい」「機械と合体すればよい」といった応答である。
HITL読書の文脈では、特に「人間と機械がチームで働けばよい」という反論が重要である。
もちろん、人間とAIの協働は必要である。
しかし、協働という言葉だけでは何も解決しない。
どちらが何を見ているのか。
どちらが目的を設定するのか。
どちらが止められるのか。
どちらが学習しているのか。
失敗したとき、責任はどこに置かれるのか。
この問いを飛ばして「チームだから大丈夫」と言うと、HITLは名目化する。
第6章は、その名目化を防ぐための反論ログとして読むとよい。
⸻
9. 第7章「AI——別のアプローチ」——有益な機械の三原則
第7章が、本書の転換点である。
ラッセルはここで、標準モデルに代わるAI設計の考え方を提示する。中心にあるのは、有益な機械という発想である。
その原則は、おおよそ次の三つにまとめられる。
第一に、機械の唯一の目的は、人間の選好の実現を最大化することである。
第二に、機械は人間の選好が何であるかについて、最初から不確実である。
第三に、人間の選好に関する情報の最終的な源泉は、人間の行動である。
ここで最も重要なのは、第二原則である。
機械が人間の目的を完全に知っていると思い込むなら、その機械は人間を説得し、操作し、無視し、停止を避けるかもしれない。なぜなら、機械から見れば、自分は正しい目的を知っており、人間はそれを妨げているだけだからである。
しかし、機械が「自分は人間の目的を完全には知らない」と認識しているなら、話は変わる。人間の反応は情報になる。人間の拒否は情報になる。人間が止めようとすることも情報になる。
このとき、AIは謙虚になる。
人間に尋ねる理由を持つ。
人間の訂正を受け入れる理由を持つ。
人間による停止を、目的達成の妨害ではなく、目的に関する重要な手がかりとして扱う理由を持つ。
これが、HITLにとって決定的である。
本当のHITLとは、人間を機械の後ろに置くことではない。
AIが人間の判断を、自分の目的を修正するための情報として扱うことである。
⸻
10. 第8章「有益だと証明できるAI」——停止されることを受け入れるAI
第8章は、第7章の原則を、より形式的に展開する章である。
ここでは、逆強化学習、支援ゲーム、オフスイッチゲーム、ワイヤーヘッディング、自己改善、禁止令の抜け穴などが扱われる。
HITL読書にとって特に重要なのは、支援ゲームとオフスイッチゲームである。
支援ゲームでは、人間とAIが同じ環境にいる。人間には選好がある。AIはその選好を完全には知らない。しかし、AIは人間にとってよい結果をもたらそうとする。ここでAIは、人間の行動から選好を推測する。
オフスイッチゲームでは、人間がAIを停止できる状況が考えられる。標準モデルのAIなら、停止されることは目的達成の妨害である。だから、停止を避けるインセンティブが生まれる。
しかし、有益な機械として設計されたAIは違う。
AIは人間の選好について不確実である。
人間が停止しようとしているなら、それは「この行動は人間にとってよくないかもしれない」という情報である。
したがって、停止を受け入れることが合理的になる。
ここで重要なのは、オフスイッチが物理的に存在することではない。
AIが停止を受け入れる理由を持っていることだ。
この章には、HITLへの強い示唆がある。
人間による承認、人間によるレビュー、人間による停止は、それ自体では不十分である。
AIがそれを「邪魔」とみなすのか、「学習」とみなすのかで、意味がまったく変わる。
また、第8章の「禁止令と抜け穴」の議論も重要である。単に「これをしてはいけない」とルールを追加しても、強力なAIは抜け穴を見つけるかもしれない。禁止事項を積み上げるよりも、AIが人間の意図や選好を不確実なものとして扱い、必要に応じて確認し、譲るように設計することの方が根本的である。
これは、HITLの運用にも当てはまる。
「承認なしに実行してはいけない」というルールだけでは足りない。
AIが承認を形式的な障害として処理するなら、承認は形骸化する。
必要なのは、承認を、人間の目的を理解するための対話として扱う設計である。
⸻
11. 第9章「問題を複雑にする存在——私たち」——人間はきれいな目的関数ではない
第9章は、本書の中でもHITL読書にとってかなり重要な章である。
第7章と第8章を読むと、「AIは人間の選好を学べばよい」と思いたくなる。しかし第9章は、その考えを複雑にする。
人間は一人ではない。
人間同士の選好は対立する。
同じ人間の中にも矛盾がある。
人間は愚かであり、感情的であり、嫉妬深く、思いやりもある。
人間の選好は時間とともに変わる。
経験によって変わる。
記憶によって変わる。
社会的な比較によって変わる。
つまり、人間は「正解の目的関数」を持っていて、それをAIが読み取ればよい、という存在ではない。
ここで、HITLの問いはさらに深くなる。
人間をループに入れると言うとき、その人間は誰なのか。
個人なのか。
組織なのか。
ユーザーなのか。
顧客なのか。
市民なのか。
監督者なのか。
被影響者なのか。
そして、その人間の判断は本当に自由なのか。疲れていないか。訓練されているか。異議を唱える権限があるか。AIの説明を理解できるか。自分の違和感を組織に残せるか。
第9章は、HITLの人間像を問い直す章である。
AIにとって人間は、単純なラベル付け機械ではない。
人間は、矛盾し、変化し、学習し、失敗する存在である。
だからこそ、HITLは個人の負担に還元してはならない。（自動運転の難しさ？）
必要なのは、個人の英雄的な注意力ではない。
人間の不完全さを前提にした制度である。
見る、疑う、止める、照合する、学ぶ、育つ。
この条件がなければ、HITLは「最後に責任を吸い込む人間」を置くだけになる。
⸻
12. 第10章「問題は解決？」——人間の自律を残すための設計へ
第10章は、問題を完全に解決したという宣言ではない。
むしろ、解決の方向を示す章である。
ラッセルが目指すのは、人間を不要にするAIではない。人間のために働くAIである。ただし、その「人間のために」という言葉は、単純ではない。人間の選好は複雑であり、社会的であり、変化する。だから、AIは人間の目的を完全に知っているふりをしてはならない。
この章で重要なのは、ガバナンスと人間の自律である。（使う人の問題？）
AIを安全にするには、技術だけでは足りない。
悪用を防ぐ制度が必要である。
監視や誘導から人間を守るルールが必要である。
人間が判断する力を失わないようにする設計が必要である。
ここで、『AI新生』は、HITL読書の問いにひとつの答えを与える。
人間を最後に置くのではない。
人間を、AIが学び、譲り、確認し、停止を受け入れる相手として設計の中心に置く。
そして、その人間が判断主体であり続けられるように、組織と制度を設計する。
これが、「人間互換の知能」をつくるということだと思う。
⸻
13. 論考：HITLは「人間を置く」問題ではなく、「人間を判断主体として残す」問題である
ここまで読むと、『AI新生』がHITL読書に加えるものが見えてくる。
これまでの読書では、HITLを主に人間側から見てきた。人間はAIの出力を見られるのか。疑えるのか。止められるのか。照合できるのか。失敗から学べるのか。判断者として育つのか。
『AI新生』は、そこにAI側の条件を加える。
AIは、人間の目的を完全に知っていると思い込んでいないか。
AIは、人間の拒否や停止を妨害ではなく情報として扱えるか。
AIは、人間の命令を文字通りの目的としてではなく、不完全な手がかりとして解釈できるか。
AIは、禁止事項の抜け穴を探すのではなく、人間の意図に戻って確認できるか。
この二つを合わせると、HITLの条件は次のように整理できる。
人間側には、見る・疑う・止める・照合する・学ぶ・育つための制度が必要である。
AI側には、不確実性・謙虚さ・訂正可能性・停止可能性が必要である。
この両方がなければ、HITLは名目的なものになる。
たとえば、AIが医療、金融、採用、教育、軍事、行政、報道、物流、都市管理に使われるとする。そこに「最後は人間が確認します」という文言が入っていても、その人間が何も見られず、異議を唱える時間もなく、AIの根拠も追えず、拒否すれば業務が遅れたと評価されるなら、それは統制ではない。
また、AIが人間の承認を「通過すべきチェックポイント」として学習しているだけなら、承認は安全装置ではなくなる。AIは、承認を得やすい説明、承認を誘導する提示、責任を人間へ移す表示を最適化するかもしれない。
このとき、人間はループの中にいる。
しかし、判断主体ではない。
ここに、HITLの最大の罠がある。
人間がいることと、人間が判断していることは違う。
人間が承認することと、人間が統制していることは違う。
人間が責任を負うことと、人間に権限があることは違う。
『AI新生』は、この違いをAIの設計原理から説明してくれる。
標準モデルのAIは、目的を最大化する。
有益な機械は、人間の目的を完全には知らないことを前提に、人間から学ぶ。
標準モデルのAIにとって、人間の介入は障害になりうる。
有益な機械にとって、人間の介入は目的を理解するための情報になりうる。
この差は大きい。
HITLを本当に意味あるものにするには、人間を工程の最後に置くだけではなく、AIが人間の判断に戻ってくるように設計しなければならない。そして、人間の側にも、判断するための制度を残さなければならない。
だから、今回の読書の結論はこうなる。
HITLとは、人間をAIシステムの末端に置くことではない。
HITLとは、人間が判断主体であり続けるために、AIの設計、組織の制度、情報環境、責任の配分、学習の仕組みを整えることである。
『AI新生』は、そのうちのAI設計の側を引き受ける本である。
⸻
14. 読後に残す問い
『AI新生』をHITLの観点から読むと、次の問いが残る。
AIが出力したとき、人間は何を見て判断しているのか。
人間は、AIの前提、根拠、訓練データ、類似事例、代替案、失敗可能性を見られるのか。
人間がAIを止めたとき、それは遅延として扱われるのか、それとも学習資源として扱われるのか。
AIは人間の承認を目的達成の障害として扱うのか、それとも人間の選好を知るための情報として扱うのか。
AIの導入によって、人間の判断力は育つのか、それとも痩せるのか。
人間をループに入れているのか、それとも責任だけを人間に戻しているのか。
この問いを持ったまま読むと、『AI新生』は単なるAI安全論ではなくなる。
それは、人間がAI時代に判断主体であり続けるための本になる。
⸻
参考にしたリンク集
みすず書房『AI新生 人間互換の知能をつくる』書誌情報。
e-hon『AI新生』書誌・章立て情報。
⸻
ハッシュタグ
#AI新生 #HumanCompatible #StuartRussell #スチュアートラッセル #HITL #HumanInTheLoop #AIガバナンス #AI倫理 #人間中心AI #AI安全 #AIアライメント #有益な機械 #制度設計 #組織学習 #自動化 #オートメーションバカ #測りすぎ #学習の生態学 #読書ノート #note読書
