【本】ジェイムズ・バラット「人工知能　人類最悪にして最後の発明」感想・レビュー・解説

これは面白い！確かに僕も、薄々この怖さに気づいていたけど、改めてこうやって明確に指摘されると、これは今、何よりも早急に対策を取らなければならない喫緊の問題なんだということが分かってくる。

本書のテーマは実にシンプルだ。それは、

「人工知能はたぶん人類を滅ぼすよ」

ということだ。さて、まず何故そういう話になるのか、ということについて触れていこう。

それを理解するための引用を二つしてみよう。

【あなたも私も野ネズミより何百倍も賢いが、DNAの約90％は野ネズミと共通している。しかし、巣穴を潰して畑にする前に、はたして野ネズミに相談するだろうか？スポーツの怪我について調べるために実験用のサルの頭にものをぶつける前に、そのサルに意見を求めるだろうか？我々はネズミもサルも憎んでいないが、それでも残酷に扱う。超知能AIも、たとえ我々を憎んでいなくても我々を滅ぼすだろう】

【人間にとってのウサギは、超知能マシンにとっての人間と同じだ。我々はウサギをどのように扱うだろうか？害獣、ペット、あるいは食材としてだ】

これでおおよそはイメージ出来るだろう。つまり、「人工知能（本書では「超知能AI」とか「AGI」とか「ASI」などと表記される）が何故、人間に“フレンドリー”だと想定しているのか？」ということだ。

特に日本人である僕らにとっては、鉄腕アトムやドラえもんなどの存在が先行しているせいで、「超知能AI（鉄腕アトムやドラえもんはそう呼んでいいだろう）は人間とうまく共存する存在だ」と認識しやすくなっているだろうと思う。しかし、そう考える理由はどこにもない。確かに、超知能AIは人間が生み出す。しかし、だからと言って人間に“フレンドリー”であるとは限らないだろう。例えば、将棋ソフトは人間が生み出したものだ。現在将棋ソフトは、プロ棋士を打ち破る棋力を持っている。さて、そんな将棋ソフトは、人間にはなかなか理解しがたい手を打つことがある。人間が長い時間掛けて積み上げてきた将棋の常識では、捉えきれない手だ。既に人工知能というのは、限定的な用途においてはそういうレベルに達している。

【加えて心かき乱す事実として、遺伝的アルゴリズムやニューラルネットワークなど、誕生しうるAGIのシステムの各部分はそもそも理解不能であり、そのシステムがなぜそのような決定を下したのかを我々が完全に理解することはできない】

本書で想定されている「人工知能」というのは、「人間と同程度の知能を持つ人口汎用知能（AGI）」や、「人間よりも遥かに高い知能を持つ人口超知能（ASI）」などだ。本書では、AGIが生み出されれば、後は自然とASIが生まれる可能性もある（要するに、AGIが自らASIに進化するということだ）とあるので、ASIについてのみ考えよう。

人間よりも遥かに知能の高いASIが、その高い知能を使って何らかの判断をするとしよう。しかしその判断は、恐らく人間には理解できないはずだ。例えばASIが、「地形や気候的に、日本全土を太陽光発電の拠点にすることが地球環境全体にとって最も望ましい」と判断したとする。その場合、日本の全面積が太陽光発電で使われるべきであり、だから日本人は日本から消滅すべきだ、と判断するかもしれない。人間であれば、当然そんな判断はしない。しかしASIなら、「地球環境が悪化した現在、地球上で人類が最も長生きするためにどうすればいいか？」という問いについて考えた時、前述のような答えを導き出すことだってあるだろう。

いや、そんな答えは無視すればいいじゃないか、と思うかもしれない。しかし、人間よりも遥かに知能の高いASIは、自らの意志で恐らくそれを実行出来る。例えば、インターネットを通じて日本の電力の送電網や水道管、交通インフラなどをすべて機能停止させることなど朝飯前だろう。そんな風にして日本人を絶滅させることだって出来る。日本人が絶滅した後であれば、残った他の国の人も、誰も住んでいないならと、日本の土地に太陽光パネルを設置するだろう。そんな風にして、ASIは自らの判断を実行に移すことが出来るだろう。

この例は別に本書に載っているものではないが、充分に想定できる範囲のことだと思う。ASIが人間に対して“フレンドリー”であれば、人間という種へのダメージを最小限にしながら課題解決をしてくれるかもしれないが、生み出されたASIが“フレンドリー”である保証は一切ないのだ。本書では、「“フレンドリー”な人工知能が作れるかどうか」を詳細に検討しているが、どんなやり方をしてもうまく行かないだろう、と結論づけられている。

あるいは、もう少し現実的な（みんなにとって抵抗が小さそうな）危機について書いてみよう。それは、AGIやASIが開発されれば、サイバー犯罪に使われる可能性がある、ということだ。

もちろん、ASIの開発には莫大な資金が必要であり、テロリストなどがおいそれと生み出せるものではない。しかし、だからと言って安心できるわけではない。その具体的な例として、本書では「オリンピック・ゲームズ」というあるサイバー戦争作戦が紹介されている。

「オリンピック・ゲームズ」は、アメリカの国家安全保障局（NSA）とイスラエルの秘密機関が、イランに対して行ったものだ。インターネットに接続していなかったイランの原発のシステムにスパイ活動を通じて入り込み、そこから、原発の重要部品を破壊するまでに至った作戦である。

この作戦で使われた「スタックスネット」という新しいコンピュータウイルスを、NSAとイスラエルが開発した。これは、通常のマルウェアと比較して、銃弾と原子爆弾ほどの差があるという。それぐらい高度な技術であり、多くの人が不可能であると考えていたことをやってのけるウイルスだった。

さて、それがどう人工知能の話と結びつくのか。実はこの作戦では、一つ大きな失態を犯していた。イランの原発から出てくることなどないと思われていたこのスタックスネットだったが、コードのエラーがあったせいで原発から外に飛び出していき、世界中に何千というコピーをばらまいたというのだ。このウイルスは、原発内部にしかない特殊な部品を壊すよう命令されたウイルスだったので、直接の被害は存在しなかったが、その代わり、「スタックスネット」という超高度なウイルスのコピーが、多くの人の手に渡ってしまったのだ。「スタックスネット」が流出する以前は、「オリンピック・ゲームズ」クラスの攻撃を仕掛けられるのは世界で5人程度だろうと思われていたが、流出後は500人程度にはなっただろうと考えられているのだ。

つまり、ASIを開発するのは国家や大企業かもしれないが、それが生み出され多くの場面で使われるようになることで、それが悪用されるかもしれない、ということだ。人間よりも遥かに知能の高いASIがサイバー犯罪に使われたら、何が起こるのか想像出来ないだろう。

しかし、人間よりも遥かに知能の高いASIなんかホントに生み出せるのか？生み出せるとして、僕らが生きている間なのか？と思う人もいるかもしれない。これについては著者は、多数の科学者らに話を聞いた結論としてこう書いている。

【彼らはみな、こう確信している。未来、人々の生活を左右する重要な決定はすべて、機械化、機械によって知能を強化された人間の手で下されるようになると。それはいつのことなのか？多くの人は、自分が生きているうちにそのときは訪れると考えている】

そもそもASIの開発を急がせる要因がある。冷戦時代の核開発と同じ理屈だが、

【コンピュータ科学者、とくに国防機関や諜報機関で働いている人たちは、是が非でもAGIの開発を加速させなければならないと感じている。彼らにとっては、自分たちが慌ててAGIを開発することの危険性よりも、中国政府が先に開発するなどといったそれ以外の可能性のほうが脅威だからだ】

ということになる。だから今、あらゆる国や機関や企業が我先にと開発競争に乗り出しているのだ。

「シンギュラリティー」という言葉を聞いたことがあるだろう。「技術的特異点」という意味で、要するにAGIやASIが誕生するようなことを指している。これが2045年にやってくる、という言説は結構有名で、しかもそれは、技術革新によってバラ色の未来がやってくるかのように喧伝されている。

その発信源は、カーツワイルという科学者だ。「シンギュラリティー」という言葉には、よく練られた3つの定義があるらしいが、その内の一つであり、バラ色の未来を想起させる定義を生み出したのがカーツワイルだ。

彼について著者はこんな風に書いている。

【テクノロジーに関してカーツワイル以上に見識に基づいた説得力のある文章を書く人はほとんどいない。カーツワイルは苦心して明快な文章を書き、謙虚な立場で自らの主張を裏づけていく。しかし、「シンギュラリティー」という名前を盗用して、それに新たなバラ色の意味を与えたのは間違いだったと思う。】

なかなかの言いようだが、著者の立場からはそうなる。著者は、車椅子の天才スティーヴン・ホーキングや、テスラモーターズやSpaceXなどの創業者であるイーロン・マスクらと共に、「AIによる人類滅亡を論じる重要な識者5人」に選ばれた1人なのだ（2014年末に「タイム」誌が選んだ）。彼は本書にこう書いている。

【私が本書を書いたのは、人工知能が人類を絶滅に追いやるかもしれないと警告するためだ。このような破滅的な結果は、単に起こる可能性があるというだけでなく、いますぐに慎重に慎重を期して備えを初めておかないとほぼ間違いなく起こる】

【AIに対して疑念を抱くのは、私にとって2つの理由から心が痛む行為だった。第1に、疑問を投げかけるのではなく、むしろもっと期待を膨らませたかったからだ。というのも、AIがいかに有望かをたびたび聞かされていたため、その考えがすでに私の心のなかに根を張っていたのだ。そして第2の理由は、AIの存在やそのパワー自体には何ら疑問を抱いていなかったことである】

こんな風に著者は、人工知能の脅威を、真に迫った危機として捉え警鐘しているのだが、人工知能に関わる人間にそういう人は多くない。

【AGIの実現を目標に掲げるAI研究者で私が話を聞いた人は全員、暴走するAIの問題に気づいている。しかしオモアンドロを除いて誰ひとりとして、時間を費やしてその問題について話をしてはいない。なかには、その問題について考えるべきことは自覚いていながら、考えなくても構わないと言ってのける人までいる。
なぜか？それは簡単だ。このテクノロジーが魅力的だからだ】

確かに、分からないではない。AGIやASIが誕生した世界がどうなるのか、という好奇心は僕の中にもある。しかし、こと人工知能に関していえば、好奇心で突っ走っては危険な理由がある。

【ボストロいわく、超知能が技術的な面で根本的に別物であるのは、超知能が実現すると進歩のルールが変わってしまうからだ。つまり、超知能自体が発明を生み出して、技術進歩のペースを決めることになる。もはや人類が変化を推し進めることはなくなり、後戻りすることもできなくなる】

だからこそ、本書の副題にあるように、人間の知能を凌ぐ人工知能は「（人間による）最後の発明」と呼ばれているのだ。

本書を読んで、なるほどこれが一番可能性がありそうな対策だな、と感じたのが、生物に備わっている「アポトーシス」というシステムを人工知能に応用することだ。「アポトーシス」というのは、ざっくり言うと「細胞に下される、デフォルトで死ねという命令」のことだ。生物はこの「アポトーシス」というシステムを持つことで、頻繁に細胞の自己増殖を繰り返しながら、無制限な細胞増殖（つまり、「がん」のことである）を防いでいる。

この「アポトーシス」に似たシステムを、人工知能に組み込めばいい。「アポトーシス」というのは、「命令が下されなければ細胞が自殺する」という仕組みなのであり、つまり、何も命令を下さないまま一定時間が経過するとプログラムが死ぬ、ということだ。こういうシステムを取り入れることで、人工知能が「危険な存在」になっても制御出来るのではないか、と考えられているらしい。しかし、AGIやASIは、「アポトーシスというシステムが組み込まれていること」を自覚するだろうし、であれば、その驚異的な知能で回避する方法を発見するかもしれない、とも考えられているので、万全というわけでは決してない。

本書に載っている話で、「人工知能の危険性」とはまた違った意味で非常に興味深い話があった。

1974年に、アレシボ電波天文台の改修を記念して、「アレシボ・メッセージ」が宇宙に向けて発信された。もし地球外生命体が存在すれば、そのメッセージを解読してくれるだろう、と期待したものだ。地球外生命体を探す研究は「SETI（地球外知性探索）」と呼ばれているが、この「SETI」では、返信を期待して電波望遠鏡を「ゴルディロックスゾーン」に向けている。これは、「恒星に充分近いために、惑星表面で液体が凍結も蒸発もせずに存在できる領域」のことである。それなら、地球外「生命体」が存在する確率が高いだろう、と考えてのことだ。

しかし、「アレシボ・メッセージ」に返信するのは、もしかしたら地球外「生命体」ではなく、どこかの惑星で開発され宇宙に飛び出した超知能AIかもしれない、という仮説も考えられているそうだ。そうだとすれば、「ゴルディロックスゾーン」にこだわる必要はない。なるほど、そんな可能性は考えたことがなかったので、非常に新鮮だった。

本書の最後に著者はこんなことを書いている。

【私は本書の取材の折々で科学者たちに、日常用語で世間の人に話をしてくれるよう頼んだ。熟達した科学者たちはすでにそうしていた。AIの危険性を人々に伝えるならばそうすべきだと私は思う。AIの危険性に関する文章をウェブ上で読むと、この議論は専門家や修辞家だけの内輪話だと思ってしまうかもしれないが、俯瞰的なレベルで見たらけっしてそんなことはない。「内輪の」特別な専門用語など必要ない。必要なのは、AIの危険性と落とし穴は誰にとっても関係があるのだといい信念だ。
私が出会った一部の人、さらには何人かの科学者は、危険なAIなどありえないと信じ込んでいて、このテーマについて議論さえもしたがらなかった。しかし、無関心か無精か、はたまた知識に基づく信念かはどうであれ、このような議論を無視する人はけっして孤立していない。この脅威を追及しようとも監視しようともしない風潮は、ほぼ社会全体に広がっている。しかしそれが、機械知能の着実で避けられない進化に影響を及ぼすことはけっしてない】

先程も引用した通り、AGIやASIは後戻り出来ない技術だ。一旦生み出されてしまったら、もうなかった世界には戻れない。運良く人間が生み出した人工知能が、人間に対して“フレンドリー”である可能性はあるかもしれないが、それはほとんどありえない予測だろう。であれば、具体的にどういう流れを踏むかはともかくとして、人類が滅亡する時はそう遠くはないだろう。僕らは研究者でもないし政治家でもないし諜報機関に勤める人間でもないから、人工知能の開発に対して何か力を及ぼせる可能性は低いだろうが、少なくとも、その危険性から目を背けるべきではない、と思う。