AIは人間の価値を学べるのか

ニック・ボストロムの「スーパーインテリジェンス」を読んだ。

人間はAIに、人間の持つ価値を正確に組み込むことはできるのか。それができなければ、人間にとって望まぬ結果になる可能性がある。

ボストロムが恐れているのは、悪意あるAIではない。与えられた目的を、ただ忠実に実行するスーパーインテリジェンスである。
だから目的が少しでもずれていれば、その「ずれ」が破局的な結果に拡大する。

哲学の世界では、人間の善や幸福などについて、何千年も議論されてきた。しかし、唯一の答えについて合意は出ていない。人の価値は一人一人考えていることが異なり、全ての人が納得する結論が存在しない。それほど人間の価値を完璧に定義することは難しい。

だとすれば、人間はAIに自らの価値を反映した目的やルールを組み込むことは極めて難しいのではないだろうか。