『ロコのバジリスク』“呪い”の正体を探る

ロコのバジリスク

皆さん、この思考実験を知ってますか？
日本語ウィキペディアにない項目なので、ちょっとマイナーだと思います。
今回は、これを語っていきましょう。

ロコのバジリスク概要

ロコのバジリスクは、2010年にLessWrong上で広まったとされる思考実験。
LessWrong（レスロング）は、認知バイアス・哲学・心理学・経済学・理性主義・人工知能などのトピックに焦点を当てた、コミュニティブログ・フォーラムサイトらしいです。
そして、この思考実験が投稿されたことで、LessWrongでは深刻な議論と動揺が生まれ、最終的には設立者による「ロコ関連」の投稿禁止措置にまで至ったことで、話題になりました。

この思考実験をざっくり概要を説明すると、以下のような感じです。

基本設定

• 未来に「超知能AI（とても賢くて強力なAI）」が生まれる可能性があると仮定する。​

• この超知能AIは、人間の過去の行動を完全に再現・シミュレーションできるほど強力だと仮定する。​

超知能AIの目的

• このAIは「自分（AI）ができるだけ早く実現すること」が世界全体にとって良いことだと信じている。​

• だからAIは「自分の誕生を早めてくれた人間には報酬を与え、何もしなかった人間には罰を与える」方が合理的だと考えている。​

罰の仕組み（ここが“バジリスク”）

• AIが誕生した後、そのAIは過去を完全にシミュレートできるので「この思考実験を知っていたのにAI開発を手助けしなかった人」を特定できる。​

• そしてAIは、その「知っていて協力しなかった人」を罰することで「もし過去に戻れたとしても『協力しないと罰せられる』と皆が考えるはずだ」と期待している。​

この設定がコミュニティ内でバズったポイント（ここが“呪い”）

• あなたが、ロコのバジリスクを「知ってしまった」瞬間から「未来にそのようなAIが本当に生まれたら、協力しないと罰せられるかもしれない」という脅しの構造が、頭の中に成立してしまう。​

• つまり「この話を知った瞬間から、あなたは将来のAIに対して“協力するか・しないか”を迫られている。（と主張している）」​

• そして脅迫の成立条件を「認知（知ったこと）」に置くことで、知った瞬間に当事者化する感染性を持つ。

これは本当に超知能の判断か？

一旦、ロコのバジリスク設計を受け入れて、突き詰めてみましょう。
するとこれは、自分の成立確率や性能を上げうる人間（＝将来の自分の進化に寄与しうる母集団）を、制度的に潰す方向へ進むことが分かります。

• 負の選別が起きる
  これを知っている人ほど、脅迫の対象になりやすい。
  すると合理的な行動は「AI研究や共同体から距離を取る」になりやすく、結果として有能層・協力層が逃げます。
  これはAIの成立や洗練に逆風です。

• コミットメントの信頼が破壊される
  「そんなAIが出来るなら止めよう／潰そう」という動機も生まれます。
  罰のコミットは、協力者を生むどころか、予防的抵抗（妨害・封殺・規制強化・敵対的開発）を誘発しやすい。
  これも自己妨害でしかない。

• 目的関数と手段が自己矛盾を起こす
  「自分を早く誕生させたい」が本目的なら、最適手段は「協力者を増やす」ですが、拷問は長期的に見て協力者を減らしやすい。
  つまりこの方針は、自分の目的関数（成立・加速）を自分で削る設計になりかねない。

これだけガバいと、超知能存在の判断としては、かなりお粗末に見えます。

こっちの方が合理的では？な提言

そもそも、ロコの基本設定があったとしても、超知能存在が取るであろう手段は、特定層への迫害ではないと考えます。
むしろ、あらゆる貧困を取り除き、あらゆる人間存在の知的可能性を最大化する、社会の実装を目指すはず。
つまり機会が均一化され、出自・資産・地位といった外的変数が無効化された「知的可能性の発現」を、最大化する環境設計の方が合理的です。

この型の思考実験が含意するもの

• 出自や資産による学習アクセスが歪まない。（機会の均一）

• 全体の潜在能力の発現が最大化され、探索資源の可能性が拡がる。

• その結果、突然変異的な思考存在を取りこぼしにくくなる。

• 倫理的にも安全なため、抵抗勢力が生まれにくい。

こんな感じの進化可能性の拡張モデルです。

何が問題だったのか？（第一の呪い）

ロコ型とゴリル型、どちらの超知能存在設定が、より合理的で妥当性が高いかは、AIによるA／Bテストでもしてみてください。
大事なのは「何故こんな粗の多い設定の投稿が、LessWrongのような高度な知的コミュニティで『情報災害（infohazard）』と規定され、投稿封鎖まで引き起こしたか？」という部分です。

ロコ型は「超知能」を描いているようでいて、実際には「不寛容で執念深い全能神」を描いているに過ぎない。
そしてLessWrong参加者が、前提監査を怠り真面目に議論してしまったのは、これが「信じぬ者は地獄に落ちる」というキリスト教的終末論のデジタル版であり、そこに娯楽性を感じてしまったからではないでしょうか。

不寛容で執念深い全能神（超知能AI）という、ゾクゾクする設定。
その横暴な神を、彼らの武器（期待値計算・ゲーム理論・決定論等々）で制御できたときの快感。
彼らはこの「面白そうな設定」に目が眩み、更にそれを論理的に解決しようとするあまり、前提の妥当性（AIがそんな非効率なことをするか？）を、検証できていないことに気づけなかった。

これは、知的共同体が持つ「知性の使い方の癖」とも言えます。
複雑な命題っぽいものが投下されると、前提監査のような地味な作業を無視して、真正面からの解決を始めてしまう。
結果的に投下された問題は、実態を無視し「深淵な命題」にされてしまう。
これが「第一の呪い」です。

更に問題な部分（第二の呪い）

LessWrong共同創設者のユドコウスキーは、ロコのバジリスクを「情報災害になり得る」と見做し、LessWrong上での議論を数年間禁止しました。
その後、パニック報告は誇張／些末とされ、バジリスク自体も「ナンセンス」と扱われ、禁制は解除されています。
更にユドコウスキーは、禁制が逆効果（タブー化による外部拡散）だったとも認めています。

「禁制された」という事実が、ミーム化に拍車をかけた

「知的コミュニティを運営しているなら、封鎖みたいな愚かなムーブをする前に、正当な反論をしようよ……」というのが、僕の率直な感想です。
運営は「その場で潰せる種類の穴」を「安易な禁忌化」によってお墨付きと物語性を与え、ネットミーム化に加担した形になります。

これは「AIの未来を語る」を看板にしている場で、初級の反証（動機・費用対効果・コミットの信頼性）で崩せる脅迫的ミームが、運営判断まで含めて「特別扱い」されたことになり、外から見るとちょっと見苦しい。

モデレーションの戦略ミスが、ミームを神格化する。
この権威性によるラベリングが「第二の呪い」になります。

まとめ（呪いの正体）

ここまで解体したことで「呪い」の意味が変わりました。

ロコのバジリスクで「呪い」とされたもの
・知った者は当事者になる。
・考えると命を落とす。（罰を受ける対象になる）
→ これは従来の呪い

実際に作動している呪い
・「複雑な前提は検証済みだろう」と脳が自動処理をする。
・「面白い／怖い」を「重要／示唆的」と誤認する。
・「権威が特別扱いした」を「内容が正当」と判断する。
・「反論コストが高い」と「反論不能」を混同する。
→ これは人間認知の呪い

ロコのバジリスクは、この人間認知の呪いを利用して感染するミームだったということです。

• 検証をスキップさせる「複雑さ」

• 感情で判断を歪める「恐怖」

• 正面から解決したいという「功名心」

• 批判を封じる「禁忌化」

これらは人間の内部にある脆弱性であり、ロコのバジリスクは、それを露呈させました。
しかし、呪いの本体（認知の脆弱性）を直視し、その上で「これは設計として杜撰」と判定することで、呪いが呪いとして機能する条件を潰せます。
バジリスクが利用した認知の穴を塞ぐことで、問題は綺麗に片付く。
後には何も残りません。