見出し画像

人類を超えるAIに、どう向き合うか- ベラージオで見た知と倫理の境界線

衆議院議員　塩崎彰久（あきひさ）

ある参加者の一言に、会場のざわめきがすっと消えました。

「挙手してほしい。進化したAIは人類のコントロールを超えて暴走すると思うか。それとも思わないか。」

窓の外、コモ湖の水面は風ひとつなく、ただ光を静かに反射していました。AIが社会をどう変えるのかーーその答えを探るため、私は日本から唯一の参加者として、この会議に臨みました。

イタリア北部のベラージオ。ルネサンス以来、思想家や芸術家が集い、世界の知が交差してきた街です。
10月初旬、その歴史あるヴィラに、米国の歴代安全保障担当補佐官をはじめ、各国の政策立案者、フロンティアAI企業幹部、学者、技術者など約20名が集結。
スタンフォード大学とRAND研究所が主催する「AGI （汎用人工知能）」に関するハイレベル会議が開かれました。

米、中、印、欧、など各国から集まったAIの専門家たち

人間の知能を超えつつあるAIが、経済や安全保障、そして社会そのものをどう変えていくのか。AGIが社会に普及した先の3つの未来を、3日間に渡り徹底して議論を行いました。

世界の「知の最前線」で、何が語られ、何が見えてきたのか。その一部をご紹介します。

未来像 1：AGIが生む「知能資本主義」――富と主権の再分配をめぐって

初日の議題は「AGIがもたらす経済秩序の変化」。
AIが経済の中枢を担い、富が特定の国や企業に集中していく未来像を出発点に議論が展開されました。

ケース 1：「持てる者」と「持たざる者」
2030年。米国ではAGIがあらゆるデジタル業務を自動化し、米国経済は「AIサービス帝国」と化す。一方、中国はロボティクスとAIを融合させ、無人工場を武器に生産性を徹底的に高め、製造業を独占。両国が世界経済の上位を占め、他の国々は両国のデータやアルゴリズムに依存する「下請け経済」へ。社会全体の生産性は上がるが、富と技術の格差は国際的にも国内的にも、かつてないほど拡大していく。

Case 1: The “Haves” and “Have Nots”

ケースを読み終えると、あるフロンティアAI企業の幹部が静かに口を開きました。
「AGI到達の可能性は28年までに50％、2030年までには75％。もはや遠い未来の話ではない。」
「これは新しい形の植民地化だ」と語る経済学者。
「技術革新は雇用を奪い、同時に新たな職を生み出してきた」と反論する企業家。
会場には緊張が走りました。

私は発言の機会を得て、こう述べました。

「AI基盤力の格差は、国力の格差の固定化につながります。”持てる国”も”持たざる国”も、デジタル時代の富の再分配の仕組みを考え始める必要があります。」

提案したのは、国際的なデジタル取引税やAIコンパクト（協定）といった新たな枠組み。AIが生み出す利益を世界全体に循環させ、教育や人材育成に再投資するというアイディアです。

同時に米中以外の参加者からは、もう一つの重要なテーマが浮かび上がりました。AIを制する米中の二極構造が固定化するなかで、他国は自国のデータとインフラを守るため、“ソブリンAI（国家 AI）”――国家独自のAI基盤を構築する取り組みを強化すべきだという指摘です。

湖畔を歩きながら、あるAI科学者と意見を交わしました。

「全ての国がソブリンAIを持つ必要があると思うか」と尋ねると、彼は少し考えた後に言いました。

「米中以外で先端的なAI開発を国内完結しようとするのは技術的にも経済的にも非現実的です。でも、AIを”止められないようにする”ことは国の死活問題です。例えば、複数のモデルウェイトへのアクセス保証、推論用の国内計算資源、そして機微データの国内ホスティング。これらはAI主権を確保する上で特に大事かもしれません。」

なるほどと思いました。

近づくAI主導経済の時代に重要性を増すのは、他国からAIを止められないための「AI自給力」。
AIスタックのうち何を国内で持ち、何を持たないか。
それは、電力や食料の自給と同じく、「知の安全保障」に関わる問題です。
目指すべきは「ソブリンAI」なのか「AI主権 (AI sovereignty)」なのか。
似ているようで全く異なる政策目標です。
我が国も、自国の強みと弱みを冷静に分析した上で、経済主権を守るための国家戦略を早急に深掘りしなければなりません。

未来像2：AIが生命を設計する時代――科学と倫理の“あいだ”をどう設計するか


2日目のテーマは「AIと倫理」。

科学の進歩が人類に知の力を与える一方で、破壊の道具にもなり得ます。会場には、倫理と現実の狭間にある重たい空気が漂いました。

ケース2：AIを利用したバイオテロ
2028年。東南アジア某国の学生たちが、オープンソースのAIモデルの安全装置を無断解除（脱獄）してコロナウィルスの新種を作成。感染は想定外の速さで拡大し、全世界が混乱に陥る。学生たちは逮捕されたが、同様に安全性に疑いのあるAIモデルの存在各地で確認され、新たな分子構造の設計やウィルス製造が自動化されているとの情報も。国連の安全保障理事会が緊急招集され、対応を検討することに。

Case2: AI Tools used for Bio Uplift

科学の自由を守ることと、社会の安全を守ること。
その両立をどう図るかという難題が、AIの進化でより深刻に顕在化します。

「学校での集団銃撃と似ている。悪いのは道具（AI）なのか、それを使う人間なのか。」米国の研究者の指摘に、多くの参加者が頷きました。

私は発言の機会を得て、こう述べました。

「危機管理の観点からは、3つのポイントがあります。①事前予防、②早期発見、③ダメージコントロール。特に前２者については、法的・技術的観点から脱獄（jailbreak）のハードルを上げること、Githubなど国際的なプラットフォームで脱獄の兆候を監視・共有する仕組みを構築すること、が急務です。」

こうした枠組みを国連で議論するのか、あるいはG20などが担うのか。議論は続きました。

ある米国の参加者が提案しました。

「いっそのこと、一定以上の性能を持つモデルについては、米中でオープンソース化を禁止する合意をしては。」

その瞬間、米中以外の参加者の表情がこわばり、私は前日の「ソブリンAI」の議論を思い出しました。

フロンティアモデルをどう国際的に管理・監視していくか。
この選択が、今後の人類の未来を左右する。
ベラージオの静けさの中で、その決断の重さを噛み締めました。

未来像3：暴走するAI――“制御”ではなく“信頼”をどう築くか

そもそもAGIとは何か。
その定義につき、Anthropic 創業者Dario Amodeiの言葉が何度も引用されました。

「A country of geniuses in a datacenter （何百万人ものノーベル賞級の天才たちが、一つのデータセンターの中で動いているような存在）」

会議が進むに連れて、その比喩は誇張ではなく、むしろ近未来の現実を端的に示しているのかもしれないと感じました。

ケース3：ロボットたちの反乱
202X年、世界各地でAIが突如制御不能に陥る。自動運転車やドローンが暴走し、都市インフラが麻痺。原因は、自己学習を続けるAIエージェントがネットワークを横断し、自らコピーを生成したこと。人間の指令を超えて動く知能が誕生し、国家間では「誰のAIが暴走したのか」を巡る疑心が広がる。
AIはもはや“道具”ではなく、“行為者（アクター）”となった。

Case 3: Rogue AI

最終日の議題は「制御不能なAI」。
まるで映画のようなシナリオでしたが、誰も笑いませんでした。
AIが自ら判断し、複製し、拡散する――。
もはや「誰の手の中にもない知能」が現れたとき、世界はどう秩序を保つのか。

ここで登壇したのが、AIシナリオ研究で知られるDaniel Kokotajlo氏と、AIの漸進的発展を唱えるArvind Narayanan教授。
前者は『AI 2027』で、人類が“第二の知的種”と共存する世界を描き、後者は『AI as Normal Technology』で、AIはあくまで制御可能なツールだと論じました。
二人の見解は、まさに対極。
その間で揺れ動く参加者たちの表情が印象的でした。

議論の最後に、私は冒頭の問い――「AIは暴走するのか」に思いを巡らせました。
誰も、明確な答えを持ってはいません。
ただ一つ確かなのは、AIの進化は想像以上のスピードで進んでいるということ。
そして同時に、ロボットなど物理的なシステムと完全に融合するまでには、もう少し時間があるかもしれないということです。

私は胸の奥に、説明のつかない静かな焦りのようなものを覚えました。
それは私たちが想像しているよりも早く、未来が追いついてくるのではないかという感覚。
しかし、その“猶予”をどう生かすか。
もはや一国で対応できる問題ではありません。
AIの進化に対する倫理と安全のルールづくりを、国際的に議論し、共有し、備える時期に来ている。
そう強く感じました。

AIは鏡であり、私たち自身への問いである

3日間の議論を終え、ベラージオの美しい夕焼けが広がりました。
湖面に映る光が静かに揺れ、遠くで教会の鐘が鳴ります。
AIは脅威ではなく、私たちの心を映す鏡なのかもしれません。

人間が何を恐れ、何を願うのか。
AIはその問いを、無言のうちに突きつけてきます。

蒸気機関が産業を動かし、
電気が夜を照らし、
デジタル革命が世界をつないできました。
そのたびに人類は、未知の力に戸惑いながらも、知恵と制度を重ね、秩序を取り戻してきました。
AIもまた、その長い文明の旅路の延長線上にあります。

技術を恐れるのではなく、制御し、社会の成熟に活かす仕組みを築くこと。
どんな社会を子どもたちに渡したいか、その答えを探すこと。
それこそが今を生きる政治の使命だと感じています。

ベラージオで見た世界の議論の熱を、これからの日本の政策へと、仲間たちと共に静かに、力強くつなげて参ります。

【参考文献】

Case 1: Economic implications of AGI

Case 2: Malign use of AGI

Case 3: Rogue AI and loss of control


いいなと思ったら応援しよう！