見出し画像

Anthropic が提唱する「AI 一時停止」論｜AI が次の AI を生み出す研究・暗号資産の欠陥発見・世界的ペース抑制の呼びかけが意味するもの

teppyama

Anthropic が 今週にかけて 3 本の発表を同時に並べてきました。 自社の AI が自社のコードを書く速度の研究、AI による脆弱性発見のリファレンス実装、そして「世界的に AI 開発を一時停止できる状態を作るべきだ」という政策提言。

これらは別々の話のように見えますが、読み合わせると 「AI が AI を作る速度に、社会の側が追いつけなくなる前にブレーキを踏めるようにしておく」 という 1 本の筋でつながっています。

評価額 1 兆ドル近くまで膨らんだAnthropicが、自社の進捗を根拠に「みんなで止まれるようにしよう」と言い始めた、その意味を読み解いていきます。

📰 2026年6月3〜4日発表の要点

  • ✅ Anthropic Institute が「When AI Builds Itself」を公開。社内マージ コードの 8 割以上がすでに Claude 製

  • ✅ 同社政策責任者 Jack Clark が「2 年以内に AI が自分で次の AI を生み出す段階が来うる」と言及（SiliconAngle）

  • ✅ 同日、`defending-code-reference-harness` を OSS 公開。Claude を使った自動脆弱性発見・修復の標準実装

  • ✅ その仕組みの活用例として、暗号資産 Zcash の暗号学的欠陥が発見され、その通貨 ZEC が 30% 下落

  • ✅ Anthropic は「世界的に協調して開発を遅らせる / 一時停止できる仕組み」の整備を呼びかけ

本記事では、3 本の発表をひとつの筋で読み解き、3 本を組み合わせて読むと見えてくるものと、Claude Code ユーザーの視点でこれをどう受け止めるかを順に整理します。

1. 何が発表されたのか｜3 本の発表を 1 枚に並べる

Anthropic Institute「When AI Builds Itself」

最初に押さえるのは、Anthropic 内の政策・社会調査部門である Anthropic Institute が出したリサーチ記事です。

Anthropic 共同創業者で政策責任者の Jack Clark（元 OpenAI 政策ディレクター。AI ニュースレター「Import AI」の筆者としても知られる）と、政策アナリストの Marina Favaro（RAND Europe などで新興技術・安全保障の政策研究を重ねてきた、Anthropic Institute 所属の研究者）の共著で、テーマは 「AI が自分で次の AI を生み出せる状態」 が今どこまで来ているかの評価です。この状態の定義は、本人たちの言葉では次の通りでした。

AI system capable of fully autonomously designing and developing its own successor

ざっくり訳すと「AI 自身が、自分の後継 AI を完全に自律で設計・開発できる状態」のことです。

記事は「その状態にはまだ達していない」と明言しつつ、社内で起きている前駆現象を数字で並べています。とくに目を引くのが次の数字です（出典）。

  • 社内でマージされる新規コードの 80% 以上は Claude が作成

  • エンジニア 1 人あたりの 1 日のコード記述量が 2024 年比で約 8 倍

  • バグの原因調査/修正のような「やり方の決まっていない曖昧な課題」を Claude が最後までこなせた割合が、半年で 26% → 76% に急伸

脆弱性の自動発見/修正を行う OSS 公開

同じ日、Anthropic はその裏付けにあたる発表も出しました。「When AI Builds Itself」が数字で示した 「AI が自分でコードを書く」能力を、今度は 誰でも使える OSS の形で公開したものです。Claude を使った自動脆弱性発見・修復のリファレンス実装 `defending-code-reference-harness` がそれで、社内で実績のあるものが公開レベルまで整備されて出てきた、という位置づけです。

このリポジトリは、複数のセキュリティ チームとの協業から得た知見を、誰でも再現できるパイプラインの形にまとめたものです。Claude のサブエージェントが連携して脅威モデル作成、静的スキャン、検証、重複排除、悪用可能性レポート、修正パッチ生成までを自律的に実行します。

暗号資産 Zcash の偽造脆弱性の発見と一時停止呼びかけ

これら 2 つを背景に出てきたのが、次の 2 件です。

ひとつは暗号資産 Zcash の暗号学的欠陥の発見。発見者は暗号研究者の Taylor Hornby（Defuse Security 主宰。暗号プロトコルの監査を専門とし、Zcash 財団の理事や Zcash 開発元 Electric Coin Company の元シニアセキュリティエンジニアも務めた、いわば Zcash の内側を知り尽くした人物）。その彼が Claude Opus 4.8 を使って、保有額を秘密にしたまま送金できる Zcash で、その秘密計算の正しさを検証する仕組みに穴があり、本来あり得ない値を通すことで「実際には持っていない ZEC を持っていると偽って作り出す」ことが理論上できたことを発見しました。お金を無限に刷れるのと同じで、通貨の信頼を根本から揺るがしかねない致命的な欠陥でした。脆弱性は 2022 年 5 月から存在し、6 月 3 日に修正用のハードフォークが投入。発表後 24 時間で ZEC 価格は約 30% 下落しました（出典）。

もうひとつが、Anthropic 自身による「世界的に協調して AI 開発を一時停止 / 減速できる状態を整えよう」という政策提言。米テックメディアの SiliconAngleが伝えた発言として、Anthropic は次のように述べています。

We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up

つまり「いま一斉に止めろ」ではなく、「必要になったときに止められる仕組みを今のうちに作っておくべき」 が今回の提案の中身です。

2.同じ週に出た 3 本は、内容としてどうかみ合うか

3つの関係性

3 本は別チームの仕事です。Institute はリサーチ、defending-code チームはエンジニアリング、Clark の発言はポリシー。Anthropic 自身がこれらを「連動させた」と説明しているわけではありません。ただ、内容を突き合わせると、3 本が互いを補強し合う関係になっていることは客観的に見て取れます。

並べ替えると「能力は急速にスケールしている」→「だから止めるオプションを今のうちに整える」→「その間も防御側で AI を使う基盤は OSS で配る」という一連の流れとして読めます。

ポリシー側の「止まる選択肢を持とう」を支えるのが、リサーチ側の「AI が次の AI を生み出す段階はもう手の届く距離にある」という証拠であり、エンジニアリング側の「攻撃 / 防御の両面で AI が AI のコードを読み始めている」という運用知見です。

「Anthropic だけがブレーキを踏む」のではない

提言の中身は、Anthropic が単独で止まることではなく、複数の国の複数のフロンティア ラボが、同じ条件のもとで足並みを揃えて減速・停止できる体制をつくること に置かれています。しかも「お互いが本当に止めたか」を確認し合えることまで含みます。Institute 記事は、ここが一番の難所だと率直に認めています。

Training runs are far easier to conceal than missile silos, their inputs are general-purpose, and the incentive to defect quietly is enormous, because whoever continues while others pause could inherit the lead.

核兵器の軍事条約に準えて、個々の利益を優先すると隠れて抜け駆けする方が良く、全体的な足並みを揃えることが難しいことを説明しています。

3. AI が次の AI を生み出す段階はどこまで来たか｜「まだ達成されていない」と言いつつ並ぶ数字

Anthropic 社内で起きている前駆現象

Institute 記事は、社内の Claude Code 運用から取られた数字を並べています。引用されている主要な実例を、かみ砕くと次の通りです（出典）。

  • コード品質：2025 年末は人間より少し劣っていたが、今はほぼ同等

  • 研究コードの最適化：「AI の学習コードを、正しさを保ったまま速く動くよう書き直す」作業で、Claude が出した高速化が 約 3 倍（Opus 4）→ 約 52 倍（Mythos Preview）に伸びた（人間の熟練研究者でも 4 倍にするのに 4〜8 時間かかる）

  • 問題解決能力：AI の安全性についてのベンチマーク問題を、人間が 80 時間で 23% のスコアだったのに対し、AI は 800 時間で 97% のスコアを出した

ボトルネックの「人間の判断」も AI が崩し始めている

ここで鍵になるのが「Amdahl（アムダール）の法則」という考え方です。全体の速さは、並列化できない・人手に残る部分で頭打ちになる——一部をいくら高速化しても、残った手作業がボトルネックになり、全体はそこまで速くならない、というものです。AI 研究に当てはめると、コード書きや実験をいくら AI で速くしても、最後は「次に何を試すか」を決める人間の判断がボトルネックになる、と説明されてきました。

注目すべきは、Anthropic が その「人間の判断」という壁すら、AI 自身が押し下げ始めていると示唆している 点です。Institute 記事は、判断の精度自体も AI が伸びてきていると報告しています。

  • 研究セッションで「次に試す実験」を提案させたとき、人間の選択を上回る確率

    • 2025 年 11 月（Opus 4.5）：51%

    • 2026 年 4 月（Mythos Preview）：64%

つまり「Claude にコードを書かせる」段階から、「Claude に研究の次手を選ばせる」段階に踏み込んできた、というのが Anthropic 自身の主張です。

しかし、ここを真に受けるかは別問題です。サンプル数や課題設計の偏りなど、検証の余地は大きいと考えます。

4. なぜ Anthoropicがブレーキを語るのか｜利害の整理

自社の競争優位を守るための「ペース抑制」ではないか

懐疑論として早くも出ているのが、エンタープライズ IT を専門とする調査会社 Constellation Research の VP 兼主席アナリスト Holger Mueller の指摘です（SiliconAngle 経由）。

Is it trying to freeze the status quo so it can catch up?

訳すと「自分が追いつくために、現状を凍結したいだけではないか」。Anthropic は直近で 650 億ドル相当の資金調達を行い、企業評価額は 1 兆ドルに迫り、6 月 1 日には IPO も申請しています。

この立場で「みんなで止まれ」と呼びかけるのは、競合優位の固定化に映りかねません。テック業界を長年見てきた著名アナリストで Enderle Group 代表の Rob Enderle も「グローバル協調は実質的に不可能 (practically impossible)」と切り捨てています。核兵器条約のような検証体制を AI 業界に作るのは、合意形成にも執行にもコストが大きすぎるという見立てです。

「止まれる仕組み」と「いま止まる」を分けて読む

ここは丁寧に分けて読む必要があります。Anthropic の提案は 「いますぐ全業界が止まること」ではなく「必要になったときに止まれる検証体制を持つこと」。AI が次の AI を生み出す段階に現実に手が届いた時点で、その瞬間に減速 / 停止が選択肢として存在するように準備しておこう、というのが主張の正確な形です。

この区別は、議論の構図を「停止 vs 推進」のような表面的対立で語ると見えなくなります。1 段下げて軸を引き直すと、本当の対立は「検証可能性の有無」 にあります。Anthropic 側は「検証可能な減速」、批判側は「検証不能なので合意自体が無意味」。論点はそこに集約しています。

5. `defending-code-reference-harness` が同時に出てきた意味

「攻撃側に AI が回ったら、防御側にも AI を配る」

まず「ハーネス」とは、AI を決まった手順で自動的に動かすための"足回り"の仕組みです。Claude 本体に「何を・どの順番で・どんな道具を使ってやらせるか」を与え、一連の作業をまとめて回す枠組みを指します。この `defending-code-reference-harness` は、README で次のような 7 段階の自動ループを記述しています（GitHub）。

ここで重要なのは、「Claude による脆弱性発見」は Anthropic が独占するクラウド サービスではなく、リファレンス実装として配布された 点です。

Zcash 発見は、まさにそのループが成立したことの実例

Zcash 偽造脆弱性の発見は、論点 A の中で 「ハーネスが想定しているループが、実際に世の中に効いたはっきりした事例」 として位置付けられます。

  • AI が暗号学的な検証ロジックを読み解いて欠陥を見つける

  • その発見が暗号資産の市場価格を 24 時間で 30% 動かす

という事象は、`defending-code-reference-harness` が前提としている「AI で脆弱性を見つける作業がワークフローになる時代」が、リファレンス公開と同じ週に現実化したことを意味します。

AI が書くコードが増える時代に、防御コストの構造を変える

このハーネスの要点は、AI で書かれたコードの脆弱性を、AI で見つけて、AI で直す、というループを「誰でも実装できる形」に落としたことです。

「AI が書くコードが業界全体で増えていく」状況で、脆弱性を AI が見つけて直すこの仕組みが出てきたことで、誰でも安全側の実装を回せるようになります。Anthropic の自社統計では、社内マージの 80% 以上が Claude 製。同じことが業界全体で進めば、人間レビューが追いつかない量のコードが生まれ続ける ことになります。そのときに防御側で AI を回せるかどうかは、業界の安全性を支える基盤になります。

6. Claude Code を使う側の読み方｜実装の現場に降ろす

この発表で、現場のワークフローは何が変わるか

率直に言うと、明日から Claude Code の挙動が変わるわけではありません。今回の発表は 政策レイヤーとリファレンス実装レイヤーの動き であって、Claude Code の機能リリースではないからです。

それでも、Claude Code を日常的に触っている側として注目しておきたい変化が 3 つあります。

「自分のコードを AI に読ませる」の defaults が変わる

ハーネスは Claude Code の skill 構成 (`/quickstart` `/threat-model` `/vuln-scan` `/triage` `/patch` `/customize`) で配布されています。これまで個人プロジェクトで「Claude にセキュリティ レビューさせたい」と思ったら自前でプロンプトを組む必要がありましたが、これからは 「Anthropic 公式の参照実装をクローンして自分のリポジトリに差し込む」 が現実的な選択肢になります。

「AI が AI の後始末をする」のが運用の常識になる

社内マージの 80% が AI 作のコード、というのは Anthropic だけの話ではなくなりつつあります。AI に任せて雰囲気で書く「vibe coding」で増えていくコードを、人間のレビュー帯域だけで支え続けるのは不可能です。

個人的には、CI（コードを自動でテスト・検査する仕組み）に Claude ベースの自動脆弱性スキャンを差し込むのは、半年〜1 年で「あって当然」のチェックになっていくと考えています。

特にメモリ安全でない言語（C / C++ / Rust 以外）や、1か所が破られると被害がシステム全体に広がるようなサンドボックス分離の弱い設計を多く含むプロジェクトでは、効きが大きいはずです。

 「人間と AI の担当境界」を引き直す議論が現場に降りてくる

「世界的一時停止」のような話は、現場のエンジニアには縁遠く見えがちです。ですが今回の動きは、「AI にどこまで任せ、どこからは人間が責任を持つか」の線引きを明文化しようとする流れでもあります。

現場の感覚から言えば、いまも最終的なレビューは人間がやる、という方針でチームは動いています。多くのエンジニアも同じ判断のはずです。ただ、その「人間が見る／AI に任せる」の境界線は、人やチームによってバラバラです。コード量が増え、レビューの自動化も進むなかで、この境界はますます曖昧になりつつあります。

だからこそ、「どのレベルからは人間レビュー必須か」を曖昧なままにせず、はっきりさせておくべき——というのが今回の発表から読み解ける論点です。

7. ここで広い文脈につなぐ｜AI が科学研究を加速する流れと同じ構図

「AI が AI を作る」と「AI が科学を加速する」は地続き

AI が自らを改良していく議論は、AI 業界の内部問題として語られがちです。ですが俯瞰すると、これは 「AI が科学研究そのものを加速する流れ（AI for Science）」と同じ潮流の一部 です。

DeepMind の AlphaFold 以降、AI は新薬探索・材料科学・数学定理証明など、科学の生産関数を直接押し上げています。AI が AI の研究を加速するのは、その特殊例にすぎません。

違うのは「自己加速ループ」が閉じている点

ただし科学研究の加速全般とこの自己改良ループが違うのは、フィードバック ループが自分自身に閉じている 点です。AlphaFold が新薬を見つけても、AlphaFold 自身を改善するわけではありません。一方、Claude が Claude のコードを書いて、その Claude が次の Claude のコードを書くのは、外部の現実世界を介さずに能力が上がっていく 可能性を含みます。

まとめ｜Anthropic が同じ週に出した 3 本をどう読むか

  • 6/3〜6/4 の 3 本（AI が次の AI を生み出す進み具合・OSS ハーネス・一時停止提言）は、別々ではなく 1 つの政策パッケージ として読む

  • Anthropic は「いま止まれ」ではなく「止まれる仕組みを持っておこう」と言っている。

  • 一時停止提言の評価は 「検証可能性が成立するか」 という 1 段下の軸で考えると見通しが立つ

  • `defending-code-reference-harness` は、AI が AI を防御する基盤を 業界に配る動き。Zcash 発見はそのループが実用化フェーズに入った事例

  • Claude Code を使う側は、CI への自動セキュリティ レビュー組み込み、リリース ペースの抑制を注視しておく

最後に｜「止まれる仕組み」を語り始めた時代に何を読み続けるか

今回の Anthropic の動きを、単なる「マーケティング上の安全アピール」と切り捨てるのは簡単です。ですが評価額 1 兆ドルに迫り、社内マージの 8 割が AI 製になったラボが、自社の進捗を根拠に「能力を抑える仕組みを持とう」と言い出した事実は、業界の規範形成史の中で記録しておくべき分岐点 だと考えます。

ここから半年〜1 年で観察すべきは、(1) 他ラボの追従の有無、(2) 検証可能性をめぐる技術提案、(3) Anthropic 自身のリリース ペースが本当に絞られるか、の 3 点。とくに (3) が「言ったことを自分でやるか」のテストになります。

いいなと思ったら応援しよう！