AnthropicはなぜAI安全ポリシーを約2年10カ月で8回改訂したのか。RSP v3.0が示す「一度作って終わり」にしないガバナンス

AnthropicはなぜAI安全ポリシーを約2年10カ月で8回改訂したのか。RSP v3.0が示す「一度作って終わり」にしないガバナンス

生成AIの利用ルールは作ったしこれで安心だと企業の方とお話ししていると聞くことがあります。

ご存知の通りAIは日々進化して知らずに業務で使っているAIが増えていることもあります。
つまり、現在使われているAIサービスや現場の利用実態が反映されていないことや追いついていないことも多々あります。

規程を作った担当者は異動し、見直し時期も決まっていません。
現場では会社が認めていないAIサービスが使われ、管理側は実態を把握できていない。
それでも文書上は「AIガバナンスを整備済み」となっているのは会社にとって非常にリスキーだと言えます。

これは、決して珍しい話ではありません。
変化が速い分野では、ルールを作ること以上に、ルールを更新し続ける仕組みが重要です。

そのことを象徴する事例が、AI開発企業AnthropicのResponsible Scaling Policy、略してRSPです。

＊RSPとは、高度なAIによって重大なリスクが生じる可能性に備え、モデルの能力評価や安全対策、開発・提供に関する意思決定方法を定めた自主的な方針です。

Anthropicは2023年9月にRSP v1.0を公開しました。
その後、v2.0、v2.1、v2.2、v3.0、v3.1、v3.2、v3.3、v3.4と改訂を重ねています。

2026年8月時点では、約2年10カ月の間に8回改訂され、9つのバージョンが存在します。
特に2026年2月のv3.0について、Anthropic自身が「comprehensive rewrite」、つまり全面的な書き直しだったと説明しています。

なぜ、これほど頻繁に書き換える必要があったのでしょうか。

そこには、日本企業がAIガバナンスや社内規程を考えるうえでも重要な示唆があります。

当初のRSPは「一定の能力に達したら対策を強化する」設計

初期のRSPは、条件分岐型の仕組みを中心に設計されていました。
簡単に言えば、「AIモデルが一定の能力水準に達した場合、より厳しい安全対策を導入する」という考え方です。

プログラムの条件分岐になぞらえて、Anthropicはこれを「if-then型」のコミットメントと表現しています。

たとえば、AIが生物学に関して危険性の高い能力を持つようになった場合には、不正利用を防止する仕組みや、モデルの重要データが盗まれないためのセキュリティを強化する、といった設計です。
その能力やリスクの段階に応じた安全基準は、AI Safety Level、略してASLと呼ばれました。

この仕組みには、大きく４つの狙いがありました。

１つ目は、社内の「強制関数」として機能させることです。

強制関数とは、組織が先送りしがちな対応を、一定の条件に達した時点で実行させる仕組みです。
安全対策を単なる努力目標ではなく、開発や提供を続けるための必要条件として位置づけようとしたのです。

２つ目は、他社への波及です。

Anthropicが安全基準を公開することで、他のAI企業にも同様の枠組みが広がり、業界全体で安全性を高める競争が起きることを期待していました。

３つ目は、能力の閾値を共通認識づくりに使うことです。

閾値とは、「この水準を超えたら対応を変える」という境界線です。
AIが危険性の高い能力に達したことを示せれば、企業だけでなく政府にも対応を促しやすくなると考えられていました。

４つ目は、将来の政府や他社との連携です。

高度なAIに必要となる安全対策の中には、一企業だけでは実現が難しいものがあります。
Anthropicは、AIの能力が高まる頃には社会的な危機意識も高まり、政府や業界との連携が進むと想定していました。

理屈としては、よくできた設計です。
しかし、実際に運用してみると、想定どおりに機能した部分と、機能しなかった部分が見えてきました。

社内の強制関数と他社への波及は機能した

Anthropicはv3.0の公表時、従来のRSPについて成功した点と、うまくいかなかった点を比較的率直に説明しています。
成功した点の一つは、RSPが社内の安全対策を進める強制関数になったことです。

実際にAnthropicは、化学・生物兵器に関する危険な利用を防ぐため、入力内容やAIの出力を判定する仕組みを開発し、ASL-3に相当する安全対策を導入しました。

もう１つは、他社への波及です。

Anthropicは、RSPの公開後にOpenAIやGoogle DeepMindが類似する枠組みを採用したことを挙げ、業界全体の透明性や安全基準を高めるという点では一定の効果があったと評価しています。
ここまでは、当初の理論が機能した部分です。
一方で、より根本的な問題も明らかになりました。

閾値を超えたか判断できない誤算

最も重要な問題は、あらかじめ設定した閾値を、実際の運用時に明確に判定できなかったことです。
AIの能力が閾値に近づいていることは分かっても、本当に超えたのかを断定できない。

Anthropicはこの状態を「zone of ambiguity」、曖昧性の領域と表現しています。
特に生物学分野では、簡易的な評価試験では高い能力が確認される一方、その結果だけで重大な危険性があるとは断定できません。

より詳細な実験を行おうとしても、評価に時間がかかります。
結果が出る頃には、さらに高性能なモデルが登場している可能性があります。

つまり、「基準を作ったから判断できる」とは限らなかったのです。
評価方法そのものが、AIの進化に追いついていませんでした。

これは、一般企業のルール作りでも起こります。

たとえば、社内規程に「重要な業務で生成AIを利用する場合は、管理者の承認を得る」と書いたとします。
しかし、何を重要業務とするのか、誰が判定するのか、どのような資料を提出するのか、承認まで何日かかるのかが決まっていなければ、現場では機能しません。

基準が存在することと、基準を判定できることは別です。

ガバナンスでは、禁止事項や条件を書くだけでなく、「誰が、何を根拠に、どの時点で判断するのか」まで設計する必要があります。

外部環境が想定どおり動かなかった誤算

Anthropicが認めたもう一つの誤算は、政府や規制環境に関する想定です。
同社は、AIの能力が高まるにつれて安全性への関心も高まり、政府による対応や国際的な連携が進むと期待していました。

しかし実際には、AI政策をめぐる環境は、安全性だけでなく競争力や経済成長を重視する方向へ動きました。
Anthropicは、期待していた政府の関与は自然には進まず、長期的な取り組みになるとの認識を示しています。

企業のガバナンスは、自社の内側だけで完結するものではありません。

法律、取引先の方針、業界基準、利用するクラウドサービスの仕様、社会的な受け止め方など、外部環境によって前提が変わります。

当初の想定が外れたこと自体が問題なのではありません。
問題になるのは、前提が変わったにもかかわらず、古いルールを維持し続けることです。

一企業では守れない約束が含まれてしまった誤算

より高度なAIを想定した安全基準には、非常に強固なセキュリティや、国家規模の攻撃への対応などが含まれていました。
しかし、その水準の対策を一企業だけで実現することは、現実的ではない可能性があります。

そこでAnthropicは、単純に基準を緩めるのではなく、RSPの構造そのものを変更しました。
v3.0では、安全対策を２つに分けています。

１つは、他社や政府が動かなくても、Anthropicが自社で実行する対策です。

もう一つは、AI業界全体や政府との連携がなければ十分に実現できない、より高い水準の提言です。
つまり、「自社が責任を持って約束できること」と「社会全体で目指すべき理想」を意図的に分離したのです。

これは、約束を後退させるというよりも、約束の責任範囲を明確にする取り組みと見るべきでしょう。

企業の計画でも、

• 「取引先が対応してくれれば実現できる」

• 「全社員が正しく入力すれば機能する」

• 「行政の制度が変われば進められる」

といった外部依存の条件が、社内目標に混ざっていることがあります。

自社で制御できることと、他者との連携が必要なことを分けなければ、計画が遅れたときに責任の所在が分からなくなります。

v3.0は「ルール」から「更新の仕組み」へ

v3.0で重要なのは、自社向け対策と業界向け提言を分けただけではありません。
Anthropicは新たに、Frontier Safety RoadmapとRisk Reportsという仕組みを導入しました。

Frontier Safety Roadmapは、安全対策に関する具体的な目標と進捗を示すものです。
目標を一度決めて固定するのではなく、達成状況を評価し、必要に応じて次の目標を設定します。

Risk Reportsは、AIモデルの能力だけでなく、想定される脅威、実施している対策、残っているリスクをまとめる報告書です。
一定の条件では、外部の専門家によるレビューも行う設計になっています。

その後も、RSPの更新は続きました。

v3.1では能力基準の表現を明確化し、v3.2では外部レビューに関する監督機能を強化しました。
v3.3では化学・生物分野の能力閾値を見直し、v3.4では自動研究開発に関する閾値や、社内でのリスク報告書の共有範囲、外部レビューの方法などを修正しています。

ここから分かるのは、v3.0の大改訂で完成したわけではないということです。
大きな構造を変えた後も、実際の運用から得た情報をもとに細部を調整しています。まさに「生きた文書」です。

失敗の開示が信頼につながるためには条件

「失敗を正直に公表すれば、信頼が高まる」と単純に考えるべきではありません。
失敗を公表しても、原因が説明されず、改善策もなく、同じ問題が繰り返されれば、信頼は高まりません。

Anthropicの事例で注目すべきなのは、うまくいかなかったことを述べただけではなく、次の情報をセットで示している点です。

• 何を想定していたのか。

• どの部分が機能したのか。

• どの前提が外れたのか。

• なぜ現在の構造では対応できないのか。

• その結果、何を変更したのか。

さらに、改訂日、バージョン番号、変更内容、旧版との差分を公開しています。

この一連の流れがあることで、外部の人は「方針が変わった」という結果だけでなく、「なぜ変わったのか」という意思決定の過程を確認できます。
信頼を生むのは、間違えないことではありません。
間違いや環境変化を検知し、説明し、修正できることです。

日本企業が取り入れたい４つのガバナンス設計

Anthropicほど高度なAIを開発していない企業でも、この考え方は応用できます。

1．規程に見直し時期と改訂条件を入れる

「必要に応じて見直す」だけでは、ほとんどの場合、見直されません。
少なくとも、責任者、定期的な確認時期、臨時改訂の条件を決めておく必要があります。

たとえば、新しいAIサービスを導入したとき、事故や情報漏えいが発生したとき、法令や取引先の要件が変わったときには、臨時レビューを行うと決めます。

2．基準だけでなく判定方法を設計する

「機密情報を入力してはいけない」と書くだけでは不十分です。

どの情報が機密に当たるのか、判断に迷った場合は誰に確認するのか、承認の記録をどこに残すのかまで決めます。

ルールは、現場が判断できる形になって初めて機能します。

3．自社で実行できることと外部依存を分ける

取引先、システム会社、クラウド事業者、業界団体などとの連携が必要な対策は、自社だけで完了できる対策と分けて管理します。

これにより、自社が今すぐ着手できることが明確になります。

4．変更による現場負担も管理する

ガバナンスは、更新すればするほど良いわけではありません。
規程が頻繁に変わり、毎回長い文書を読ませるようでは、現場に変更疲れが生じます。

変更点を短く伝える、影響を受ける人だけに説明する、操作や申請方法も同時に整えるなど、心理的・運用上の負担を抑える必要があります。

総務省と経済産業省の「AI事業者ガイドライン」も、AIをめぐる環境変化を踏まえ、ガイドラインをLiving Documentとして適宜更新する方針を示しています。米国NISTのAIリスクマネジメントフレームワークも、定期的な見直しとバージョン管理を前提にしています。

ガバナンスとは、ルールを守らせることだけではない

AIガバナンスという言葉から、禁止事項を増やすことや、厳しい規程を作ることを想像する方もいるかもしれません。
しかし、本来のガバナンスは、現場を縛るためだけのものではありません。

どこまでなら安心して使えるのか。
判断に迷ったときは誰に相談すればよいのか。
問題が起きたときに、誰がどのように対応するのか。
こうした点を明確にすることで、現場の不安や判断負担を減らす役割があります。

私がDX支援で重視しているのも、完璧な規程を最初から作ることではありません。

現在どの業務でAIが使われているのかを整理し、リスクの高い利用と低い利用を分け、まずは管理可能な範囲から運用することです。
その後、現場から出てきた疑問や問題をもとに、ルールを修正していきます。

システムやAIは変わります。
法律や取引先の要請も変わります。
社内の人員や業務内容も変わります。

変化する環境の中で、最初に作ったルールだけが変わらないという状態は、むしろ不自然です。

「ルールを守る会社」から「ルールを更新できる会社」へ

AnthropicのRSP改訂史が示しているのは、最初から正しいルールを作ることの難しさです。
同時に、想定が外れたときに、考え方や構造まで見直すことの重要性も示しています。

ガバナンスの成熟度は、規程の厚さでは測れません。

運用状況を確認できること。
判断できない曖昧な部分を把握できること。
環境の変化に応じて改訂できること。
変更理由を関係者に説明できること。

これらを継続できるかどうかが重要です。

DXやAI活用も、大きなシステム導入や完璧な社内規程から始める必要はありません。
まずは、現在の業務とAI利用の実態を棚卸しし、誰がどのような判断に困っているのかを整理するところから始められます。

自社だけでは、ルールと現場の実態を客観的に整理しにくいこともあります。
そのような場合は、経営と現場の間に外部の視点を入れることにも意味があります。

重要なのは、一度作って終わることではありません。
人に無理をさせず、現場で検証しながら、更新を続けられる仕組みにすることです。

参考資料

Anthropic「Responsible Scaling Policy：Current and Prior Versions」
Anthropic「Responsible Scaling Policy Version 3.0」
総務省・経済産業省「AI事業者ガイドライン 第1.1版」
NIST「Artificial Intelligence Risk Management Framework 1.0」

室﨑　敬太　【Linkedin】【E-mail】
馬車馬テクノロジーズ　業務執行社員/Chief Strategy Officer
その他DX関連の顧問を複数社請け負わせていただいております。

17歳で学生起業家として活動を開始し、事業の立ち上げと運営を経験。その後、ファーストリテイリンググループに入社。 三井住友海上火災保険株式会社にて法人営業やリスクマネジメントに従事し、金融・保険分野における専門性を確立。 独立後は室﨑総合保険／MKエージェンシーを創業。不動産会社との業務提携を経て役員に就任。 コロナ渦以降にAIやDX、プログラミングを学び現在は企業のDXおよびAX戦略の立案から実行までをリード。AI・LLMを活用した業務改革や新規事業開発を中心に、複数の企業において顧問として参画している。 国内上場企業から外資系企業まで、繊維、小売、自動車、金融、不動産、建設、サービスなど多岐にわたる業界での実務経験を有し、業界横断的な知見と実行力を兼ね備えたDXに強みを持つ。