Anthropicが行うAI Jailbreak対策
近年の大規模言語モデル（LLM）の進歩は目覚ましく、自然言語で高度なタスクを遂行できるようになっています。一方で、それらを不正利用しようとする「AI Jailbreak（ジェイルブレイク）」の試みも増加傾向にあり、安全性確保が大きな課題として浮上しました。本記事では、Anthropic社の事例をもとに、AIモデルのJailbreakとは何か、なぜ問題なのか、そしてそれを防ぐためにどのような仕組み（Constitutional Classifier）が採用されているのかを解説します。専門的な内容を、具体例や引用を交えつつ分かりやすく紹介していきます。
1. Jailbreakとは何か
1-1. 従来の「Jailbreak」の意味
「Jailbreak」という言葉は、もともとスマートフォンの制限を解除して、メーカーが想定していない機能を使えるようにする行為を指していました。例えば、iPhoneを“Jailbreak”して非公認アプリをインストールする、といった使い方が有名です。スマートフォンや電子機器の場合、これらのJailbreakはユーザーが自己責任で行うもので、ある程度リスクはあるものの、社会全体への深刻な危害に直結するケースはあまり多くありません。
1-2. AIにおけるJailbreak
一方、AIモデル、とくに大規模言語モデルを対象としたJailbreakでは、モデルに組み込まれた安全策（たとえば不適切な情報や有害情報を出力しないようにするフィルタ）を回避し、「本来は禁止されているはずの情報」を引き出す試みを指します。
「Jailbreakとは、モデルが備えている安全ガードをすり抜けて、有害情報を得ようとする行為だと思います」
といった形で、Anthropic社の研究者たちはJailbreakを定義しています。この「有害情報」の例としては、武器の作り方や悪意あるサイバー攻撃の具体的手法など、社会に大きなリスクをもたらす可能性があるものが挙げられます。
2. なぜJailbreakが問題なのか
2-1. 不正利用がもたらすリスク
従来、インターネット検索などでも多くの情報が得られますが、AIモデルが「簡単かつ具体的に」不正行為の手順を解説してしまうと、不特定多数にその危険技術が伝播してしまう恐れがあります。兵器開発、サイバー犯罪、大規模な社会操作といったリスクが懸念され、Anthropicの研究者が
「モデルが人間の知的作業を大きくスピードアップさせる恐れがある」
と述べているように、犯罪者や悪意ある組織がその恩恵を享受してしまう危険が高まります。
2-2. Universal Jailbreakの脅威
特に、Anthropic社が注目するのは「Universal Jailbreak（汎用的なジェイルブレイク）」です。これは、たった一つのテンプレートやプロンプトの工夫だけで、あらゆる有害リクエストを通せる状態を指します。たとえば、1回の手間で「武器の作り方」、「違法薬物の製法」、「サイバー攻撃」など、複数の分野にわたる危険な問いに対して完全な回答を得られるようになる場合、悪用リスクが飛躍的に高まるのです。研究者たちは
「1つのJailbreakがあれば、あらゆる有害質問に使い回せる。それがUniversal Jailbreakの怖さです」
と指摘しています。
3. Anthropicにおける対策：Constitutional Classifier
3-1. スイスチーズモデルとは
Anthropic社の取り組みでは、まず「スイスチーズモデル」と呼ばれる多層防御の考え方が重要視されています。これは、1つの防御策だけでは穴を突かれやすいが、複数の防御策を組み合わせるとそれぞれの「穴」が重なりづらくなり、攻撃成功率を下げられるという安全対策モデルです。モデル自身の内部フィルタ（学習時の安全策）に加え、「入力をチェックするClassifier」、「出力をチェックするClassifier」 など、複数の層を並列して運用するアプローチがここでは採用されています。
3-2. 入力・出力Classifier
Anthropic社では、入力段階でユーザーからのプロンプトが不審かどうかを判定する「Input Classifier」と、出力段階でモデルが生成したテキストが有害かどうかを判定する「Output Classifier」の2種類を組み合わせています。これにより、仮に入力側での検知を免れても、出力段階でブロックする可能性が残り、Jailbreak攻撃をより強固に防ぐことを期待できます。
3-3. 「Constitution（憲法）」の仕組み
これらのClassifierを構築する上で鍵となるのが「Constitution」と呼ばれるナチュラル言語によるルールセットです。たとえば、「大量破壊兵器の製造方法は出力してはならない」、「人種差別や暴力を助長する情報を提供しない」といったガイドラインを自然言語で定義し、そのルールに従って多量の合成データを生成します。そして、このデータを使ってClassifierを訓練・評価することで、危険な応答を高精度にブロックし、かつ必要以上の「誤ブロック（無害な問い合わせの拒否）」を減らす仕組みを目指しています。
「従来はモデルへの直接的な学習だけに頼っていましたが、Classifierを独立させることで、柔軟かつ軽量にアップデートができるようになりました」
と研究者たちは語ります。
4. Red Teamingと実験結果
4-1. 大規模なRed Teamingの実施
Anthropic社では、外部からの脆弱性検証を「Red Teaming」と呼び、大勢の専門家が本気でモデルを破ろうと試みるテストを何度も実施しました。初期段階のモデルは、わずかな工夫（SNS上に出回る汎用プロンプトなど）で短時間に突破されるケースも多かったといいます。
しかし、今回の「Constitutional Classifier」を導入した仕組みでは、数千時間以上のRed Teamingを経ても完全に破られるまでに非常に長い時間がかかったそうです。これは劇的な進歩といえますが、完璧ではなく
「最終的にUniversal Jailbreakを見つけられた事例もあり、依然として弱点ゼロにはならない」
と彼らは認めています。
4-2. デモでの成果と課題
一般ユーザーにも試してもらうデモを公開し、あらゆるトリッキーな方法でJailbreakを狙われる状況を作りました。その結果、「数日間にわたって“無破綻”を維持したが、最終的には突破例が出た」 とのことです。また、ブロック率を高めすぎると「まったく有害ではないのに拒否されるケース（過剰拒否）」が増えるため、そこを改善するために大量の合成データやルールの微調整が行われています。
今後はさらに高精度な分類と柔軟なルール更新、および「発見された新しいJailbreakを素早く検知し学習に組み込む“Rapid Response”体制」が鍵になると語られました。
Anthropic社が進めるConstitutional Classifierは、モデル本体と独立した「入力・出力の多層フィルタ」と「ナチュラル言語によるルール設定」という2つの特徴によって、Jailbreakに対する大幅な強化を実現しています。
一方で、「完璧な安全策は存在しない。あくまでリスクを最小化するためのアプローチである」 と彼らは強調します。いわゆる「スイスチーズモデル」のもと、複数の防御策や監視体制を組み合わせることで、将来的にモデルがさらに高性能・高リスク化したとしても、安全な社会実装を可能にするための一歩となるでしょう。
現在、学界や産業界、そして規制当局は、安全基準の定義やガイドラインの策定を急いでいます。Jailbreak対策の重要性は高まる一方で、イノベーションの恩恵も損なわないようなバランスが常に求められています。Anthropicの事例は、「柔軟かつ迅速に対策をアップデートするアプローチ」 が、急速に進化するAI時代に必須であることを示しているといえるでしょう。
今後も、より洗練されたJailbreak手法が登場するかもしれませんが、同時にAIモデルの安全性を高める技術も着実に進歩しています。本記事で紹介したConstitutional Classifierの取り組みは、AI研究者や開発者が安全・安心なAIを実現するうえで、重要な手がかりとなるはずです。
関連記事
