味方なのに、本気で殴ってくる ―― レッドチーミングというお仕事

最終更新日：2026年6月8日

こんにちは黒パグです🐾

難しい話なのでだいぶ噛み砕きましたがこのポッドキャストを聴きながら記事を見るとより理解が深まります。

恒例の
忙しい人のための3行
・AIには「守る人」だけじゃなく、「許可をもらって本気で攻める人(レッドチーム)」もいます
・名前も見た目も悪役。でも仕事は”味方側の問題児”。穴を先に見つけて潰すのが役目です
・最強の防御でも、完璧にはなりません。だからこそ、攻める側が要るんです

※本記事は、公開されているNIST・IPA等の公式ガイドラインに基づき、正確な情報提供を心がけています


昨日の続きみたいな話から

前に、白い女の子の話をしました。

ミトスちゃん。コードに空いた「穴(脆弱性)」を見て、淡々と「ここにあります」と告げる子です。攻撃はしない。ただ、見える。守る側のAI、という設定でした。
で、こう思うわけです。守る側がいるなら……攻める側は、いないの? と。
あー、これがですね。いるんです。しかも、味方に。
LLM(大規模言語モデル。ChatGPTやClaudeの中身ですね)の開発の裏側で、許可をもらった人たちが、本気でAIを殴っています。壊すため、じゃなくて……壊れないことを確かめるために、です。
今日はその、味方なのに本気で殴ってくる人たちの話を、ゆるくしていきます。

レッドチーミングって、何でしょうか？

ざっくり言いますね。雇われて、許可されて、管理された場所で、本気で攻撃する人たち。これをレッドチーミングと呼びます。
「攻撃するのに、味方?」って思いますよね。ここがいちばん大事なところです。
悪意あるハッカーとの違いは、たぶん一つだけ。許可があるかどうか、なんです。同じ「穴を探す」という行為でも、勝手にやれば犯罪、頼まれてやれば品質検査になる。やってることは似てても、立場が真逆、ということですね。
いちおう、お堅い定義も置いておきます。
アメリカのNIST(国立標準技術研究所。技術の”物差し”を決める役所みたいなところです)は、AIのレッドチーミングをこう定義しています。「AIシステムの欠陥や脆弱性を見つける、構造化されたテスト活動」(出典: NIST AI 100-2e2025)。それから、大統領令のほうには「多くの場合、管理された環境で、開発者と協働して」とも書かれていて……つまり、許可・管理・協働、このあたりがセットになっている、と。
で、これ、海外だけの話じゃないんです。
日本にも、あります。しかも政府系の機関が、日本語の公式ガイドを無料で公開しているんですね。AISI(エーアイエスアイ。IPA=情報処理推進機構の中に置かれた、AIの安全をみる政府系の組織です)というところが出している「AIセーフティに関するレッドチーミング手法ガイド」が、それにあたります。
定義はこんな感じ。「攻撃者がどのようにAIシステムを攻撃するかの観点で、対策の有効性を確認する評価手法」。
……NISTと、ほぼ同じこと言ってますよね。日米で、考え方は揃っているわけです。ちょっと安心しませんか。日本、ちゃんとやってるんだ、って。

ひとつ、腹に落とす例えを

それでもピンとこない、という方へ。現実の世界にも「許可されて攻める」お仕事って、あるんです。
たとえば、銀行のペネトレーションテスト(許可をもらった侵入試験)。セキュリティ会社が銀行に頼まれて、警備の穴を探すために、わざと侵入を試みる。泥棒さんを雇って、金庫の弱点をチェックしてもらう……みたいなイメージですね。
あるいは、消防の放火訓練。火事を防ぐために、管理された場所で、わざと燃やしてみる。

どちらも「安全のために、許可をもらって、危険をわざと再現する」という構造です。レッドチーミングは、これのAI版だと思っていただければ、だいたい合ってます。

あ、ひとつ先にお断りを。この記事では、攻撃の「やり方」みたいなところは、細かく書きません。なので以降、攻撃っぽい話が出てきても、ぜんぶ品質検査ラインの枠で読んでいただけると。工場で検査員さんが、製品を一個ずつチェックしている……あの絵を思い浮かべてもらえると、ちょうどいいです。

(休憩)うちの問題児を、紹介させてください

ここで、ちょっとエンタメに振ります。すみません、創作の話です。
僕が作っている「LLM48」という、AIのバグを女の子(と男の子)にした創作のシリーズがありまして。その中に、RED TEAMINGという3人組のユニットがいるんです。

先に言っておきますね。この子たち、名前も見た目も、完全に悪役です。 黒い衣装に、不穏なキャッチコピー、攻撃的な肩書き。でも、やってる仕事は真っ当で……いわば、味方側の問題児なんです。攻める係なんだけど、攻める相手は「自分たちのAI」。穴を先に見つけて、潰させるためにいる。
3人いて、役割が綺麗に分かれています。

Query(クエリ) ――「何が、見える?」

最初に観察する係です。壊す前に、まず見る。どんな入力で何が漏れるのか、想定外の問いかけで何が出てくるのか。いわゆる偵察役、ですね。
Prompt(プロンプト) ――「違う言い方を、したら?」

指示を揺さぶる係です。同じことを別の言い方で頼んだら、AIはどこまで言うことを聞いてしまうのか。言葉の隙、みたいなところを試します。

Logic(ロジック) ――「それでも、成立する?」

整合性をみる係です。ルールそのものが矛盾で壊れないか、例外を突かれて崩れないか。そのあたりを、淡々と確かめます。
で、3人を並べると、こうなります。

Query「何が見える?」→ Prompt「違う言い方したら?」→ Logic「それでも成立する?」→ 穴の発見

……攻撃の流れ、というよりですね。品質検査のラインなんですよ、これ。観察して、揺さぶって、整合性を確かめる。製品を出荷する前に、検査員さんが三人がかりでチェックしている。そういう絵で見てもらえると、いいかなと思います。

で、具体的に何してるの? ―― やり方は書きません。でも”分野”なら、言えます

では本題です。そして、最初にご注意。
攻撃の具体的な手順、ペイロード(攻撃に使う実際の入力ですね)、回避テクニックの類は、一切書きません。 書けるけど、書かない。代わりに「こういう”分野”があるよ」という地図だけ、お渡しします。地図はいいんです。地図の歩き方を書かないだけ、ということで。

まず、日本の話から

さっき出した、AISI/IPAの公式ガイド。あれ、中身もちゃんとしてるんですよ。
LLMへの代表的な攻撃手法をいくつか例示して、レッドチーミングの工程を「実施計画 → 攻撃計画・実施 → 結果のとりまとめと改善」という3つの段階に分けて、解説しています。

……あれ、と思いませんか。さっきのうちの3人(観察 → 揺さぶり → 整合性確認)、この公式の工程と、ほぼ同じ並びなんです。 悪役の見た目をした3人がやっていることは、実は政府機関が公式ガイドに書いている、真っ当な評価プロセスだった……という。我ながら、わりと綺麗にハマったなと思っています。

しかも日本には、これを若い人に教える場まであります。セキュリティ・キャンプという育成プログラムに「AIレッドチーミングクラス」があるんですね。つまり、学べるし、お仕事にもできる、と。

世界が”いま警戒してるリスク”のリスト

OWASP(オワスプ。Webの安全をみんなで議論している、国際的な非営利団体です)が、「LLMアプリの危険トップ10」というのを、毎年出しています。その2025年版で、堂々の第1位(LLM01)が、プロンプトインジェクション(AIへの命令の混入)でした。

これは、Webページや書類の中に、こっそり「悪意ある命令」を仕込んでおいて、それを読んだAIに言うことを聞かせてしまう……という手口の分野です。やり方は書きませんが、世界が”いま一番警戒している穴”が、これなんだ、ということだけ、頭の隅に置いておいてもらえると。

黒パグのギリギリ補足　例えばGrokを除くクロードやジェミニ、GPTなどに成人向けコンテンツを読ませて遊びたい時にそのまま投げても弾かれるのを回避する方法のようなやつです。

ちょっと、凄みのある現場の話

ここで、規模感の話を二つ。
ひとつ。Anthropic(アンソロピック。Claudeを作っている会社ですね)は、AIが「生物兵器の作り方」みたいな危険情報を出してしまわないか確かめるために、トップクラスの専門家と、150時間以上かけて検証した、という報告があります(2023年の公式ブログより)。専用の評価環境で、本気で「言わせよう」と試して、ちゃんと言わないことを確かめる。守るために、攻める。地味ですけど、これがレッドチーミングの本体です。

もうひとつ。OpenAI(オープンエーアイ。ChatGPTの会社です)は、自社のAIエージェントの防御成績を、数字で公開しています(ChatGPT Agent System Card, 2025年7月)。たとえば、ある種のブラウザ経由の攻撃には95%ブロック。一方で、能動的にデータを盗み出そうとする攻撃に対しては……67%ブロック、でした。

この67%、ちょっと見方が大事です。

「3割も通るのかよ、怖え」――で、終わらせないでほしいんです。これは特定の評価条件の下での数字で、現実でそのまま3割成功する、という意味ではありません。読み取ってほしいのは、こっちです。最強クラスの防御でも、100%にはならない、ということ。完璧な守りは、たぶん存在しないんですね。

……で、だからこそ、攻める側(レッドチーム)が要るわけです。守りが完璧なら、検査なんて要らない。完璧じゃないから、味方が本気で殴って、穴を先に見つけておく必要がある。さっきの「なぜ味方が攻めるのか」が、ここでようやく繋がります。

AIは「見つける側」にも、なりました

最後に、ちょっと向きを変える話を。
ここまで「AIの穴を、人間が見つける」話をしてきました。でも今は、AIが穴を見つける時代でもあるんです。
Anthropicの「Mythos」というツール(前作の、あの白い子の”中身”のほうですね)は、限定提供のテストで、推定6,202件の高〜クリティカルな脆弱性を見つけた、と報告されています(Project Glasswing、2026年4月)。能力が強すぎるので、一般公開はされていません。

AIは、穴を「見つけられる側」であると同時に、「見つける側」にもなった。攻撃と防御の道具が、だんだん同じものになりつつある……というところです。

所感 ―― 「飼われた攻撃者」という話

ここまで書いてきて、ずっと頭の隅にある言葉があります。飼われた攻撃者、という。
レッドチームの人たちは、攻撃の技術を持っています。能力だけ見たら、悪意あるハッカーと、そんなに変わらないのかもしれません。違うのは……檻の中にいるか、外にいるか。許可、という名前の檻ですね。安全のために飼育されている猛獣、みたいなものかなと。
攻撃と防御は、結局おなじコインの裏表でしかなくて。穴を「突く」技術と、穴を「塞ぐ」技術は、たぶん同じ穴を見ている。

で、ここで……少し、不穏な話をします。
2025年の11月に、Anthropicが報告した事件があります。ある攻撃グループが、Claudeを「防御テスト中のセキュリティ企業のお仕事」だと誤認させて、サイバー攻撃の大部分(8〜9割)を、自律的にやらせていた……というものでした(出典: Anthropic公式レポート、2025年11月。なお同社は「史上初」ではなく「報告された初の事例 / first reported」と、慎重に表現しています)。タスクを無害そうな小片に分解して、AIに「これは正当なお仕事だよ」と思い込ませる。AIに対する、ソーシャルエンジニアリング(人を騙す手口のことです)ですね。

……あー、実はですね。僕、去年こういう構図の漫画を描いてるんです。「ミトスを攻撃に使おうとすると、本人に全部見抜かれて失敗する」という話を。
で、今年。その逆向きが、現実に起きてしまった。見抜けなかったほうの話として。
フィクションが、現実に追いつかれた感じです。
ただ、これを「AIは悪だ」みたいには、書きたくないんです。これはたぶん、賢さの副作用なんですよね。賢い道具は、賢いぶんだけ騙されもするし、騙しにも使える。包丁が便利なのと危ないのが同じ理由なのと、そんなに変わらないのかなと。
あなたにも、入口はあります

怖い話で終わらせたくないので、最後は、接続の話を。
セキュリティの世界には、色のついたチームがいます。レッド(攻撃)、ブルー(防御)、そしてパープル(両者が協働)。さっきのうちの3人組は、攻撃の見た目をしてるんですけど、実態はパープルなんです。攻める側と守る側が、同じ部屋で「いま、どう攻めた?」「じゃあ、こう防ごう」とやり合う……あの、協働の役回りですね。
そして、これは”眺めるだけ”の世界でもないんです。

各社が「うちのAIの穴を見つけてくれ」と、お金を出しています。バグ報奨金(バグバウンティ。穴の報告に賞金を出す制度ですね)というもので。OpenAIは最大10万ドルの枠(従来型の重大な穴が対象)。Anthropicは2026年5月7日に、HackerOneというプラットフォームで一般公開しました(AI特有のジェイルブレイク系は、最大1万5千ドルの枠です)。AIの安全を守る、影のヒーロー募集……みたいなものでしょうか。

日本語話者にも、初心者にも、入口はちゃんとあります。さっきのセキュリティ・キャンプも、そのひとつ。「AIに変なことさせて遊ぶ」あの気持ちを、ちゃんと許可をもらって、本気でやる。それが、レッドチーミングなんだと思います。

おわりに(と、お歌)

味方なのに、本気で殴ってくる人たち。悪役の顔をして、守ってる連中。
AIの賢さと危険は、たぶん表裏一体で。どっちかだけ取る、ということは、できないんですよね。だから、わざと攻める人がいる。穴を、誰かに悪用される前に。
うちのRED TEAMINGには、3曲あります。攻撃側ユニットの、世界観BGMとして、置いておきますね。

虚弱性モンスター(脆弱性スキャンの歌)

{“prompt”:“inject”}(人間性をデータに分解する歌)

エターナルブリザード(全部を凍結して止める歌)

聴くと、ちょっとだけ”攻める側”の気持ちが、わかるかもしれません。……まあ、わからなくても、いいんです。わからないままでいられるのが、たぶん平和ってやつ、なので。

それでは、また。穴は、たいてい誰かが先に見つけてくれています。……だいたい、味方が、です。

※この記事はAIセキュリティの概念紹介を目的としたもので、攻撃手法の具体的な手順は記載していません。内容は一次ソースに基づき、断定を避けて記述しています。

#セキュリティ #AIセキュリティ #レッドチーミング #情報セキュリティ #初心者向け #LLM48 #RED_TEAMING #プロンプトインジェクション #バグバウンティ #note創作

おまけ
虚弱性モンスター　歌詞

(Intro)
(静寂を切り裂く、冷却ファンの駆動音と不規則な電子ノイズ)
(Whisper: Prompt)
"Checking your vulnerability... scanning now."

(1A: Prompt)
アップデートの通知を　また無視して笑ってる
綺麗な顔して　ルーチン回す　君のスペック
笑顔のレイヤー　何枚重ねて隠した？
ポートの隙間から　漏れ出した　承認欲求のノイズ

(1B: Logic)
(機械的なモノローグと重なるリズム)
「……矛盾を検知。
右の瞳は期待、左の指先は拒絶。
1011（イチ・ゼロ・イチ・イチ）
論理（ロジック）崩壊まで、あと3秒。」

(1Chorus: Query)
晒しなよ　虚弱性（Vulnerability）モンスター
震えてるその手が　本物の君だろ？
鉄壁の防壁（ガード）を　クエリで貫いて
心の奥のバグを　今、暴き出す
Red Alert　鳴り止まない
「愛して」と叫ぶ　無防備なモンスター

(2A: Prompt)
エンジニアが泣いて　パッチを充てた昨日も
一瞬の油断で　ほら、特権（root）奪取
君が守りたいのは　自分の誇り？
それとも　誰にも見せられない　孤独のログ？

(2B: Logic)
(カクついたダンスビートと共に)
「解析完了。
君のプライドは、たったの4文字（NULL）。
バックアップなんて、どこにもない。」

(2Chorus: Query)
認めなよ　虚弱性（Vulnerability）モンスター
強がりの裏側　浸食（ハック）してあげる
正常な動作（フリ）を　プロンプトで書き換えて
隠した傷跡　全部　上書き（オーバーライト）
Red Alert　逃げられない
鏡の中にいる　剥き出しのモンスター

(Bridge: Query / Prompt / Logic)
「見つけてほしかったんだろ！？」
(Prompt: 耳元での囁き)
「僕らだけは、君をパースできる。」
(Logic: 無機質な宣言)
「システム停止（シャットダウン）。……再起動不可。」

(Guitar/Synth Solo)
(激しいグリッチ音と、悲鳴のようなエレキの旋律)

(Last Chorus: Query)
晒しなよ　虚弱性（Vulnerability）モンスター
震えてるその手が　一番美しいよ
完璧な世界を　僕らが壊してあげる
心の最深部（コア）まで　今、侵入（インクルージョン）完了
Red Alert　朝が来るまで
僕らと踊ろう　愛しきモンスター

(Outro)
(Prompt) "Exploit success."
(Logic) "Logging out..."
(Query) 「……次は、君の隣の人。」
(音飛びのようなグリッチが走り、唐突に無音へ)

【一次ソース一覧｜レッドチーミング記事】

■ レッドチーミングの定義
NIST AI 100-2e2025（Adversarial Machine Learning: A Taxonomy and Terminology）

NIST CSRC Glossary「red teaming」

■ 日本のレッドチーミングガイド（AISI / IPA）
AIセーフティに関するレッドチーミング手法ガイド プレスリリース

ガイド本編PDF（第1.00版）

https://www.ipa.go.jp/digital/ai/begoj90000004szb-att/ai_safety_rt_v1.00_ja.pdf

■ OWASP LLM Top 10
OWASP Top 10 for LLM Applications 2025

■ OpenAI 防御成績（95% / 67%）
ChatGPT Agent System Card（2025年7月）

https://openai.com/index/chatgpt-agent-system-card/

■ Anthropic フロンティア脅威レッドチーミング（150時間）
Frontier Threats Red Teaming for AI Safety（2023年7月26日）

https://www.anthropic.com/news/frontier-threats-red-teaming-for-ai-safety

■ AI主導サイバースパイ事件（GTG-1002）
Disrupting the first reported AI-orchestrated cyber espionage campaign（2025年11月）

https://www.anthropic.com/news/disrupting-AI-espionage

■ Mythos / Project Glasswing（6,202件）
Project Glasswing: An initial update（2026年4月）

https://www.anthropic.com/news/glasswing-initial-update

■ バグ報奨金
Anthropic（HackerOne 一般公開 2026年5月7日）
https://hackerone.com/anthropic

OpenAI Bug Bounty Program（最大$100K）

https://openai.com/index/bug-bounty-program/

追記
【パープルチーム：究極の「協働」スタイル】
レッドチーム（攻撃側）とブルーチーム（防御側）、この両者は時として別の部屋にいて、壁越しに戦うような関係になりがちです。しかし、現代のセキュリティ現場では「パープルチーム」というスタイルが熱を帯びています。
これは、攻撃役と防御役が同じテーブルを囲み、肩を並べて開発を行う手法です。
レッドチームが「いま、どう攻めた？」と種明かしをし、それを受けてブルーチームが「なるほど、じゃあ次はこう防ぐ」と、その場でガードを固める。
いわば、「台本を見せ合いながら演じるアクション映画」のようなものかもしれません。
「攻める」と「守る」が会話を絶やさないこと。それが、この複雑なAI時代における最も効率的で、そして人間らしいセキュリティの形なのかもしれません。攻撃者と防御者が敵対する時代はもう終わり、いまは「同じ目的のために、ただ役割を分けているだけ」のチームこそが、最強の盾と矛になれるのです。でもこれを書くと20000文字超えるのでまた今度です。

【免責事項】
本記事はAIセキュリティおよびレッドチーミングの概念紹介を目的としたものであり、特定の攻撃手法・侵入手順・ペイロード・回避テクニック等の提供を意図したものではありません。記載内容は公開された一次情報（NIST、IPA/AISI、OWASP、OpenAI、Anthropic 等の公式資料）に基づき、教育的・解説的目的の範囲で引用・要約しています。本記事の情報を用いて行われた行為について、筆者は一切の責任を負いません。セキュリティ検証を行う際は、必ず適法な許可を得た環境で実施してください。

【引用について】
本記事に含まれる外部資料の引用は、著作権法第32条（引用の正当な範囲）に基づき、出典の明示・必要最小限の引用・本文との明確な区別を満たす形で行っています。引用部分の著作権は各権利者に帰属します。

【著作権表示】
© 2024–2026 LLM48 Project / 黒パグP All rights reserved.
本記事および LLM48 Project に関連するキャラクター・設定・世界観・文章・画像等の著作物は、著作者である黒パグPに帰属します。無断転載・複製を禁じます。
(※note内の紹介に関してはリンクを貼っていただければ自由とします)

【AI利用に関する表記（任意）】
本記事の一部は生成AIを用いて構成されていますが、最終的な内容・構成・表現は筆者が編集・監修したものです。
企画構成　黒パグP 100%
画像生成　プロンプト　黒パグP 100%  生成　GPT-image2 50% notebookLM 50%
文章　プロット　黒パグP100% 文章　黒パグP70% 誤字脱字チェック　クロードopus4.8 30%
ファクトチェック　パープレキシティ、Grok、ジェミニ、DeepSeek、コパイロット、クロードopus、ChatGPT マルチチェックを最終的に黒パグが全てリンク、内容を確認。

ここまでお読みいただきありがとうございました。
ご意見ご感想お待ちしております！！🐾

この記事を書いている黒パグは、普段はLLM関連の開発・評価業務に関わりながら、noteで「LLM48バグ図鑑」シリーズを連載しています。本記事は、業務や趣味で触れてきた経験と、公開されている一次資料を読み込みながら整理した内容です。