こんにちは、StoreHero で CPO をしている永田です。
前回の記事で Agent Teams の概要とサブエージェントとの違いを整理しました。文末で「次回はレビュー記事を書きたい」と書いたので、今回はその予告を回収します。
同じタスクを Solo（単独エージェント）と Agent Teams で実行し、コストと品質を定量的に比較しました。実際いくらかかるのか、品質は上がるのか。私自身が知りたかった問いに、実験データで答えます。
実験の設計
対象タスクは、業務ガイドラインの品質改善です。本編 9 ファイル、Appendix 6 ファイル、INDEX 1 ファイルの計 16 ファイルで、合計約 3,800 行の自然言語が対象でした。
作業内容に差が出ないよう、事前に品質改善のワークフローをスキルとして定義しました。Agent Teams 版はスキルをそのまま実行しました。Solo 版は同じ手順に従いつつ、Agent Teams やサブエージェントは使わずに実行しています。
- Solo: スキルの手順に従い、単独エージェントで実行
- Agent Teams: スキルをそのまま実行（3 ロール合議: Architect / Writer / Challenger）
モデルは全エージェントで opus-4-6 を使用しています。
コスト計測には ccusage を使う予定でしたが、サブエージェントやチームメンバーのトークンがセッションに紐づかないため、自作の /session-cost スキルで計測しました。
コストの比較
| 項目 | Solo | Agent Teams | 倍率 |
|---|---|---|---|
| 合計コスト | $5.20 | $15.55 | 3.0x |
| 総トークン数 | 6.1M | 21.3M | 3.5x |
| API 呼び出し回数 | 52 回 | 237 回 | 4.6x |
| サブエージェント数 | 0 | 28 体 | - |
| 変更行数 | +260/-77 | +713/-79 | 2.7x |
Agent Teams のコストは Solo の 3.0 倍でした。内訳はメインセッション（team-lead）が $2.89、サブエージェント 28 体が $12.66 でした。コスト増の大部分はチームメンバーとその内部サブエージェントが占めています。
API 呼び出し回数が 4.6 倍に膨れた原因は、チームメンバー間のメッセージングと、各メンバーが内部でサブエージェントを spawn していることの 2 点です。トークン倍率（3.5x）より API 呼び出し倍率（4.6x）が大きいのは、短いやり取りが多いためと考えられます。
Agent Teams 版の動き方
Agent Teams 版では、team-lead を含む 6 体のエージェントが稼働しました。各メンバーがさらに内部でサブエージェントを呼び出し、延べ 28 体が稼働しています。
チーム構成は Architect 1 名、Writer 3 名、Challenger 1 名、team-lead の計 6 名です。
| Phase | 内容 | 結果 |
|---|---|---|
| Phase 0 | セットアップ・チーム構成 | 5 エージェント体制を構築 |
| Phase 1 | Architect 構造診断 | 9 原則診断、統一ルール策定 |
| Phase 2 | Writer 3 名並行改善 | 全 3 タスク完了（本編 9 章 + Appendix 6 ファイル） |
| Phase 3 | Challenger 6 観点検証 + 修正 | 指摘 → Writer-3 再 spawn + Architect で全件解決 |
Phase 1 で Architect が全体の構造を診断し、統一ルールを策定します。Phase 2 で 3 名の Writer がそのルールに従って並行改善し、Phase 3 で Challenger が 6 観点から検証します。指摘があれば Writer を再 spawn して修正する流れです。
並行化だけならサブエージェントでも可能です。Agent Teams の強みは、Challenger が指摘を出し、Writer が修正し、再度 Challenger が検証するという双方向のやり取りにあります。メンバー間で直接メッセージを送り合えるため、このフィードバックループが自然に回ります。
品質の比較
品質評価は、別のセッションで 5 人の評議員を Agent Teams で組織して実施しました。各評議員は異なる専門観点から、両方の PR を独立に評価しています。
| 評価者 | 専門観点 | 判定 |
|---|---|---|
| evaluator-structure | 構造・RAG 最適化 | Agent Teams 優位 |
| evaluator-content | コンテンツ品質 | Agent Teams 優位 |
| evaluator-strategy | Strategy 準拠性 | Agent Teams 優位 |
| evaluator-risk | 変更リスク・副作用 | Solo 優位 |
| evaluator-efficiency | コスト対効果 | Solo 優位（僅差） |
投票結果は Agent Teams 3 票、Solo 2 票でした。
合議では 3 つの論点で意見が分かれました。
- INDEX のフラットセクション一覧（RAG 精度向上 vs 保守コスト増）
- 凡例の配置場所（本編配置 vs 付録一元化）
- フロー図の扱い（テキスト追加で冗長性確保 vs テキスト置換で効率化）
いずれも「網羅性と保守性のトレードオフ」という共通の構図です。
Agent Teams の強みは、コンテンツの網羅性、エッジケースのカバー、RAG 最適化にあります。制約確認テーブルや例外処理パターン、双方向参照など、Solo では出てこなかった改善が含まれていました。
Solo の強みは変更の効率です。PR#22（Solo 版）は +260 行のほぼ全量が実質的改善で、無駄な変更がありませんでした。保守性への影響も最小限で、DRY 原則にも忠実です。
一方、PR#23（Agent Teams 版）は +713 行のうち高付加価値は約 300 行（42%）でした。残り約 400 行は INDEX 一覧やテキスト重複など低インパクトの変更です。量が増えることが品質向上と同義ではありません。
AI が AI を評価する限界
ここまでの品質評価には構造的な問題があります。両方の PR を書いたのも Claude、評価するのも Claude です。たとえば Claude が網羅的・詳細な出力を系統的に好む傾向があれば、変更量の多い Agent Teams 側に有利なバイアスがかかります。
ただし、興味深い点もあります。evaluator-risk と evaluator-efficiency の 2 名は Solo 側に票を入れました。特に evaluator-risk は「セクション番号リナンバーの破壊的変更リスク」「用語体系 5 箇所分散の DRY 原則違反」を具体的に指摘しています。評価観点を分けることで、AI 同士でも異なる結論に至り得ることがわかりました。
それでも、この評価を「客観的な品質判定」として扱うのは適切ではありません。定性的な傾向を把握する手段として位置づけるのが妥当です。最終的な品質判断は人間のレビューに委ねるべきと考えています。
ちなみに、この品質評価自体も Agent Teams で実施しました。5 人の評議員を組織した結果、合計 $9.96 かかっています。内訳はメインセッション $2.61、サブエージェント 21 体 $7.35 です。8.3M トークン、112 回の API 呼び出しでした。
実験からの考察
この実験の目的は「どちらが優れているか」を決めることではありません。Agent Teams が従来の使い方と比べてどれぐらいのコスト増になり、そのコストに見合う品質を得られるかを検証することでした。
まずコスト面を見ます。高付加価値な改善 1 行あたりの想定コストは、Solo が約 $0.02 に対し Agent Teams は約 $0.05 でした。倍率は約 2.6 倍ですが、絶対額としてはどちらも十分に安価です。API キーの従量課金でも $15.55 は単一タスクとして現実的な金額です。一方、Claude.ai のサブスクリプションで使う場合は rate limit の問題があります。今回の Agent Teams は 237 回の API 呼び出しと 21.3M トークンを消費しました。Pro プラン（$20/月）でも完走できる可能性はありますが、日常的に使うなら余裕のある Max プラン（$100/月または $200/月）が安定します。コスト面では Agent Teams の導入障壁は低く、判断基準は「コスト」よりも「rate limit 内で完了できるか」です。
次に品質面を見ます。今回のタスクは 16 ファイル横断の品質改善でした。Solo はファイルを順に処理するため、全体を貫くルールの適用にばらつきが出やすくなります。Agent Teams では Architect がまず統一ルールを策定し、3 名の Writer がそれに従って並行改善しました。さらに Challenger が横断的に検証し、指摘があれば Writer が修正する。このフィードバックループによって、Solo では見落とされがちなファイル間の整合性や、エッジケースへの対応が改善されていました。
ただし、変更量の最適化には課題が残ります。Agent Teams は「深く掘る力」と「変更を絞る力」がトレードオフの関係にあり、タスクの性質に応じた使い分けが現時点での結論です。
まとめ
- 同一タスクで Solo $5.20 に対し Agent Teams は $15.55 で、コストは 3.0 倍でした
- 品質評価では Agent Teams が 3 票、Solo が 2 票。網羅性と変更効率で強みが分かれました
- Agent Teams の +713 行のうち高付加価値は約 300 行（42%）。変更量の増加がそのまま品質向上につながるわけではありません
- AI による品質評価には構造的なバイアスがあり、人間レビューの代替にはなりません
- 日常タスクは Solo、品質を深掘りしたい局面で Agent Teams という使い分けが現実的です
- 今回の実験全体の想定コスト（API 従量課金換算）: Solo $5 + Agent Teams $16 + 品質評価 $10 = 合計約 $31 でした
Discussion