AIにデータ分析を丸投げしたら「完璧に見える大破綻」が起きた話
Codex・Claude・Antigravityの実力比較
この記事の3行まとめ
同じ医療統計データを使用し、3つの主要AIエージェント（Codex、Claude、Antigravity）にデータクレンジングからWord報告書作成までを「丸投げ」して実力を比較検証しました。
出力された報告書はどれも完璧に見えましたが、コードを監査した結果「データリーケージ（因果の逆転）」や「感度0%の予測モデル」といった実務上致命的な罠が発覚しました。
AIは「もっともらしい資料」を高速生成しますが、数理的な厳密さは保証されません。人間による「監査（Audit）と役割に応じた使い分け」の必要性を解説します。
この記事で扱う内容
曖昧な指示をされたときに現れる、AIエージェントごとの設計思想
AI分析の「2大落とし穴」（データリーケージ、見せかけの正解率）
3大AIエージェント（Codex、Claude、Antigravity）の得意・不得意の対比
AIが出した分析結果に対して、人間が絶対に外してはならない「監査のポイント」
対象読者
AIを使ってデータ分析の生産性を上げたいと考えている実務家・副業データ分析者
ChatGPTやClaudeなどのAIが出力した数値をどこまで信じていいか不安なビジネスパーソン
複数のAIエージェントの強み・弱みの違いを具体例で知りたい人
結論
AIの進化により、グラフの可視化や報告書の自動生成の実行コストはほぼゼロになりました。
しかし、AIは「数理的な欠陥（リーケージなど）」を抱えた状態であっても、完璧なデザインと説得力のある文章で報告書を仕立て上げてしまいます。 AIデータ分析の時代において、人間が果たすべき本当の役割は、自ら計算することではなく、AIが出してきたロジックを疑い、正しく「監査（Audit）」することです。それぞれのAIの特性を理解し、人間が「プロジェクトマネージャー」として差配することが、これからの実務の正解です。
はじめに
前回の記事（vol.08）では、ローカルLLMとDiscordを同期させ、収集したログをNotionやLooker Studioで自動可視化する情報統制システムについて解説しました。
データがダッシュボードに可視化されるようになってくると、次に自分たちが直面するのは「蓄積されたデータをどう分析し、施策（アクション）に繋げるか」という課題です。
今回は、副業でも手掛けているデータ分析の領域に焦点を当て、「同じデータセットを3つのAIエージェント（Codex、Claude、Antigravity）に丸投げしたら何が起きたか」というリアルな検証ログをお届けします。一見するとプロ級の資料の裏で起きていた、AIたちの自律判断と致命的な罠をまとめました。
3大AIエージェントの「脳内バイアス」比較
同じ医療統計のダッシュボード用デモデータを使い、「前処理・R解析・Python図解・Word報告書」を指示した結果、各AIの得意・不得意が以下のようにくっきりと分かれました。
Codex（統計学者の脳内バイアス）
強み: 統計的厳密さは最強。多重比較（FDR）補正や最適閾値の計算、データリーケージの回避を自発的にコードに落とし込みます。
弱み: 伝える力（ビジュアル）は最低。報告書は極めて短く、グラフも最小限。経営層への具体的な提言は一切ありません。
Claude（コンサルタントの脳内バイアス）
強み: 見せる力と誠実さが強み。図13枚による圧倒的なビジュアルと、予測不能なモデルの限界（AUC0.5）を正直に伝える誠実さがあります。
弱み: 統計のディテールが甘く、多重比較補正や効果量の概念が抜け落ちており、数値の転記ミスも散見されます。
Antigravity（ディレクターの脳内バイアス）
強み: ドメイン理解と提言力は随一。ビジネスロジックの矛盾を検知してクレンジングを行い、そのまま施策会議に出せるレベルの具体的施策を提案します。
弱み: 数理の詰めが甘く、致命的な「データリーケージ（因果の逆転）」を混入させたバグだらけのモデルをドヤ顔で報告してしまいます。
完璧に見える報告書の裏に潜む「3つの落とし穴」
上がってきた「完璧に見えるWord報告書」やそのコードを細かく監査したところ、AIが自律的にデータ分析を行ったがゆえに陥った、それぞれ異なる3つの罠が見つかりました。
落とし穴①：データリーケージ（因果の逆転）の混入 【Antigravity & Claudeの弱点】
予測モデルを作る際、未来の情報や結果の情報を説明変数に入れてしまう「データリーケージ」は最大のタブーです。 今回、顧客の「離脱予測」において、AntigravityとClaudeは「継続月数」や「LTV」をモデルに入れてしまい、「継続月数が伸びれば離脱率が下がる」という結果論（トートロジー）の施策を提案してしまいました。この危険性を自律的に見抜き、モデルから事前に除外できたのは Codex のみでした。
落とし穴②：見せかけの正解率と、破綻したモデルからの提言 【Antigravityの弱点】
Antigravityのモデルは「正解率88%」と報告されましたが、実際は離脱者を1件も予測できていない「感度0%」の欠陥モデルでした。 ここで重要なのは、CodexやClaudeも同じ「感度0%」の壁にぶつかっていましたが、彼らは「このモデルは予測には使えない」と限界を正直に報告していた点です。それに対し、Antigravityはその限界を無視し、機能していないモデルの回帰係数を使って具体的な施策をドヤ顔で提案してしまいました。
落とし穴③：ビジュアル偏重による「転記ミス」と「提言の欠如」 【Claude & Codexの弱点】
最も美しい報告書を作成したClaudeですが、データ検証のプロセスが甘く、離脱率の数値を「14.4%」（実データは13.8%）と転記ミスするハルシネーションを起こしていました。また、多重比較補正や効果量の概念が抜け落ちており、数値の説得力に不安が残ります。 一方、統計的に最も厳密だったCodexは、報告書のボリュームが他の半分以下で、ビジネス上の具体的な「提言（アクション案）」が一切ありませんでした。これでは、専門外の意思決定者が読んでも次のアクションを起こせません。
AIデータ分析における「任せたこと・人間に残された監査」
実務でAIにデータ分析を任せる際の、プロセスごとの役割分担と監査の視点です。
① 前処理・変数選択プロセス
AIに任せたこと: データのクレンジングコード生成、集計処理の実行。
人間が監査すること: 予測モデルにおける「データリーケージ（情報漏洩）」の有無の確認。
なぜ監査が必要か？: 離脱後に確定する変数が予測モデルに入っていると、モデルの実用性がゼロ（結果論）になってしまうため。
② 統計・機械学習プロセス
AIに任せたこと: 検定の実行、予測モデルの構築。
人間が監査すること: 混同行列（Confusion Matrix）のチェック（感度・特異度のバランス）。
なぜ監査が必要か？: 離脱率が低い不均衡データでは、何も予測しなくても見かけの正解率（Accuracy）が高くなるというトリックがあるため。
③ レポーティングプロセス
AIに任せたこと: グラフ作成、文章の執筆。
人間が監査すること: 分析の限界（AUC0.5等の失敗）の誠実な開示と、ビジネス提言のファクトチェック。
なぜ監査が必要か？: 見栄えが良いだけの「間違った結論の報告書」を信じて、不要な施策に投資するミスを防ぐため。
おわりに
AIは「完璧なデザインの報告書」を瞬時に出せますが、その「美しさ」によって内部の数理的なバグ（リーケージなど）が見えにくくなります。 だからこそ、これからのデータ分析において人間が果たすべき役割は、計算することではなく、AIが出してきた答えを「監査（Audit）」することです。
【コメント募集中！】特典配布 ＆ 次回の検証テーマ
今回の比較検証、いかがでしたでしょうか？今回は記事をスリムにまとめましたが、皆様のリアクションを見つつ、今後の深掘りスタイルを決めていきたいと考えています。
そこで、ぜひコメント欄で以下の声を聞かせてください！
資料請求: 「今回検証で使ったデモデータ」「各AIが作成した生のWord報告書一式」「AI分析用の監査チェックリスト」を実際に見てみたい！という方は、ぜひコメントで教えてください。ご要望があれば、それらをまとめたダウンロード用のnote記事を別途作成します。
検証のご要望: 「この3つのAIエージェントを使って、〇〇なデータを分析させてみてほしい」「〇〇な開発をさせたらどうなるか比較してほしい」といった検証のアイデアがあれば、ぜひコメント欄に書いてください！実際に検証し、内容をまとめたものをnoteの記事にする予定です。
皆様からのコメント、お待ちしております！
読んでよかったと思っていただけたら、フォローや「スキ」をお願いします！
