AIサイエンティストは科学を壊すのか？ | audit-closed AI scientistの提案

多重仮説・偽発見問題を防ぐ「audit-closed AI scientist」という実験

AIが仮説を作り、実験を回し、論文を書く。
いわゆる AIサイエンティスト（AI Scientist）の研究が急速に進んでいます。

最近の研究では、AIが

• 仮説を生成する

• 実験コードを書く

• データを解析する

• 論文草稿を作る

といった科学プロセスを自動化する試みが行われています。つまり、

仮説 → 実験 → 分析 → 論文化

という研究サイクルをAIが高速に回すという構想です。

これは科学を大きく加速させる可能性があります。しかし同時に、ある重要な問題が指摘されています。それが、

統計の崩壊（statistical breakdown）

です。この記事では、その問題に対する対策を実験的に検証したGitHubプロジェクト

audit-closed AI scientist

を紹介します。

プロジェクトリポジトリ
https://github.com/kadubon/audit-closed-ai-scientist

AI研究の自動化で起きる「多重仮説問題」

科学では、結果が偶然ではないかを判断するために統計検定（statistical testing）が使われます。よく知られているのがp値（p-value）です。
簡単に言えば、「結果が偶然に出る割合」を意味します。多くの研究分野では

p < 0.05

であれば「統計的に有意」と一般的に判断されちゃいます。正確には、有意差が無いとはいえない、という意味であり、有意であると言ってるわけではないのですが… 多くの人は間違っています。
また、分野によって基準が違ったり、賛否もあります。

なんにせよ、ここには重要な落とし穴があります。

もし研究者が、仮説を1つだけ試すなら問題は少ないです。

しかし、大量の仮説を試すとどうなるでしょうか。偶然でも 有意な結果が出てしまう のです。これは統計学では

multiple testing problem（多重検定問題）

として知られています。AIサイエンティストが数百体、数億体稼働するとどうなってしまうでしょうか？

AIサイエンティストはこの問題を極端に悪化させる

人間の研究者は

• 仮説を考える

• 実験を設計する

という作業に時間がかかります。しかしAIは違います。AIサイエンティストは、1日に数百〜数千仮説、あるいはそれ以上を試すことも理論的には可能です。

すると統計的には、

仮説数増加 → 偶然の当たり増加 → 偽発見増加

という現象が起きます。つまり、

「発見」が増えるほど、実はほとんどが偽物

という状況になりかねません。

実験：仮説を1000個試すと偽発見率がほぼ100%

この問題を検証するために作ったのが、audit-closed AI scientist の実験環境です。

AI研究パイプラインを模したシミュレーションを作り

仮説生成 → 統計検定 → 採択

という流れを再現しました。素朴なAI研究パイプラインでは

仮説数 = 1000

にすると、FDR ≈ 1になりました。
FDRとはFalse Discovery Rate（偽発見率）のことです。

つまり発見された結果のほぼすべてが偽物という状態です。

AIが科学を高速化すると、この問題は非常に深刻になります。想像してみてください。AIサイエンティストが毎日大量の「新発見」を報告するが、そのほとんどがゴミという未来を…  一目見て嘘だと分かればいいのですが、高度な研究であれば検証に多大なリソースを費やしてしまいます。

解決策：audit-closed プロトコル

このプロジェクトでは、上記のような問題を防ぐために

audit-closed protocol

という仕組みを導入しています。基本的なアイデアは2つです。

1 透明ログ（transparency log）

以下のような研究プロセス

仮説生成 → 実験 → 統計検定

を、すべて透明性のあるログ（transparency log）に記録します。

これにより

• 仮説の後出し変更

• 有利な結果だけの報告

といった問題を防ぎます。これは、reproducible science（再現可能科学）の考え方にも近い仕組みです。

2 sequential e-process（逐次e値検定）

通常のp値検定は、途中で試行回数を増やすと統計保証が壊れます。しかしAI研究では、

仮説探索が止まらない

という状況が起こり得ます。本理論で使うのは、

e-values
sequential testing

という統計手法です。この方法は、optional stopping 、つまり途中で試行回数を変えても統計保証が崩れないという特徴があります。

攻撃的な仮説生成でも耐えられるか

さらにこのプロジェクトでは

adversarial hypothesis generation

というテストも行っています。これは、統計を騙すような仮説生成を意図的に行う実験です。通常のパイプラインでは、

false acceptance = 1.0

つまり偽が全部通ってしまうという結果になりました。

しかし audit-closed プロトコルでは

false acceptance ≈ 0.002

まで低下しました。つまり、ほとんどの偽発見を防げるという結果です。

AI時代の科学プロトコル

AIサイエンティストは

• 科学を加速させる可能性

• 同時に科学を壊す可能性

の両方を持っています。仮説探索が自動化されると、

探索速度 ↔ 統計破綻

という新しい問題が生まれます。そのため、

AI時代の科学プロトコル

を設計する必要があります。audit-closed AI scientist は、自動化科学の崩壊を防ぐための実験的テストベッドとして公開しています。

レポジトリ

GitHub
https://github.com/kadubon/audit-closed-ai-scientist

このレポジトリでは

• many-hypothesis simulation

• false discovery rate evaluation

• adversarial hypothesis testing

などを再現できます。

AI研究・AIサイエンティスト・研究自動化に興味がある方はぜひ一度触ってみてください。

注意: あくまでPoCです。今後は実際のエージェントと接続し、有効性や妥当性を検討してゆく必要があります。