AIサイエンティスト 完全に自動化されたオープンエンドの科学的発見に向けて
前文、introduction, backgroundを翻訳しました。
The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
Chris Lu , Cong Lu , Robert Tjarko Lange , Jakob Foerster , Jeff Clune and David Ha
Equal Contribution, Sakana AI, FLAIR, University of Oxford, University of British Columbia, Vector Institute, Canada CIFAR, AI Chair, Equal Advising
人工知能の大きな課題のひとつは、科学的研究を行い、新しい知識を発見することができるエージェントを開発することである。フロンティアモデルは、ブレインストーミング、コード記述、予測タスクなど、人間の科学者の補助として既に利用されているが、科学的プロセスのごく一部しか行っていない。本論文では、フロンティア大規模言語モデル（LLM）が独立して研究を行い、その結果を伝えることを可能にする、完全自動の科学的発見のための初の包括的フレームワークを紹介する。このAIサイエンティストは、斬新な研究アイデアを生成し、コードを書き、実験を実行し、結果を可視化し、完全な科学論文を書くことによってその結果を説明し、評価のためにシミュレーションされたレビュープロセスを実行する。原理的には、このプロセスを繰り返すことで、アイデアをオープンエンドな形で反復的に開発し、人間の科学コミュニティと同じように、知識のアーカイブを増やしていくことができる。我々は、拡散モデリング、変換器ベースの言語モデリング、学習ダイナミクスという3つの異なる機械学習のサブ分野にこのアプローチを適用することで、このアプローチの多用途性を実証する。各アイデアは実装され、1論文あたり15ドル以下というわずかなコストで完全な論文へと発展し、我々のフレームワークが研究を民主化し、科学の進歩を大幅に加速する可能性を示している。生成された論文を評価するために、我々は自動査読者を設計し、検証した。AIサイエンティストは、自動レビュアーが判断した通り、トップレベルの機械学習学会で採択基準値を超える論文を作成することができる。このアプローチは、機械学習における科学的発見の新時代の幕開けを意味します。AIエージェントの変革的な利点をAIの研究プロセス全体にもたらし、世界で最も困難な問題に対して無限の手頃な創造性とイノベーションが解き放たれる世界に近づけます。私たちのコードは https://github.com/SakanaAI/AI-Scientist でオープンソース化されています。
はじめに
現代の科学的手法（Chalmers, 2013; Dewey, 1910; Jevons, 1877）は、間違いなく啓蒙主義の最も偉大な成果のひとつである。伝統的に、人間の研究者は背景知識を収集し、検証するためのもっともらしい仮説のセットを起草し、評価手順を構築し、さまざまな仮説の証拠を収集し、最後に結果を評価し、発表する。こうして出来上がった原稿は、査読を受け、さらに推敲を重ねる。このプロセスは、科学技術における無数のブレークスルーをもたらし、人間の生活の質を向上させてきた。しかし、この反復プロセスは、人間の研究者の創意工夫、背景知識、そして有限の時間によって本質的に制限されている。AIの分野では、研究者はAIそのものを使ってAI研究を自動化する可能性を構想しており（Schmidhuber, 1991, 2010a,b, 2012）、「AI生成アルゴリズム」（Clune, 2019）につながっている。より最近では、基礎モデルはその一般的な能力において驚異的な進歩を遂げている（Anthropic, 2024; Google DeepMind Gemini Team, 2023; Llama Team, 2024; OpenAI, 2023）が、研究パイプラインの個々の部分、例えば科学論文の執筆を加速させることが示されているに過ぎない（Altmäe et al、 2023; Dinu et al., 2024; Ifargan et al., 2024; Majumder et al., 2024）、アイデアをブレインストーミングするためのミューズとして（Baek et al., 2024; Girotra et al., 2023; Wang et al., 2024b）、あるいはコーディングの補助として（Gauthier, 2024）などである。現在までのところ、このコミュニティは、人間が関与することなく研究活動全体を実行できる可能性をまだ示していない。
共著者：Chris Lu (chrislu@sakana.ai)、Cong Lu (conglu@cs.ubc.ca)、Robert Tjarko Lange (robert@sakana.ai)2024-8-16
arXiv:2408.06292v2 [cs.AI] 2024年8月15日
AIサイエンティスト オープンエンドな科学的発見の完全自動化に向けて
研究プロジェクトを自動化する従来のアプローチは、これまで潜在的な発見の探索空間を注意深く制限することに頼ってきた。例えば、材料探索（Merchant et al., 2023; Pyzer-Knapp et al., 2022; Szymanski et al., 2023）や合成生物学（Hayes et al., 2024; Jumper et al., 2021）における大きな進歩は、探索を事前に定義されたパラメータで十分に特徴付けられた領域に制限することによって達成された。機械学習自体の分野では、研究の自動化は、手作業で作られた検索空間内でのハイパーパラメータとアーキテクチャの検索（He et al., 2021; Hutter et al., 2019; Lu et al., 2022b; Wan et al., 2021, 2022）、またはアルゴリズムの発見（Alet et al., 2020; Chen et al., 2024b; Kirsch et al., 2019; Lange et al., 2023a,b; Lu et al., 2022a; Metz et al. 最近のLLMの進歩により、探索空間をより一般化されたコードレベルの解に拡張できる可能性が示されている（Faldorら、2024; Lehmanら、2022; Luら、2024a; Maら、2023）。しかし、これらのアプローチは、厳密に定義された探索空間と目的に制約されたままであり、可能な発見の幅と深さを制限している。
本論文では、最近の基礎モデルの進歩によって可能になった、エンドツーエンドの論文生成のための初の完全に自動化されたスケーラブルなパイプラインであるAI Scientistを紹介する。大まかな研究の方向性とシンプルな初期コードベースがあれば、The AI Scientistは、アイデアの創出、文献検索、実験計画、実験の反復、原稿執筆、査読をシームレスに行い、洞察に満ちた論文を作成する。さらに、The AI Scientistは原則的にオープンエンドのループで実行することができ、過去の科学的発見を基に次の世代のアイデアを改良していく。これにより、科学的反復の遅い性質を驚くほど低い経済的コスト（1論文あたり約15ドル）でスピードアップすることができ、21世紀の中核的課題に取り組むために必要な科学的ブレークスルーを、増え続ける世界のコンピューティング・リソースに転換するための一歩となる。ここでは、機械学習（ML）アプリケーションに焦点を当てるが、実験を自動的に実行する適切な方法があれば、このアプローチは、生物学や物理学など、他のほとんどすべての分野に適用することができる（Arnold, 2022; Kehoe et al.）
チェーン・オブ・ソート（Wei et al., 2022）や自己反省（Shinn et al., 2024）のような最新のLLMフレームワークを活用して意思決定を改善することで、AIサイエンティストは独自の科学的アイデアと仮説、そしてそれらを実験で検証するための計画を生成することができる。
次に、AIサイエンティストは、最先端のコーディングアシスタントAider（Gauthier, 2024）を使って、実験「テンプレート」に対する計画指向のコードレベルの変更を実装し、実験を実行して計算結果一式を収集する。その後、AIサイエンティストは、標準的な機械学習学会のガイドラインを用いた自動論文審査プロセスを実行する。最後に、AIサイエンティストは完成したアイデアと査読者からのフィードバックを科学的知見のアーカイブに追加し、このプロセスを繰り返す。極めて重要なのは、The AI Scientistが生成する論文と実験成果物によって、私たちはその発見を事後的に容易に解釈・判断することができ、人間の科学者も学習したことから恩恵を受けることができるということです。
我々の貢献は以下のように要約される：
フロンティアLLMによって可能になる、機械学習研究における完全自動化された科学的発見のための初のエンドツーエンドのフレームワークを紹介する（セクション3）。この完全に自動化されたプロセスには、アイデアの創出、実験の設計、実行、結果の可視化と完全な原稿への書き込みが含まれる。
生成された論文の質を評価するために、セクション4で基礎モデルに基づく査読プロセスを紹介する。このプロセスは、ICLR 2022 OpenReviewデータで評価した場合、複数の評価指標で人間に近いレベルのパフォーマンス（例えば、65%対66%のバランス精度）を達成している。このレビューにより、AIサイエンティストはさらに、「出版 」のために最良のアイデアを選択することができる。
AIサイエンティスト 完全に自動化されたオープンエンドの科学的発見に向けて
図1
｜エンドツーエンドのLLM主導型科学的発見プロセスであるThe AI Scientistの概念図。AI Scientistはまず、一連のアイデアの新規性を発明し、評価する。次に、最近の自動コード生成の進歩によってパワーアップしたコードベースを編集して必要なコードを書くなど、仮説を検証する方法を決定する。その後、実験が自動的に実行され、数値スコアと視覚的サマリー（プロットや表など）の両方で構成される一連の結果が収集される。結果は動機づけられ、説明され、LaTeXレポートにまとめられます。最後に、The AI Scientistは、標準的な機械学習会議での現在の慣例に従って、自動レビューを生成します。このレビューは、プロジェクトを改善するため、またはオープンエンドな科学的発見のための将来世代へのフィードバックとして使用することができます。
科学的発見のアーカイブは増え続け、そのプロセスは、科学的発見の上に構築するために繰り返すことができる。
人間の科学コミュニティと同じように、これらの発見を基にプロセスを繰り返すことができる。
AIサイエンティストは、1週間のうちに何百もの興味深い中程度の質の論文を生み出すことができる。
週間かけて。本レポートでは、これらの論文のサブセットに焦点を当て、拡散モデリング、言語モデリング、グロキングにおける新しい洞察に焦点を当てる。セクション5で厳選した1つの論文について詳細なケーススタディを行い、セクション6で集計結果を示す。最後に、セクション8と9において、我々のアプローチの限界、倫理的考察、将来の展望について幅広く議論する。
