8.AIを用いて、機械学習領域の論文を完全自動で生成した(AIScientist)-実際の労力と成果について

実際のところ、費用や手続きにどれくらいの手間がかかり、そしてどのような出力が出るのか？というインプットとアウトプットを主に記述する。

インプット
pc環境、8ドルのapi代金、作業時間4時間ほど
・強力なGPUのあるPC環境(私はRTX4080を利用したが、dockerやAWSなどで代用可能であろう。)
・OpenAIを動かすためのapi代金8ドル/1論文 ほど(実行は1月の初めに行ったので、今ならもっと安くできる方法はいくつかあると想定される。)
・githubをgitclone してから、必要な環境のセットアップを行い、そして論文自動生成のコード実行の間4時間ほど

アウトプット
・自動生成された論文
・論文を生成するためのログ(このログには、どのようなアイディアを出し、それをどう見積もり、どんな実験をし、それが書き出すのに足るのかの検証をし、書き出したものが査読に出すとどう見積もられるのかを検証する作業を含む)

・論文二つ

論文生成のためのログがこちらにまとめてある。
実際にAIは、いくつかアイディアを試した記録がideas.jsonにて確認できる。
また、実際に論文を出力した後、その論文のクオリティを評価する項目がreview.txtにて見つかることがわかる。
まるで人間のようである。

https://www.dropbox.com/scl/fo/7f5anltocrnlcieysg026/AJ_kheiXR7Ua8p4Cm1osBkU?rlkey=hwkiax8m0xcr23fhsnbqblbn4&e=2&st=cbc5wcam&dl=0

この記事で注目してほしいのは、完全自動という点だ。
一度環境をセットアップし、コマンドを打ち込んで仕舞えば、論文生成の機能は動き続ける。我々が寝ている間もだ。
作業を行った4時間のうち、大半の時間はnetflixで動画を見ていたが、論文の形をした何かが出力されたことに心底驚いたし、研究のほぼ全ての領域は、AIエージェントが働く環境構築が仕事になっていくことを直感した。
ソフトウェアエンジニアリングの領域が徐々にそうなってきている事と同様のことが起こっているのである。

研究には実験環境が必要だから、リプレイスされないという意見が聞こえてくるが、本当にそうだろうか？
ロボットアームがあれば、実際の動作を行うことはできるし、
少なくとも、論文作成の検証を行う前に、AIエージェントに、実験系でのシミュレーションを依頼し、可能性の高い、期待値の高いものを実際に我々が行うことはこれから実現していくであろうし、
その後の実行についてもロボットに行ってもらう方が生産性が高いよねと言った未来になる可能性すらある。何より、あなたは寝ている時間も良い論文を作るために試行錯誤しているか？と言った本気度の問題でも、休むことないAIを上回ることは難しい。

成果や取り組みに関する成果を一気に変えてしまうほんの少しのアイディアを出す事や、研究室の資本を集めるなどが最も重要なあなたの仕事になり始めている。

研究者でありながら、まだこのような完全自動生成を行っていない方や、エンジニアとしてなるべく簡単に試してみたい方は、取り組んでほしいと思う。

具体的なコードなどは、下記の記事や公式githubを参考にされたい。