LLMにLLMを作らせてわかった事。

現在のLLMだけでは、まったく新しい手法を生み出すのは難しい。研究の方向を決める人間の発想が必要。

LLMは性能を上げようとすると、複雑な計算や機構を次々に追加しがち。その結果、少し性能が上がっても遅すぎて現実的でないモデルになりやすい。

既存研究の再発見を新発明だと誤認しやすい。
数学的に格好よく説明できても、論文を探すと似た方式がすでにある。

新規性と性能は別物。
完全に新しい部品より、既知の優れた部品を適切に組み合わせたほうが実際には強かった。

部品単体の美しさは、完成モデルの強さを保証しない。
代数検証や小さな実験が成功しても、幅を広げると作用が薄まったり、自然言語では使われなかったりする。

LLMは検証を増やしすぎる。
あらゆる反論を潰そうとして、小型試験・比較対象・追加条件を増やし、完成品を作る目的を見失いやすい。

パラメータ数や学習tokensだけでは効率を測れない。
同じパラメーター数のモデルでも学習速度がそれぞれ異なる。訓練にかかった時間と最終的性能を一緒に見る必要がある。

学習速度を上げる為の最適化が重要である。
モデルの数式を変えなくても、バッチのまとめ方、再計算の削減、コンパイル、GPUメモリの使い方を改善するだけで、学習速度が数倍になることがある。

性能評価テストの総合点だけを見てもモデルの特徴、個性はつかめない。
モデルのアーキテクチャの違いよって得意な問題、不得意な問題がハッキリと分かれる。

良いモデル設計には「何を足すか」だけでなく「何を捨てるか」が必要。
何を追加するかだけでなく、効果の薄い機構を捨てて計算量を減らす判断が必要。

現在のLLMが最も役立つのは、発明家より巨大な研究開発チームとして。
人間が目的、直感、価値判断を与え、LLMが論文調査、数式化、実装仕様、コード作成、失敗分析、最適化を高速に担当する形が強い。