【論文】【AI】SimWorld Studioの共進化

カテゴリ：Embodied AI・強化学習・シミュレーション
読了時間：約11分

LLMやVLMを使うデジタルエージェントは、コード実行やWeb操作のサンドボックスで大量の経験を積めます。一方、ロボットのように身体を持つエージェントは、3D空間を歩き、物体や物理法則に反応し、失敗から学ぶ必要があります。学習に使える環境を人手で一つずつ作る方法では、規模と多様性に限界があります。

SimWorld Studioは、Unreal Engine 5上で、言語や画像の指示から実行可能な3D環境を生成するオープンプラットフォームです。中心にあるSimCoderは、コードを書いて世界を構築するだけでなく、コンパイルエラー、物理チェック、VLMの批評を受けて自分のツールやスキルを増やします。さらに、生成環境で学ぶEmbodied Agentの成績を次の環境生成へ戻します。

※イラスト、添削、ファクトチェックには AI を使用しています

概要

Embodied AIの学習では、エージェントが動き回る3D環境、達成判定可能なタスク、学習器から利用できる標準インターフェースが必要です。既存のシミュレータは、専門家が作ったシーンか、固定された手続きテンプレートに依存します。最近のLLMベースの3D生成は見栄えのよい静的シーンを作れても、物理的に配置が正しく、タスクを検証でき、Gym形式で学習できる環境まで自動で用意するとは限りません。

SimWorld Studioは、この「画像を作る」から「学習可能な世界を作る」への距離を埋めます。SimCoderがUnreal Engine 5のエンジンレベルコードを生成・実行し、世界を構築します。失敗が起きたら、コンパイル、物理、VLMによる視覚批評などを検証器から受け取り、コードを修正します。生成された世界はGym-style環境として出力され、ナビゲーションなどの学習へ接続できます。

静的な3D生成と学習環境の間にある溝

見た目のよい部屋を生成することと、エージェントが学ぶ部屋を生成することは同じではありません。エージェント用の世界には、少なくとも次の条件があります。

• 壁、床、物体が物理的に衝突でき、エージェントが通過できる場所とできない場所が明確である。

• ゴールや障害物などのタスク要素に、達成・失敗の判定がある。

• 観測、行動、報酬を学習器へ安定して渡せる。

• 生成の失敗を検出し、再試行できる。

人が作った環境なら、これらを見ながら直せます。コードエージェントに任せる場合、コードがコンパイルできても、オブジェクトが宙に浮いたり、ゴールが壁の中に埋まったりすることがあります。逆に、物理的には正しくても、VLMが見た世界と内部のタスク定義が食い違えば、エージェントは誤った目標を学びます。

SimWorld Studioは、環境生成を一回の出力ではなく、検証と修正のループとして捉えます。3D世界の品質を、レンダリング画像の美しさだけでなく、コンパイル可能性、物理的妥当性、タスクの実行可能性で測る考え方です。

SimCoderは検証器からスキルを学ぶ

SimCoderは、ツールやスキルを呼び出せるcoding agentです。指示を受けると、Unreal Engine 5のコードを記述し、環境をビルドして、検証結果を読みます。ここで「自己進化」と呼ばれるのは、モデルの重みを訓練し直すというより、失敗から再利用可能なツールや手順をライブラリへ追加する能力です。

例えば、あるタスクでオブジェクトの配置を失敗したとします。コンパイルエラーならAPIの使い方を、物理チェックなら衝突形状や重力を、VLMの批評なら見た目の整合性を見直します。修正が一度だけで終わらず、次の生成で同じエラーを避ける知識として蓄積される点が重要です。

この構成は、生成器と検証器を分けるCleanな設計にも見えます。生成器は世界を作り、検証器は別の観点から受け入れ可否を判定し、Coordinator相当のエージェントが修正案を選ぶ。生成物を無条件に信頼しないことで、3Dコード生成の不確実性を制御します。

生成された世界は、Gym-styleの環境としてエージェントへ渡されます。つまり、SimCoderはシーンデザイナーであるだけでなく、観測空間、行動空間、報酬といった学習の境界面まで含めて環境を出力します。ここが静的な画像・メッシュ生成との大きな違いです。

生成と学習を別々にせず共進化させる

SimWorld Studioのもう一つの柱は、環境生成とEmbodied Agent学習の共進化です。固定環境でエージェントが上達すると、簡単すぎて新しい学習信号が得られなくなります。難しい環境を最初から与えると、探索が進まず、何が悪かったのか分かりません。

そこで、学習中のエージェントの性能をSimCoderへフィードバックし、能力の境界付近にあるカリキュラムを生成します。成功率が高すぎるなら障害物、距離、視覚的な紛らわしさを増やし、ほとんど成功しないなら、目標を近づけたり、構造を単純化したりします。環境がエージェントの成長に合わせて変化するため、世界の生成と方策の学習が互いに教師になります。

この考え方は、難易度を人が手動で調整するカリキュラム学習と似ています。ただし、SimWorld Studioでは、調整対象がパラメータ表だけではなく、コードで構成された3D世界です。より多様な地形、障害物、配置、視点を、言語指示とツール操作の組み合わせで生成できます。

ナビゲーションの三つの事例で何を測ったか

原典は、Embodied navigationを中心に三つのケーススタディを行いました。研究上の問いは、自己進化が生成の信頼性を上げるか、生成された環境が未見ベンチマークへ一般化する学習を助けるか、そして共進化が固定環境より有利か、です。

結果として、自己進化を行うSimCoderは、検証フィードバックを使わない構成より環境生成の信頼性を高めました。生成環境で学んだエージェントは、見たことのないベンチマークにも性能を一般化しました。さらに、固定環境での学習に対して共進化は成功率を18ポイント、未訓練エージェントに対しては40ポイント押し上げました。

$$
\begin
{array}{|l|r|}
\text{比較} & \text{成功率の差} \\
\text{共進化学習 − 固定環境学習} & +18 
\text{ポイント} \\
\text{共進化学習 − 未訓練エージェント} & +40 
\text{ポイント} \\
\end
{array}
$$

この数値を、単純に「自動生成が人手設計を超えた」と読むのは避けるべきです。評価のタスク、エージェント、未見ベンチマーク、成功判定の定義に依存します。重要なのは、環境を増やしたことだけでなく、エージェントの性能を使って次の難易度を調整した比較があることです。

検証ループが学習の質を支える

環境の信頼性は、学習結果の信頼性の前提です。ゴール判定が壊れていれば、エージェントが成功しても本当の到達を意味しません。壁の衝突が不正確なら、エージェントは現実には不可能なショートカットを覚えます。

SimCoderの検証ループは、ソフトウェア開発でいうテストに近い役割を持ちます。コンパイルチェックは構文・APIの整合性、物理チェックは世界の実行整合性、VLM批評は視覚的な意図との一致を調べます。単一の検証器だけでは見逃す異常を、異なる評価軸で補います。

ただし、検証器の合格は「世界が学習に適している」ことの十分条件ではありません。エージェントにとっての情報量、報酬の疎密、視覚とタスク定義の対応、未見環境への分布差もあります。生成の信頼性と、学習の有効性は別の指標として記録する必要があります。

再現・安全・現実移行で残る課題

Unreal Engine 5を使う構成は表現力が高い一方、エンジンのバージョン、プラグイン、GPU、物理設定に結果が左右されます。生成コードをそのまま実行するなら、権限分離、実行時間制限、ファイルアクセス制御も必要です。エージェントが自分でツールを増やすときほど、許可されるAPIと検証対象を明確にしなければなりません。

また、シミュレータでの成功率向上は、実世界での安全を保証しません。現実には、照明、摩擦、センサー遅延、動的な人や車、モデル化されていない障害物があります。共進化カリキュラムに現実の不確実性が含まれていないと、シミュレーション内での適応が過信につながります。

実験を再現する際は、生成された環境のコード、検証ログ、エンジン設定、乱数シード、学習済み方策をセットで保存することが重要です。環境が毎回進化するなら、最終性能だけでなく、どのフィードバックでどの変更が起きたかという系譜も成果物になります。

まとめ

SimWorld Studioは、Embodied AI向けの3D環境生成を、静的なシーン出力から検証可能な学習環境の構築へ拡張します。SimCoderはUnreal Engine 5のコードを書き、コンパイル・物理・VLMのフィードバックで修正し、再利用可能なツールやスキルを蓄積します。

さらに、生成環境で学ぶエージェントの性能を次のカリキュラムへ返すことで、世界と方策を共進化させます。ナビゲーション事例では固定環境に対して18ポイント、未訓練エージェントに対して40ポイントの成功率差が示されました。

今後の焦点は、生成の安全な実行、環境と学習の再現性、未見・現実環境への一般化です。3D生成を導入するときは、見た目の品質ではなく、タスク判定、物理整合性、学習インターフェースまで一体で検証することが出発点になります。

タグ

#EmbodiedAI #強化学習 #シミュレーション #UnrealEngine #arXiv