Isaac Lab Arena を試す

「Isaac Lab Arena」を試したのでまとめました。

1. Isaac Lab Arena

「Isaac Lab Arena」は、NVIDIA Isaac Lab の上に載るロボットシミュレーション用の環境生成・評価フレームワークです。

2. 環境

現在提供されてるタスクは次の5つです。

3. 学習済みモデル

提供されてる学習済みモデルは、次のとおりです。

4. Isaac Lab Arena を試す

(1) Python 3.11 の仮想環境の準備。

uv python install 3.11
uv venv --python 3.11 .venv
source .venv/bin/activate
python --version

(2) ffmpeg のインストール。

sudo apt-get update
sudo apt-get install -y ffmpeg git

(3) Isaac Sim 5.1 のインストール。

uv pip install -U pip setuptools wheel
uv pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com

(4) NVIDIAのEULAに同意

export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y

(5) Isaac Lab のインストール。

git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
git checkout v2.3.0
./isaaclab.sh -i
cd ..

(6) Isaac Lab Arena のインストール。

git clone https://github.com/isaac-sim/IsaacLab-Arena.git
cd IsaacLab-Arena
git checkout release/0.1.1
uv pip install -e .
cd ..

(7) LeRobot のインストール。

git clone https://github.com/huggingface/lerobot.git
cd lerobot
uv pip install -e .
uv pip install onnxruntime==1.23.2 lightwheel-sdk==1.0.1 vuer[all]==0.0.70 qpsolvers==4.8.1
uv pip install numpy==1.26.0

(8) SmolVLA のインストール。
SmolVLAの0.5.0 は、Python 3.12を要求したので、SmolVLAの0.4.4にしました。

uv pip install -e ".[smolvla]"
uv pip install numpy==1.26.0

(9) 評価の実行。

lerobot-eval \
  --policy.path=nvidia/smolvla-arena-gr1-microwave \
  --env.type=isaaclab_arena \
  --env.hub_path=nvidia/isaaclab-arena-envs \
  --rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
  --policy.device=cuda \
  --env.environment=gr1_microwave \
  --env.embodiment=gr1_pink \
  --env.object=mustard_bottle \
  --env.headless=false \
  --env.enable_cameras=true \
  --env.video=true \
  --env.video_length=10 \
  --env.video_interval=15 \
  --env.state_keys=robot_joint_pos \
  --env.camera_keys=robot_pov_cam_rgb \
  --trust_remote_code=True \
  --eval.batch_size=1