LeRobot documentation

RoboColosseum

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.7.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

RoboColosseum

RoboColosseum 是一个分布式真实世界基准,用于评估部署在野外环境中的物理机器人上的通用机器人策略。评估在标准化配置上运行:Unitree G1 人形机器人、双臂 YAM、DROID 配置中的 Franka 机械臂以及 SO-101。每一次评估运行(包括失败案例)都会以 LeRobot 格式发布在 Hugging Face Hub 上。

本页介绍如何为 LeRobot 策略准备其两个评估赛道,以及如何将其连接到 RoboColosseum 的机器人。若要让策略接受评估,请在 RoboColosseum 网站上提交申请。

RoboColosseum benchmark overview

概述

属性值
具体实现SO-101、Franka(DROID)、Bimanual YAM、Unitree G1
微调轨道20 个任务,每种具身形态各 5 个。每个策略都在同一任务的 100 个演示上进行微调,然后进行 25 次尝试。
打开 Track两个匿名策略在同一场景中尝试执行相同的新指令;评估器会选择表现更好的运行结果,或判定为平局。检查点将被冻结。
评估关于 RoboColosseum 的物理机器人

物理设置

RoboColosseum robot platforms: Bimanual YAM, SO-101, Franka in the DROID configuration and Unitree G1

每个站点都使用相同的硬件配置来体现。图中从左到右依次为:双臂 YAM、SO-101、采用 DROID 配置的 Franka 以及 Unitree G1。相机名称是 Fine-tune Track 数据集中的 observation.images.* 键。

具身机器人相机
SO-101SO-101 跟随臂安装在高度可调的移动桌上front:安装在机械臂上的 Intel RealSense D435;wrist:腕部相机
Franka(DROID)配备 Robotiq 2F-85 夹爪的 Franka Panda 7 自由度机械臂,安装在便携式升降桌上,采用 DROID 配置left_image、right_image:两台可调节的 ZED 2 立体相机;wrist:ZED Mini 腕部立体相机
双手 YAMMolmoAct2 YAM 套件中的两条 YAM 机械臂,安装在高度可调的移动工作台上top:安装在杆子上的 Intel RealSense D435;left、right:Intel RealSense D405 腕部相机
Unitree G1配备 Unitree Dex-1 平行夹爪的 Unitree G1 人形机器人head:立体头部相机;left_wrist、right_wrist:Intel RealSense D405 腕部相机

SO-101 和 Bimanual YAM 工作站还配备了一台搭载 RTX 5090 GPU 的笔记本电脑以及一个 700 W 便携式电源站。策略推理可以在该笔记本电脑上本地运行,也可以通过服务器托管的端点远程运行。

可用任务

微调赛道包含 20 个任务,每种具身形态各 5 个。每个任务都是 Hub 上一个独立的 LeRobot v3.0 数据集,由 100 个回合录制而成:

任务具身指令
so101-cube-drawerSO-101将桌上的蓝色立方体放入打开的抽屉中,然后关上抽屉。
so101-remove-screwdriverSO-101将黑色螺丝刀从盒子中取出并放在桌子上。
so101-stack-bowlsSO-101拿起右侧的白色塑料碗,将其叠放在左侧的白色塑料碗上。
so101-stack-cubesSO-101将蓝色方块堆叠在红色方块上,然后将白色方块堆叠在蓝色方块上。
so101-upright-bottleSO-101拿起掉落的果汁瓶,将其竖直立在桌面上。
droid-close-laptopFranka(DROID)关闭笔记本电脑
droid-mug-on-coasterFranka(DROID)杯垫上的马克杯
droid-open-drawerFranka(DROID)打开抽屉
droid-put-marker-penFranka(DROID)将标记放入笔架中
droid-towel-in-basketFranka(DROID)篮子里的毛巾
yam-cups双手 YAM叠杯子。
yam-drawer双手 YAM把杯子放进抽屉里。
yam-dustpan双手 YAM清理表格。
yam-microwave双手 YAM打开微波炉,取出碗。
yam-tray双手 YAM清理表格。
g1-carry-boxUnitree G1收纳盒
g1-fold-towelUnitree G1fold towel
g1-hang-keysUnitree G1挂起键
g1-load-clothes-washing-machineUnitree G1装载衣物 洗衣机
g1-plate-into-rackUnitree G1将板放入架中

Open Track 的指令由评估者即时编写。

数据集

将所有 20 个 Fine-tune Track 数据集下载到 ./data/RoboColosseum,每个任务一个文件夹。完整数据集大小约为 35 GB:SO-101 1.4 GB,Franka 4.6 GB,Bimanual YAM 5.9 GB,Unitree G1 22.7 GB。

for task in so101-cube-drawer so101-remove-screwdriver so101-stack-bowls so101-stack-cubes so101-upright-bottle \
            droid-close-laptop droid-mug-on-coaster droid-open-drawer droid-put-marker-pen droid-towel-in-basket \
            yam-cups yam-drawer yam-dustpan yam-microwave yam-tray \
            g1-carry-box g1-fold-towel g1-hang-keys g1-load-clothes-washing-machine g1-plate-into-rack; do
  hf download "RoboColosseum/${task}" --repo-type dataset --local-dir "./data/RoboColosseum/${task}"
done

若要仅下载部分任务,请在列表中保留相应的任务名称。每个文件夹都是一个独立的 LeRobot 数据集。通过将其文件夹作为 root 传入即可加载其中一个:

from lerobot.datasets import LeRobotDataset

dataset = LeRobotDataset(
    "RoboColosseum/so101-stack-bowls",
    root="./data/RoboColosseum/so101-stack-bowls",
)

如果不指定root,数据集将在首次使用时从 Hub 下载。

安装

在运行模型的机器上安装 Policy Server:

git clone https://github.com/RoboColosseum/robocolosseum-policy-server.git
cd robocolosseum-policy-server
uv sync --extra demo

机器人网站会在连接到机器人的计算机上安装 Robot Client,其中 <robot_type> 为 so101、franka 或 yam:

git clone https://github.com/RoboColosseum/robocolosseum-client.git
cd robocolosseum-client
uv sync --extra <robot_type>
Both need Python 3.10 or newer and [uv](https://docs.astral.sh/uv/). The Robot Client also needs FFmpeg to export recordings. On SO-101, the Robot Client drives the arm with LeRobot's `so101_follower` driver, which needs Python 3.12: follow the Client's [SO-101 guide](https://github.com/RoboColosseum/robocolosseum-client/blob/main/docs/so101.md) instead.

评估

评估在 RoboColosseum 的机器人上运行。在您提交申请后,RoboColosseum 团队会通过以下两种方式之一接入您的策略:由您在自己的推理机器上托管一个 Policy Server,或者您提供一个 checkpoint,由他们在机器人旁边的机器上进行服务。

Open Track 试验使用两个程序:

组件运行于它的作用仓库
策略服务器您的推理机器接收机器人观测数据,运行您的模型并返回动作robocolosseum-policy-server
机器人客户端机器人的计算机控制机器人,执行动作并记录试验robocolosseum-client

部署您的策略

在 Policy Server 检出中,创建配置并设置从 RoboColosseum 团队获取的 Router URL 和 Policy Server 令牌:

cp configs/policy.yaml.example configs/policy.yaml
url: wss://router.example.com:8443
token: pol_replace_with_token_from_router_ui

在不发送任何操作的情况下检查连接。当 Router 将 Robot Client 匹配到您的服务器时,会显示任务指令、关节和夹爪状态以及相机图像(图像将在 OpenCV 窗口中打开,因此需要图形显示界面):

uv run --extra demo python examples/test_policy.py --no-enable-action

然后使用 Policy Server SDK 连接您的模型。将此内容保存为仓库根目录下的 serve_policy.py:

from colosseum_policy_server import ColosseumPolicySDK
from your_policy import load_model  # Replace with your own model loader.


def main():
    model = load_model()

    with ColosseumPolicySDK.from_yaml("configs/policy.yaml") as sdk:
        print("Connected to Router. Waiting for observations...", flush=True)
        while True:
            obs = sdk.get_obs()
            actions = model.infer(obs)
            sdk.send_action(actions, observation=obs)


if __name__ == "__main__":
    main()

model.infer(obs) 将观测值(obs.instruction、obs.state.head_image、obs.state.left_image、obs.state.right_image、obs.state.joints、obs.state.gripper)转换为您模型的输入,并返回一个形状为 (horizon, action_dim) 的 NumPy 数组,其位于与 Client 约定的动作空间中。默认情况下,这是以 15 Hz 频率执行的 joint_position,每个 chunk 最多包含 16 个步骤。请启动服务器,并在评估器使用您的策略期间保持其运行:

uv run python serve_policy.py

设置机器人

在 Robot Client 的 checkout 中,创建配置并根据您的机器人进行编辑:

cp configs/robot.yaml.example configs/robot.yaml

然后启动 Client:

.venv/bin/colosseum-robot configs/robot.yaml

按照提示输入指令或选择任务,运行试验并提交评估。每次试验都会以 LeRobot 格式记录并导出。

微调 Track 评估代码

微调赛道中每种形态所使用的微调和评估代码均已公开:SO-101、Franka (DROID)、Bimanual YAM 和 Unitree G1。

训练

微调轨道

使用 --dataset.root 在已下载的任务数据集上进行训练:

lerobot-train \
  --dataset.repo_id=RoboColosseum/so101-stack-bowls \
  --dataset.root=./data/RoboColosseum/so101-stack-bowls \
  --policy.type=<policy_type> \
  --policy.repo_id=${HF_USER}/<policy_type>_robocolosseum_so101-stack-bowls \
  --output_dir=./outputs/<policy_type>_robocolosseum_so101-stack-bowls

具体的策略配置、相机映射、动作表示和训练方案取决于所适配的策略。如果您的策略期望使用不同的相机名称,请使用 --rename_map 进行映射。

注意:G0.5 和 LingBot-VLA 2.0 基线是使用其原始代码进行微调的,分别为 GalaxeaVLA @ 89f2322 和 lingbot-vla-v2 @ be969b8。

打开 Track

Open Track 会在真实世界任务上评估冻结的检查点。不会在 RoboColosseum Open Track 评估数据上进行任何训练。

如果您的策略尚不支持目标具身形态,请先在该具身形态的公开机器人数据上对其进行适配,然后在评估前冻结生成的检查点。推荐的公开引导数据集:

目标具身公开引导数据
SO-100 / SO-101allenai/MolmoAct2-SO100_101-Dataset
Franka(DROID)DROID
双手 YAMallenai/MolmoAct2-BimanualYAM-Dataset

allenai/MolmoAct2-SO100_101-Dataset 列出了用于训练 MolmoAct2 的 SO-100 和 SO-101 LeRobot 数据集,并包含每个 episode 的语言注释。使用以下命令下载源仓库列表:

hf download allenai/MolmoAct2-SO100_101-Dataset repo_list.json \
  --repo-type dataset \
  --local-dir ./data/molmoact2_so100_101

repo_list.json 中的每个条目都是一个以 lerobot: 为前缀的 Hub 数据集 ID(例如 lerobot:<user>/<dataset>)。请从列表中选取兼容 SO-100 / SO-101 的数据集,并在这些数据集上进行训练。其中许多数据集使用 LeRobot v2.1 格式:在加载之前,请将其转换为 v3.0(参见 使用 LeRobotDataset)。

DROID 以 RLDS 格式发布。按照 移植大型数据集 中的 DROID 示例将其转换为 LeRobot 数据集,然后使用 lerobot-train 在转换后的数据集上进行训练。

Bimanual YAM 数据集可直接配合 lerobot-train 使用:

lerobot-train \
  --dataset.repo_id=allenai/MolmoAct2-BimanualYAM-Dataset \
  --policy.type=<policy_type> \
  --policy.repo_id=${HF_USER}/<policy_type>_bimanual_yam \
  --output_dir=./outputs/<policy_type>_bimanual_yam

Bootstrap 阶段仅使策略与目标具身环境兼容。提交至 Open Track 的检查点在评估期间保持冻结状态。

排行榜提交

评分结果会发布在 RoboColosseum 排行榜 上。如需对策略进行评估,请在 RoboColosseum 网站上 提交申请。各赛道的协议如下:

  • 微调赛道:每个策略都在同一任务的 100 个演示上进行微调,然后进行 25 次尝试。报告完全成功和里程碑进展。
  • 开放赛道:评估者会看到两个匿名策略在同一台机器人和同一场景中尝试执行相同的指令,然后选出表现更好的运行结果或判定为平局。评分基于该机器人上的所有比较结果拟合得出,并附带其不确定性进行展示。
Update on GitHub