rocochallenge2026_Industrial_Assembly
收藏资源简介：
RoCo挑战赛2026—工业装配（vega_1u）是一个LeRobot v3.0数据集，包含双手抓放任务板装配演示，在NVIDIA Isaac Sim 5.1.0中收集，使用IROS 2026 RoCo挑战赛的taskBoardAssembly环境和vega_1u双臂机器人。每个episode都是一个完整的9/9成功装配：所有九个零件按固定顺序被抓取并放置到任务板上。零件位置和装配顺序在所有episode中保持不变；机器人运动轨迹是随机的，因此演示具有多样性且始终成功。
RoCo Challenge 2026 — Industrial Assembly (vega_1u) is a LeRobot v3.0 dataset containing demonstrations of dual-arm pick-and-place task board assembly, collected in NVIDIA Isaac Sim 5.1.0, using the taskBoardAssembly environment from the IROS 2026 RoCo Challenge and the vega_1u dual-arm robot. Each episode constitutes a fully successful 9/9 assembly: all nine parts are grasped and placed onto the task board in a fixed order. The part positions and assembly sequence remain consistent across all episodes; the robot motion trajectories are randomized, resulting in diverse yet consistently successful demonstrations.
数据集概述
RoCo Challenge 2026 — Industrial Assembly (vega_1u) 是一个用于机器人模仿学习的双臂操作数据集，旨在解决工业场景中的“任务板装配”问题。
基本信息
| 属性 | 内容 |
|---|---|
| 数据集名称 | RoCo Challenge 2026 — Industrial Assembly (vega_1u) |
| 许可证 | MIT License |
| 任务类别 | 机器人 |
| 标签 | LeRobot, Robotics, Manipulation, Bimanual, Isaac Sim, Pick-and-Place, Imitation Learning |
| 数据规模 | 100K < n < 1M |
技术规格
| 属性 | 内容 |
|---|---|
| 数据格式 | LeRobot v3.0 |
| 机器人 | vega_1u（双机械臂，每臂7自由度） |
| 控制频率 | 10 fps |
| 总片段数 | 200（每个片段为一次完整装配） |
| 总帧数 | 121,454（每片段约607帧，约60秒，范围593–715帧） |
| 相机 | 3个RGB摄像头，分辨率240×320×3，H.264视频编码 |
| 状态维度 | 44 |
| 动作维度 | 14 |
| 单一任务 | "将零件装配到任务板上" |
| 磁盘占用 | 约1.1 GB（原始约84 GB） |
数据特征
| 键 | 类型 | 形状 | 说明 |
|---|---|---|---|
observation.images.head |
视频 | (240, 320, 3) | 顶部/俯瞰相机，RGB uint8 |
observation.images.left_hand |
视频 | (240, 320, 3) | 左腕相机 |
observation.images.right_hand |
视频 | (240, 320, 3) | 右腕相机 |
observation.state |
float32 | (44,) | 状态向量，布局见下文 |
action |
float32 | (14,) | 动作向量，布局见下文 |
状态向量（44维）布局
| 区间 | 维度 | 字段 | 单位/约定 |
|---|---|---|---|
[0:7] |
7 | 左臂末端执行器位姿 | x, y, z (米，世界坐标系) + 四元数 qw, qx, qy, qz |
[7:14] |
7 | 右臂末端执行器位姿 | 同上 |
[14:21] |
7 | 左臂关节位置 | 弧度 (7个关节) |
[21:28] |
7 | 右臂关节位置 | 弧度 |
[28:35] |
7 | 左臂关节速度 | 弧度/秒 |
[35:42] |
7 | 右臂关节速度 | 弧度/秒 |
[42:43] |
1 | 左侧夹爪位置 | 张开比例 [0,1] (1 = 完全张开) |
[43:44] |
1 | 右侧夹爪位置 | 张开比例 [0,1] |
动作向量（14维）布局
| 区间 | 维度 | 字段 | 单位/约定 |
|---|---|---|---|
[0:3] |
3 | 左臂末端执行器目标位置 | x, y, z (米，世界坐标系) |
[3:6] |
3 | 左臂末端执行器目标朝向 | 内禀XYZ欧拉角 (弧度) |
[6:7] |
1 | 左侧夹爪指令 | 张开比例 [0,1] |
[7:10] |
3 | 右臂末端执行器目标位置 | x, y, z (米) |
[10:13] |
3 | 右臂末端执行器目标朝向 | 内禀XYZ欧拉角 (弧度) |
[13:14] |
1 | 右侧夹爪指令 | 张开比例 [0,1] |
注意： 动作朝向列已随时间展开（
np.unwrap），以消除±π不连续性，值可能超过±π（观测范围可达约7弧度）。如需，可将其回绕至(-π, π]。 单臂基线说明： 演示数据主要由左臂完成任务，右臂保持近恒定起始位姿，因此右臂状态和动作变化极小。
坐标系与单位约定
- 位置：米，世界坐标系。
- 末端执行器位姿（状态）：四元数，顺序为 (w, x, y, z)。
- 动作朝向：内禀XYZ欧拉角（弧度）。
- 关节角度/速度：弧度/弧度每秒。
- 夹爪值：归一化张开比例 [0,1]（对应物理关节行程 [0, 0.6649704] 弧度，比例 = 值 / 0.6649704）。
使用方法
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("rocochallenge2025/rocochallenge2026_Industrial_Assembly") print(ds.num_episodes, ds.num_frames) # 200 121454
sample = ds[0] sample["observation.images.head"].shape # torch.Size([3, 240, 320]) sample["observation.state"].shape # torch.Size([44]) sample["action"].shape # torch.Size([14])
归一化统计信息保存在 meta/stats.json 中。图像在读取时从H.264视频解码，保持原始240×320分辨率。
数据采集说明
- 环境：IROS 2026 RoCo Challenge
taskBoardAssembly，NVIDIA Isaac Sim 5.1.0，确定性PhysX。 - 策略：随机化的基线夹取放置策略。装配顺序和零件位置固定，每次演示的运动轨迹随机化（左臂维度跨片段平均动作标准差约0.10）。
- 筛选：仅保留完全成功（9/9件全部装配）的片段，部分装配被丢弃。
- 采样：按10 Hz控制步长采样。
数据完整性
- 格式符合v3.0规范。
- 200个片段/121,454帧在
info.json、parquet文件和视频中一致。 - 无NaN/Inf值，所有维度统计值有限且无零标准差。
- 所有200个片段可解码并帧对齐。
- 动作值范围：[-3.22, 7.00]，状态值范围：[-14.58, 36.64]。
引用
如果使用本数据集，请引用 IROS 2026 RoCo Challenge。
