RobotData

RobotData是一个用于RoboSynChallenge中“drawer_open_place”任务的专家演示数据集。该任务为双臂操作：右臂打开抽屉，左臂拿起一个番茄并将其放入抽屉，然后右臂将抽屉关闭。所有轨迹均在仿真环境中通过程序化生成的抽屉资产（而非基准测试自带的单一手工抽屉）收集，由动作图驱动逆运动学（IK）和TOPPRA运动规划合成，无需遥操作或强化学习，每个episode均被仿真器判定为成功。数据集包含200个episode，分布在四个不同几何参数的抽屉上，每个抽屉对应50个episode，总帧数为85,000帧，总大小约2.95 GB。数据格式为LeRobot v3.0，机器人类型为cobotmagic，采样率25 fps，每个episode包含425帧。数据字段包括：14维关节位置（observation.state）、14维关节速度（observation.qvel）、14维关节力（observation.qf，全为零，不可用）、14维绝对关节目标（action），以及三个摄像头图像：俯视相机（cam_high，480×640×3）、左手腕相机（cam_left_wrist）和右手腕相机（cam_right_wrist）。关节顺序为[左臂6个关节，左夹爪1个，右臂6个关节，右夹爪1个]，夹爪位置归一化到[0,1]。视频按块拼接，每个摄像头一个MP4文件包含所有50个episode，episode边界存储在meta/episodes/中。该数据集适用于训练双臂操作策略，尤其适用于研究不同抽屉几何形状对策略泛化能力的影响。注意事项：关节力字段始终为零，不可用于力控制；50个episode的数据量较小，建议按基准测试指南合并多个数据集；仿真数据与真实机器人数据（采用aloha机器人类型，32维状态，10 fps）模式不同，联合训练前需进行对齐。RobotData is an expert demonstration dataset for the drawer_open_place task in RoboSynChallenge. The task involves dual-arm manipulation: the right arm opens a drawer, the left arm picks up a tomato and places it into the drawer, and then the right arm closes the drawer. All trajectories are collected in a simulation environment using procedurally generated drawer assets (instead of the single handcrafted drawer from the benchmark), synthesized by action graph-driven inverse kinematics (IK) and TOPPRA motion planning, without teleoperation or reinforcement learning. Each episode is judged successful by the simulator. The dataset contains 200 episodes distributed across four drawers with different geometric parameters (50 episodes per drawer), totaling 85,000 frames and approximately 2.95 GB in size. The data format is LeRobot v3.0, with robot type cobotmagic, sampling rate 25 fps, and 425 frames per episode. Data fields include: 14-dimensional joint positions (observation.state), 14-dimensional joint velocities (observation.qvel), 14-dimensional joint forces (observation.qf, all zeros, unusable), 14-dimensional absolute joint targets (action), and three camera images: top camera (cam_high, 480×640×3), left wrist camera (cam_left_wrist), and right wrist camera (cam_right_wrist). The joint order is [left arm 6 joints, left gripper 1, right arm 6 joints, right gripper 1], with gripper positions normalized to [0,1]. Videos are concatenated by block, with one MP4 file per camera containing all 50 episodes, and episode boundaries stored in meta/episodes/. This dataset is suitable for training dual-arm manipulation policies, especially for studying the impact of different drawer geometries on policy generalization. Notes: The joint force field is always zero and cannot be used for force control; the dataset with 50 episodes is relatively small, and it is recommended to merge multiple datasets according to the benchmark guidelines; simulation data differs from real robot data (which uses aloha robot type, 32-dimensional state, 10 fps), so alignment is required before joint training.

原始信息汇总

RobotData 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 标签: LeRobot、双臂操作、操控、仿真到现实迁移、RoboSynChallenge

数据集内容

该数据集包含 RoboSynChallenge 基准测试中 drawer_open_place 任务的专家演示，在程序化生成的抽屉资产上于仿真环境中采集，而非基准测试自带的单一手工设计的抽屉。任务为双臂操作：右臂打开抽屉，左臂抓取番茄并放入抽屉，右臂推回抽屉关闭。所有轨迹由动作图驱动 IK 和 TOPPRA 运动规划合成，无需遥操作或强化学习，每个片段均被模拟器判定为成功。

数据规模

目录	片段数	帧数	大小
drawer_ep0_v2/	50	21,250	355 MB
drawer_ep0_v2_var4/	50	21,250	884 MB
drawer_v2_variant/	50	21,250	849 MB
drawer_ep0/	50	21,250	860 MB

共 200 个片段，涵盖四种程序化生成的抽屉资产。

数据格式

• 格式: LeRobot v3.0，robot_type: cobotmagic，25 fps，每片段 425 帧。

数据字段

键	形状	内容
observation.state	[14]	关节位置
observation.qvel	[14]	关节速度
observation.qf	[14]	关节力（全为零，模拟器从未写入）
action	[14]	绝对关节目标
observation.images.cam_high	[480, 640, 3]	顶部相机
observation.images.cam_left_wrist	[480, 640, 3]	左手腕相机
observation.images.cam_right_wrist	[480, 640, 3]	右手腕相机

• 关节顺序：[左臂(6), 左夹爪(1), 右臂(6), 右夹爪(1)]，夹爪归一化至 [0, 1]。
• 视频按块拼接而非按片段存储——每个相机一个 mp4 文件包含全部 50 个片段，片段边界位于 meta/episodes/ 目录（from_timestamp/to_timestamp 对应视频，dataset_from_index/dataset_to_index 对应 parquet 文件）。这是 LeRobot v3.0 的正常格式，与 v2.1（每片段一个文件）不同。

使用方法

bash hf download wenjingbian/RobotData --repo-type dataset --include "drawer_ep0_v2/*" --local-dir ./data

• ACT 和 Diffusion Policy 可直接读取 v3.0 格式： bash bash policy/act/finetune.sh ./data/drawer_ep0_v2 <output_dir> 0 --steps 80000 --batch-size 64

• PI0 / PI0.5 需转换为 v2.1： bash python scripts/convert_lerobot3.0_to_2.1.py --repo-id drawer_ep0_v2 --root ./data

抽屉资产几何参数

资产	把手类型	横杆 (长 × 高)	钩隙	托盘宽	行程	柜高
drawer_ep0_v2	凸出横杆	130 × 16 mm	3.1 mm	195 mm	180 mm	90 mm
drawer_ep0_v2_var4	凸出横杆	169 × 16 mm	3.1 mm	195 mm	170 mm	67 mm
drawer_v2_variant	凸出横杆	208 × 20 mm	2.1 mm	312 mm	125 mm	130 mm
drawer_ep0	凸出横杆	130 × 14 mm	2.0 mm	195 mm	245 mm	90 mm
基准自带抽屉	凸出横杆	80 × 18 mm	16.5 mm	180 mm	200 mm	200 mm

drawer_ep0_v2_var4 是 drawer_ep0_v2 的参数化编辑版（同一把手截面，横杆加长 30%），两者构成对照实验，用于检验把手长度单独的影响。网格下游的一切（抓取点、碰撞分解、柜体摆放、拉动距离和放置目标）均由几何参数自动推导，相关脚本位于 RoboSynChallenge fork（scripts/make_drawer_asset.py、scripts/make_drawer_gym_config.py）。

关键发现：把手几何决定演示是否存在

在相同动作图下测量的成功率：

资产	差异	成功率
基准抽屉	—	100%
drawer_ep0_v2	窄钩隙	100%
drawer_ep0_v2_var4	横杆加长 30%	~22%
drawer_v2_variant	312 mm 托盘、更粗横杆	~22%
drawer_ep0	14 mm 横杆、0.40 kg 托盘	3.2%
内凹把手（未采集）	70 × 22 mm 口袋	0%

• drawer_ep0 的成功率精确计数：1565 次尝试产出 50 个片段，耗时 29.5 小时。中间两个数值基于吞吐量推算（162 分钟内 50 个片段，每次尝试约 43 秒），非精确计数，应谨慎对待。
• 成功率跨度达两个数量级：靠近基准把手的抽屉几乎每次尝试都能成功演示；14 mm 横杆配 0.40 kg 托盘则平均需要 31 次尝试。
• 内凹把手失败的明确原因：夹爪手指最大张开 100 mm，而口袋开口仅 70 × 22 mm，任何腕部姿态都无法适配——这是末端执行器不匹配问题，而非规划问题。
• 夹爪为位置控制、刚度有限，握力 = 刚度 × 跟踪误差，上限 15 N（针对 18 mm 横杆、0.20 kg 托盘设定）。更细的横杆拖动更重的托盘会在推回过程中失去把手；提高刚度反而使闭合更差（测量结果），因为过硬握持会破坏接触稳定性。
• 使用提醒: 该数据集的片段是上述筛选后的幸存者，并非抽屉几何的统一采样。

注意事项

• observation.qf 在模式中声明但恒为零——模拟器从不写入、参考策略适配器从不读取、基准真实机器人数据集也不含该字段，力信息无法通过该流程使用。
• 每资产 50 个片段对策略训练而言规模较小，基准测试官方建议每任务采集数百个后合并。
• 这些是仿真片段。基准的真实机器人数据采用不同模式（robot_type: aloha、32 维状态、10 fps），联合训练前需进行对齐。

搜集汇总

数据集介绍

构建方式

RobotData数据集针对RoboSynChallenge中的drawer_open_place任务，在仿真环境中利用程序化生成的抽屉资产收集专家演示。与基准测试中单一手工设计的抽屉不同，该数据集涵盖四种程序化生成的抽屉几何变体。数据生成采用动作图驱动逆运动学与TOPPRA运动规划，无需遥操作或强化学习，每个轨迹均经模拟器验证为成功。数据以LeRobot v3.0格式存储，包含200个回合，每回合425帧，采样率25fps，并通过不同摄像头视角记录视觉与关节状态信息。资产几何参数如把手尺寸、间隙及滑轨行程等均被系统化变化，以评估其对操作成功的影响。

特点

该数据集显著强调可泛化的机器人操作学习，其构建凸显几何多样性对演示可收集性的深刻影响。通过程序化改变抽屉把手长度、厚度及托盘重量等参数，数据揭示了脚本化策略成功率在3.2%至100%间的巨大差异，凸显几何特性与末端执行器兼容性的关键作用。数据集包含完整的关节状态、作用力及多视角视觉记录，其中作用力字段恒为零，提示传感器局限。每回合长短不一，且资产间存在受控对照，如30%把手长度变体，为研究几何因素对策略泛化的影响提供了独特资源。

使用方法

该数据集专为机器人学习算法设计，支持直接训练ACT和扩散策略模型，其LeRobot v3.0格式可直接用于现有训练管道。对于依赖v2.1格式的模型如PI0/PI0.5，提供了转换脚本。用法包括使用Hugging Face CLI下载特定资产子集，并执行现成的微调命令。数据集在每个回合内嵌有元数据用于时间对齐，由于视频按块连接，需正确解析回合边界。建议在训练时将多个资产变体合并以提升泛化，但需注意模拟与真实机器人数据在格式与速度上的差异，可能需额外对齐步骤。

背景与挑战

背景概述

RobotData数据集由EDEM-AI团队于2024年创建，隶属于RoboSynChallenge基准测试，旨在通过仿真环境中的程序化抽屉资产收集专家演示，支持双臂操作任务的模仿学习研究。该数据集聚焦于‘抽屉打开与放置’任务，通过动作图驱动的逆运动学与TOPPRA运动规划合成轨迹，无需遥操作或强化学习。其核心研究问题在于评估和提升策略在跨几何变体抽屉上的泛化能力，尤其关注手柄几何对操作成功率的决定性影响。数据集以LeRobot v3.0格式发布，包含200个成功轨迹，涵盖了四种程序化抽屉资产，为sim2real迁移和双臂操作提供了丰富的训练资源，对机器人学习社区具有显著的基准价值。

当前挑战

该数据集揭示了双重挑战：领域层面，双臂操作任务对精细力控和接触稳定性要求极高，而现有端到端策略常因几何差异导致性能骤降，如手柄长度增加30%即致成功率从100%降至22%，厚度减小至14mm及托盘增重则暴跌至3.2%，凸显了形状泛化的脆弱性；构建层面，数据采集面临成功率瓶颈，特别是对偏离基准几何的资产，如内凹式拉手因末端执行器尺寸不匹配而完全失败，且提高刚度反而恶化闭合质量。此外，数据集仅包含50个成功轨迹，样本量有限，并存在力传感数据缺失（qvel恒为零）及模拟与真实域架构差异（如状态维度、帧率），对跨域迁移学习构成显著障碍。

常用场景

经典使用场景

RobotData数据集为双臂操作任务提供了高质量的专家演示，其核心应用场景在于训练和评估机器人学习策略，特别是模仿学习和强化学习算法。该数据集在仿真环境中通过程序化生成的抽屉资产收集数据，涵盖开抽屉、取放物体等复杂操作，支持LeRobot v3.0格式，可直接用于ACT和Diffusion Policy等主流策略模型的微调，亦可通过格式转换适配PI0等模型。其标准的视觉与关节状态记录，为跨具身、多视角的机器人操作研究提供了基准数据资源。

解决学术问题

该数据集有效解决了机器人操作研究中数据稀缺和泛化性不足的学术难题。通过程序化生成多样化的抽屉几何结构，并系统探究把手几何对演示成功率的影响（从100%至3.2%），揭示了物体几何特征与策略可行性的深层关联。这为研究仿真到现实的迁移、多任务数据增强以及策略对几何变异的鲁棒性提供了关键的实证基础，推动了视觉运动策略在复杂场景下的泛化能力研究。

衍生相关工作

该数据集衍生工作聚焦于策略泛化、数据高效学习及仿真资产生成。其配套的脚本化动作图与运动规划流程启发了新型数据合成方法，用于生成涵盖多几何变体的训练集。研究者基于其发现的几何-成功率关系，探索了域随机化策略以提升仿真到现实的迁移。同时，有关力传感器缺失的警示促进了力估计与触觉融合研究，而格式转换工具则推动了跨版本学习框架的兼容性改进，形成了机器人学习数据全链的协作生态。