xarm7_sim_three_cubes

该数据集是使用LeRobot工具在MuJoCo模拟环境中创建的机器人学数据集，专注于双手机械臂（xarm7）的操作任务，核心内容涉及三个立方体任务，可能包含机械臂与多个立方体交互的模拟场景。数据规模包括16个完整的情节（episodes），总计30660个数据帧，采样频率为50 Hz。数据以Parquet文件格式存储，并包含相应的视频文件。数据集提供了多模态观测信息：包括16维的浮点型动作向量和观测状态向量；模拟器中的关节位置（54维）和关节速度（50维）；以及来自四个摄像头的RGB视频观测，分别位于右手腕、左手腕和两个侧面视角，每个视频帧分辨率为300x480像素，3通道。此外，数据集还包含时间戳、帧索引、情节索引、任务索引等元数据字段。该数据集适用于机器人模仿学习、强化学习、策略学习等任务，特别是针对双手机械臂在模拟环境中的物体操作与协调控制研究。数据集采用Apache 2.0许可证。This dataset is a robotics dataset created using the LeRobot tool in the MuJoCo simulation environment, focusing on manipulation tasks with dual-arm robots (xarm7). The core content involves the three cubes task, which may include simulated scenarios of the robot arms interacting with multiple cubes. The data scale comprises 16 complete episodes, totaling 30,660 data frames with a sampling frequency of 50 Hz. The data is stored in Parquet file format and includes corresponding video files. The dataset provides multimodal observation information: including 16-dimensional floating-point action vectors and observation state vectors; joint positions (54-dimensional) and joint velocities (50-dimensional) in the simulator; and RGB video observations from four cameras, located at the right wrist, left wrist, and two side perspectives, each video frame with a resolution of 300x480 pixels and 3 channels. Additionally, the dataset includes metadata fields such as timestamps, frame indices, episode indices, and task indices. This dataset is suitable for tasks such as robot imitation learning, reinforcement learning, and policy learning, particularly for research on object manipulation and coordinated control of dual-arm robots in simulated environments. The dataset is licensed under Apache 2.0.

原始信息汇总

数据集概述

• 数据集名称: xarm7_sim_three_cubes
• 许可证: Apache-2.0
• 任务类别: 机器人 (Robotics)
• 标签: LeRobot, robotics, xarm7, mujoco, sim, bimanual, three-cubes
• 创建工具: 使用 LeRobot 创建

数据集结构

• 总片段数: 16
• 总帧数: 30660
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 50
• 分片: 训练集 (train) 包含全部16个片段

特征信息

特征名称	数据类型	形状	说明
action	float32	[16]	动作数据
observation.state	float32	[16]	观测状态
sim_qpos	float32	[54]	仿真关节位置
sim_qvel	float32	[50]	仿真关节速度
observation.images.wrist_right	video	[300, 480, 3]	右腕相机图像 (h264编码, 50fps)
observation.images.wrist_left	video	[300, 480, 3]	左腕相机图像 (h264编码, 50fps)
observation.images.side_1	video	[300, 480, 3]	侧方相机1图像 (h264编码, 50fps)
observation.images.side_2	video	[300, 480, 3]	侧方相机2图像 (h264编码, 50fps)
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据存储路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

其他信息

• 可视化: 可通过 可视化空间 查看数据集内容

搜集汇总

数据集介绍

构建方式

该数据集基于MuJoCo物理仿真引擎与LeRobot框架构建，专门用于模拟双臂xArm7机械臂在多物体场景中的操控任务。数据采集过程通过预设策略在仿真环境中生成16个完整回合（episode），总计30660帧状态-动作序列，并以50Hz的高频采样确保时序连贯性。数据以Parquet格式存储结构化信息（包括16维的观测状态与动作向量，以及54维关节位置与50维关节速度），同时将多视角视觉信息（腕部左右相机与两个侧方相机）编码为H.264压缩的MP4视频，分辨率为300×480像素。

特点

该数据集的核心特点在于其多模态融合与高保真度。同时记录16维动作指令与54维完整关节状态，并配备4路同步摄像头（含左右腕部视角），为模仿学习与多视角视觉运动策略训练提供丰富输入。所有数据按1000帧分块存储，便于分批次高效加载；全部16个回合均划归训练集，结构简洁适宜快速实验迭代。此外，数据集遵循Apache-2.0开源协议，在LeRobot生态中可即插即用，并支持通过交互式空间进行可视化浏览。

使用方法

推荐通过LeRobot库的API直接加载数据集：使用`lerobot.common.datasets.LeRobotDataset`类指定数据集名称`"mattewg/xarm7_sim_three_cubes"`及其配置项`"default"`即可获得训练迭代器。数据以字典形式返回键值对，其中`action`与`observation.state`为float32数组直接供模型输入；视觉数据通过`observation.images`下的视频键获取张量（需配置`video_backend`为`pyav`或`decord`）。开发者可自由抽取特定帧或回合进行策略训练与评估，亦可沿用LeRobot标准Pipeline实现离线强化学习或行为克隆。

背景与挑战

背景概述

在机器人学习领域，模拟环境为算法训练与验证提供了低成本、高灵活性的平台，尤其在复杂操作任务的探索中扮演关键角色。xarm7_sim_three_cubes数据集由LeRobot社区于近期构建，依托HuggingFace平台发布，采用Apache-2.0开源协议，旨在为双臂机器人操控研究提供标准化基准。该数据集基于MuJoCo物理引擎模拟xArm7机器人，聚焦于“三立方体”精细操作任务，包含16个演示片段、共计30660帧数据，涵盖高帧率（50 FPS）下的多视角视觉信息（左右腕部及两侧外部相机）与完整状态-动作序列。其核心研究问题在于如何通过模仿学习实现机器人对多个物体的同时控制与协调，推动了机器人从单一物体抓取向多目标协同操作的范式演进，为双臂协作、灵巧操控等前沿方向提供了可复现的数据基础。

当前挑战

该数据集所解决的领域问题在于双臂机器人多物体空间关系的建模与技能迁移：三立方体任务要求机器人同时感知、规划并执行对多个物体的抓取、堆叠或分离操作，这对传统单机械臂策略构成本质挑战，需融合高维状态空间与多模态观测（关节位姿、视觉流）的联合推理。构建过程中，数据集面临模拟到现实（Sim-to-Real）的鸿沟，包括物理参数偏差、触觉反馈缺失及视觉渲染差异，需通过高保真仿真设置与多视角冗余数据缓解。此外，动作空间维度（16维）需兼顾双臂协同性与避碰，而有限样本量（16个episodes）对策略泛化能力构成严峻考验，要求后续算法设计具备高效样本利用与跨任务迁移能力。

常用场景

经典使用场景

在机器人操作与仿真学习领域，xarm7_sim_three_cubes数据集为双臂机器人多物体操纵任务提供了标准化的训练与评估平台。该数据集基于MuJoCo物理引擎，模拟xArm7机械臂在三立方体堆叠或重排场景中的精细操作，记录16个回合、总帧数超过3万的完整交互序列。研究者可利用其中包含的关节角度、速度、力矩以及多视角视觉观测（如腕部左右相机、侧方双视角），训练机器人通过模仿学习掌握复杂物体操控策略，尤其适用于从仿真到真实迁移的算法验证。数据集的高采样频率（50 FPS）与丰富的状态动作空间，使其成为研究多指灵巧抓取、动态稳定堆叠等经典控制问题的理想基准。

实际应用

在实际产业场景中，该数据集赋能了智能制造与仓储自动化领域的关键技术突破。例如，在电子元件精密组装、物流包裹分拣或医疗试剂瓶转移等任务中，双臂机器人需协同完成多个易碎或异形物体的无损搬运与精确放置。数据集提供的仿真训练数据可直接用于构建模仿学习策略，再通过域随机化等技术迁移至真实xArm7平台，降低对昂贵人工示范的依赖。同时，数据中包含的腕部与侧方摄像头数据，支持了低成本视觉反馈控制方案的开发，使中小型企业能在不引入复杂传感器阵列的情况下实现柔性生产线的快速部署，推动机器人从单一重复作业向自适应协作操作演进。

衍生相关工作

xarm7_sim_three_cubes数据集衍生出多项推动机器人学习发展的代表性工作。基于该数据，研究者开发了跨任务元学习框架，利用其多回合示范数据训练机器人快速适应未见的立方体初始构型；同时，多模态融合方法得以验证，通过联合视频序列与力矩信号显著提升操作策略的迁移效率。注意力机制与扩散策略的结合也是衍生热点，利用数据集中的时序依赖特征改进复杂堆叠动作的生成质量。此外，该数据集作为LeRobot生态的核心组件，催生了仿真-真机一致性评测基准，促使学界围绕双臂协调与物理交互稳定性展开系统性对比研究，为后续更复杂的多物体长序列任务奠定了基础。