real_robot_data

Real Robot Manipulation Dataset是一个真实机器人操作数据集，包含在UR5e机器人上记录的7个桌面操作任务。机器人配备Robotiq 2F-140夹爪和两个Intel RealSense摄像头（一个固定底座摄像头，一个腕部摄像头），记录频率为20Hz。数据集总计700个episode（每个任务100个episode），涵盖块、盘子、碗和杯子等物体的抓取、放置、隐藏和堆叠操作。数据以HDF5格式存储，包含时间戳、双摄像头RGB图像（640x480分辨率）、机器人关节位置、末端执行器位姿和状态信息。每个episode还提供meta.json文件，记录任务名称、物体起始和结束位置、初始姿态等地面真实信息。数据集适用于机器人操作、模仿学习、视觉运动控制等研究任务，采用Apache 2.0许可证发布。The Real Robot Manipulation Dataset is a real-world robot manipulation dataset containing 7 tabletop manipulation tasks recorded on a UR5e robot. The robot is equipped with a Robotiq 2F-140 gripper and two Intel RealSense cameras (one fixed base camera and one wrist camera), recording at 20Hz. The dataset consists of 700 episodes (100 episodes per task), covering grasping, placing, hiding, and stacking operations on objects such as blocks, plates, bowls, and cups. Data is stored in HDF5 format, including timestamps, dual-camera RGB images (640x480 resolution), robot joint positions, end-effector poses, and state information. Each episode also provides a meta.json file that records ground truth information such as task name, object start and end positions, and initial poses. The dataset is suitable for research tasks in robot manipulation, imitation learning, and visual-motor control, and is released under the Apache 2.0 license.

原始信息汇总

数据集概况

• 数据集名称：Real Robot Manipulation Dataset
• 许可证：Apache-2.0
• 任务类别：机器人学（robotics）
• 标签：真实机器人（real-robot）、操作（manipulation）、UR5e、模仿学习（imitation-learning）
• 数据规模：100K < n < 1M

数据采集平台

• 机器人：UR5e（通过RTDE控制）
• 夹爪：Robotiq 2F-140（自动校准）
• TCP朝向：垂直向下（轴角 [π, 0, 0]）
• 相机：2x Intel RealSense，分辨率640×480，帧率20 Hz
  • 一个固定基座相机（camera1）
  • 一个腕部安装相机（camera2）
• 工作空间：梯形区域，y ∈ [0.50, 0.80]，x半宽0.10 → 0.18（随y线性变化）

任务与指令

文件夹	指令描述
put_blocks_in_plate	从桌上拿起两个积木，放在盘子上。
remove_blocks_from_plate	从盘子上拿起两个积木，放在桌上。
hide_blocks_with_bowl	将两个积木配对，用碗盖住。
remove_blocks_under_bowl	揭开隐藏的积木，将三个物体分散开。
hide_blocks_with_cup	用倒扣的杯子盖住每个积木。
put_blocks_on_cup	从积木上拿起杯子，将积木堆叠在杯子上。
put_blocks_down	从杯子上取下积木，放在桌上。

每个任务文件夹包含task_instruction.json，记录完整的任务规范（物体、拾取/放置策略、夹爪模式、工作空间边界）。

数据规模

• 总集数：700集（每任务100集）
• 采样频率：20 Hz
• 每任务帧数与时长：

任务	集数	约计帧数	约计时长（墙钟）
put_blocks_in_plate	100	45,576	38分钟
remove_blocks_from_plate	100	45,929	38分钟
hide_blocks_with_bowl	100	43,881	37分钟
remove_blocks_under_bowl	100	66,090	55分钟
hide_blocks_with_cup	100	约变化	约40分钟
put_blocks_on_cup	100	约变化	约50分钟
put_blocks_down	100	约变化	约30分钟

数据结构

目录布局

<task>/ 1.hdf5 ... 100.hdf5 # 每集轨迹（图像 + 状态） meta/ 1/meta.json ... 100/meta.json # 每集真值 task_instruction.json # 任务规范

HDF5格式（每集）

/timestamps (T,) float64 /observations/ images/ camera1 (T,H,W,3) uint8 # 基座相机，640x480 RGB camera2 (T,H,W,3) uint8 # 腕部相机，640x480 RGB qpos (T,7) float32 # 6个关节 + 夹爪（归一化） state (T,14) float32 # tcp_pos(3)+tcp_quat(4)+joints(6)+gripper(1) tcp_pos, tcp_quat, joints, gripper_pos

meta.json格式（每集）

所有任务包含每集真值物体位置：

json { "task": "<任务名称>", "episode": <整数>, "start": {<物体>: <(x,y)>, ...}, "end": {<物体>: <(x,y)>, ...}, "init_pose": [x, y, z] }

任务特定键值也会记录（例如杯类任务的perm和cup_order，碗隐藏任务的sign和active/passive，碗/杯移除任务的block_order）。

搜集汇总

数据集介绍

构建方式

该数据集基于UR5e机械臂与Robotiq 2F-140夹爪，并配备两台Intel RealSense相机（一台固定于基座，一台安装于腕部）采集桌面操作数据。涵盖7项操作任务，每项任务包含100个演示轨迹，总计700条轨迹，以20 Hz频率记录。数据存储采用HDF5格式，每个轨迹包含时间戳、多视角RGB图像（640×480分辨率）、关节位置及末端执行器状态；同时提供JSON格式的元数据，记录每集起始与结束时的物体真实位置及任务特定参数。

特点

数据集以真实机器人操作为核心，聚焦于7种具代表性的桌面操作任务，如堆叠、隐藏、移除等，覆盖了抓取、放置、覆盖等基础动作组合。每条轨迹提供多模态观测，包括两台相机的高清视觉输入与14维状态向量（含TCP位姿、关节角及夹爪开度），确保丰富的感知与运动信息。此外，每项任务均配有明确的指令描述与空间约束，便于模仿学习算法对齐任务语义。

使用方法

数据集可直接用于训练模仿学习模型，用户可通过HDF5文件读取图像序列与状态数据，结合元数据中的物体真实位置进行监督学习或离线强化学习。建议将轨迹分为训练集与验证集，并利用任务指令文件将自然语言描述映射至运动策略。数据集采用Apache 2.0许可，便于学术与工业场景的二次开发与分发。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖于高质量、多样化的示范数据以习得泛化策略。real_robot_data 数据集由研究团队于近期构建，基于 UR5e 机械臂与 Robotiq 2F-140 夹爪，并配备两台 Intel RealSense 相机（固定基座与腕装），采集了七类桌面操作任务的 700 条轨迹（每类 100 条，采样频率 20 Hz）。该数据集聚焦于块状物体与容器的交互操作，涵盖放置、移除、隐藏、覆盖等复杂任务，旨在为机器人操作中的泛化策略学习提供标准化基准。其开放发布（Apache 2.0 许可）对推动真实机器人操作数据的共享与复现具有重要价值，尤其为模仿学习、任务参数化策略等方向提供了稀缺的细粒度示范数据。

当前挑战

该数据集所解决的领域挑战在于：真实机器人操作任务需同时应对视觉多样性、物体位姿不确定性及动作序列的因果关系；基于有限示范的模仿学习易受分布偏移影响，而现有公开数据集常缺乏多视角观测与任务元信息。构建过程中需克服机器人系统的硬件限制（如 20 Hz 采样造成的时序稀疏性）、任务间的物理冲突（如覆盖与移除任务共享物体但策略不同）以及元数据标注的精确性（如物体初始/终止位姿的自动提取）。此外，保持 100 条轨迹的统计一致性（如夹爪校准、工作空间约束）与避免运动累积误差是确保数据质量的关键技术挑战。

常用场景

经典使用场景

在机器人操作研究领域，real_robot_data数据集为模仿学习与行为克隆提供了高质量的基准平台。该数据集收录了七类桌面操作任务，涵盖抓取、放置、遮盖、隐藏等典型操作，具有统一的UR5e机械臂与Robotiq二指夹爪配置，并配备固定基座和腕部两个Intel RealSense摄像头同步采集RGB图像与关节状态。每一任务均包含100个示范回合，以20Hz频率记录完整轨迹，确保数据密度与多样性。研究者可借助该数据集训练视觉运动策略，将其作为从示范中学习精细操作技能的标准化测试床，验证算法在处理多物体交互与复杂任务序列时的泛化能力与鲁棒性。

衍生相关工作

基于real_robot_data数据集，机器人学习社区已衍生出多类经典工作。在行为克隆方面，研究者利用该数据集验证了基于Transformer的视觉运动策略对桌面多物体操作的适用性，并探索了扩散模型在轨迹生成与策略精调中的潜力。在面向对象操作的任务分解研究中，该数据集的元信息被用于设计基于物体关系图的中层表示，显著提升了策略对初始状态变化的鲁棒性。此外，有工作依托该数据集构建了跨任务迁移学习框架，证明了在不同操作模式间共享视觉特征与操作原语的可行性，为通用机器人操作模型的构建提供重要支撑。

数据集最近研究

最新研究方向

基于真实机器人操作数据集的模仿学习与多视角视觉表征研究正成为机器人学习领域的前沿热点。该数据集通过UR5e机械臂与双Intel RealSense相机（固定基座与腕部安装）采集了7类桌面操作任务共700条高质量演示轨迹，覆盖抓取、遮挡、堆叠等复杂操作模式。结合Apache-2.0开源协议与标准化HDF5存储格式，研究者可基于每帧20Hz的多视角RGB图像与实时关节状态进行端到端策略迁移学习。近期工作聚焦于利用该数据集验证视觉-运动联合建模在零样本泛化中的有效性，尤其针对大语言模型与机器人策略的跨模态对齐，为具身智能体在非结构化环境中的自适应操作提供了基准测试平台。