Hoshipu/real_robot_data

这是一个真实机器人操作数据集，包含7个桌面操作任务，使用UR5e机器人、Robotiq 2F-140夹爪和两个Intel RealSense摄像头（一个固定底座安装，一个手腕安装）记录。每个任务有100个episodes，总共700个episodes，记录频率为20 Hz。任务包括将积木放入盘子、从盘子移除积木、用碗隐藏积木、移除碗下积木、用杯子隐藏积木、将积木放在杯子上以及将积木放下。数据集以HDF5格式存储每个episode的轨迹（图像和状态），并包含每个episode的地面真值元数据。机器人设置包括UR5e通过RTDE控制、夹爪自动校准、TCP方向垂直向下、摄像头分辨率为640×480、工作空间为梯形区域。数据集遵循Apache 2.0许可证。

A real robot manipulation dataset with 7 tabletop manipulation tasks recorded on a UR5e with a Robotiq 2F-140 gripper and two Intel RealSense cameras (one fixed base, one wrist-mounted). 100 episodes per task, 700 episodes total, recorded at 20 Hz. Tasks include putting blocks in a plate, removing blocks from a plate, hiding blocks with a bowl, removing blocks under a bowl, hiding blocks with a cup, putting blocks on a cup, and putting blocks down. The dataset stores per-episode trajectories (images and state) in HDF5 format and includes ground-truth metadata per episode. Robot setup involves UR5e via RTDE, auto-calibrated gripper, TCP orientation pointing straight down, camera resolution 640×480, and a trapezoidal workspace. Licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于UR5e机械臂与Robotiq 2F-140夹爪，并配备两台Intel RealSense相机（一台固定于基座，一台安装于腕部）构建而成。数据采集涵盖了七项桌面操作任务，每项任务包含100个示教轨迹，总计700个回合，以20Hz的采样频率记录。任务文件夹内存储了每个回合的HDF5格式轨迹文件，包含时间戳、双视角RGB图像、关节位置及完整状态信息；同时，每个回合附带独立的meta.json文件，记录了任务开始与结束时的物体真实位置坐标，以及特定任务的关键参数（如序列顺序、主动/被动物体标识等）。所有任务描述与空间约束均统一存储于task_instruction.json文件中。

特点

该数据集的核心特色在于其高质量的物理真实感与结构化的任务设计。700个示教回合覆盖了抓取、放置、配对、遮盖与堆叠等多样化操作技能，每个任务均定义了明确的物体集合与操作策略。双摄像头视角（基座与腕部）提供了丰富的视觉观测信息，结合完整的机器人状态数据，使数据集适用于模仿学习与行为克隆等范式。此外，每个回合的元数据精确记录了物体在操作前后的二维位置坐标，为评估模型的空间理解能力与操作精度提供了可靠基准。数据集遵循Apache 2.0开源协议，便于学术研究与工业应用。

使用方法

在使用该数据集时，用户可依据任务指令选择对应的子文件夹，读取HDF5轨迹文件以获取连续的图像帧与状态序列。视觉数据可通过双摄像头图像输入神经网络模型，状态数据则用于监督或强化学习的奖励设计。meta.json中的物体真实位置可用于评估模型的预测准确性或作为辅助监督信号。建议将轨迹数据按任务类型划分训练集与测试集，并利用任务描述中的工作空间约束进行数据增强或仿真验证。数据集规模适中（约30万帧），适合在单机上进行模型训练与评估。

背景与挑战

背景概述

该数据集由研究团队在UR5e机械臂与Robotiq 2F-140夹爪平台上构建，配备两台Intel RealSense相机（基座与腕部），于2023年左右发布，聚焦于桌面操作任务的模仿学习。核心研究问题在于为机器人学习领域提供高质量、多任务的真实操作数据，涵盖7种细粒度操作任务（如放置、隐藏、堆叠等），总计700个示范回合，以支持行为克隆与策略泛化研究。其影响力体现在为移动操作与精细控制任务提供了标准化的视觉-状态轨迹数据，推动了桌面级机器人操作从仿真环境向真实场景的迁移，尤其在多任务学习与零样本泛化评估中具有基准价值。

当前挑战

该数据集主要挑战包括三个方面：首先，领域内核心问题在于如何从有限的多任务示范数据中提取可泛化的操作策略，应对物体初始位姿随机性与任务间动作模式差异性带来的策略适配困难；其次，构建过程中需解决高精度视觉-运动同步（20Hz采样率下RGB图像与关节状态的时序对齐）及多视角数据融合难题，同时维护100个回合/任务的一致性（如夹爪自动校准、TCP方向固定）；此外，任务编排存在对称冲突（如隐藏-揭开操作中物体配对顺序的歧义性），需通过元数据记录解决标签噪声与评估偏差问题。

常用场景

经典使用场景

在机器人操作与模仿学习的研究版图中，real_robot_data数据集以其涵盖七类桌面操作任务的丰富轨迹数据，成为训练和评估视觉-运动策略的经典基准。该数据集通过UR5e机械臂与双Intel RealSense摄像头（基座固定视角与腕部随动视角）同步采集，每项任务均包含100个episode、总计约700个演示轨迹，为学习从多模态观测（RGB图像、关节位置、末端执行器位姿）到精确操作动作的映射提供了高保真数据支撑。研究者常利用该数据集验证行为克隆、逆强化学习或端到端模仿学习算法的泛化能力，尤其在多任务场景下评估模型对目标配置变化（如积木位置、遮挡物类型）的鲁棒性。

实际应用

在工业与家庭服务场景中，real_robot_data数据集为开发可快速部署的柔性机器人操作技能提供了关键范本。基于该数据训练的模仿学习模型可直接应用于精密装配、物料分拣等工业场景（如UR5e机械臂的积木拾放操作），其双摄像头配置复现了实际生产线中‘全局监控+局部精调’的感知架构。在服务机器人领域，数据集涵盖的‘遮挡-取出’‘覆盖-隐藏’等任务直接映射到厨房操作（如用碗遮盖食物、从杯底抽取物品）与日常整理任务，为开发无需繁琐编程的零样本技能迁移算法奠定了基础。此外，其Apache 2.0开源协议与结构化元数据（含物体起始/终止姿态）极大降低了产业界复现学术成果的工程门槛。

衍生相关工作

real_robot_data数据集催生了一系列推动机器人学习边界的关键学术工作。在算法层面，扩散策略（Diffusion Policy）与基于Transformer的决策预训练模型（如RT-2）常以其作为微调或零样本评估的基准，验证多模态观测下的动作序列生成能力。基于该数据衍生的‘任务感知逆强化学习’工作，通过利用meta.json中的物体状态标注（如block_order、cup_order），实现了未观测任务目标的学习推断。数据集中‘隐藏与取出’任务的对称性设计，直接启发了用于研究动作因果推理与对象持久性认知的BeT（Behavioral Transformer）变体。此外，双摄同步流数据推动了跨视角特征对齐与视觉状态表征解耦研究，形成了以R3M（Robust Representation with Multi-modal）为代表的基础模型微调范式。