real_world_2

Hugging Face2025-12-01 更新2025-12-02 收录

下载链接：

https://huggingface.co/datasets/EfreetSultan/real_world_2

下载链接

链接失效反馈

官方服务：

资源简介：

这是一个关于机器人学的数据集，包含151个剧集，共42047帧，涵盖14个任务。数据集使用LeRobot创建，并以Apache-2.0许可证发布。数据集的结构包括多种特征，如第三人称摄像头视角的视频、机器人状态（包括位置、姿态、夹爪状态、关节角度等）、传感器数据、目标位置等。所有数据以Parquet格式存储，并提供相应的视频文件。

创建时间：

2025-11-28

原始信息汇总

数据集概述

基本信息

数据集名称: real_world_2
创建工具: LeRobot (https://github.com/huggingface/lerobot)
许可证: Apache-2.0
任务类别: 机器人学
标签: LeRobot

数据集规模与结构

总情节数: 151
总帧数: 42047
总任务数: 14
总视频数: 151
数据块数: 1
数据块大小: 1000
帧率: 20 FPS
数据分割: 全部数据（0:151）用于训练
数据格式: Parquet
数据路径模式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
视频路径模式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据特征

观测特征

图像观测
- observation.images.right_third_person_camera_top_right
  - 数据类型: 视频
  - 形状: [360, 640, 3] (高度, 宽度, 通道)
  - 视频信息:
    - 视频帧率: 30.0 FPS (编码), 20 FPS (信息)
    - 视频编解码器: av1
    - 像素格式: yuv420p
    - 是否为深度图: 否
    - 包含音频: 否
状态观测
- observation.state.cartesian
  - 数据类型: float32
  - 形状: [6]
  - 维度名称: ["x", "y", "z", "roll", "pitch", "yaw"]
- observation.state.gripper
  - 数据类型: float32
  - 形状: [1]
  - 维度名称: ["gripper"]
- observation.state.joints
  - 数据类型: float32
  - 形状: [7]
  - 维度名称: ["joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"]
- observation.state.sensors_ft_sensor
  - 数据类型: float32
  - 形状: [6]
  - 维度名称: ["sensors_ft_sensor_0", "sensors_ft_sensor_1", "sensors_ft_sensor_2", "sensors_ft_sensor_3", "sensors_ft_sensor_4", "sensors_ft_sensor_5"]
- observation.state.target
  - 数据类型: float32
  - 形状: [6]
  - 维度名称: ["target_x", "target_y", "target_z", "target_roll", "target_pitch", "target_yaw"]
- observation.state (组合状态)
  - 数据类型: float32
  - 形状: [26]
  - 维度名称: ["x", "y", "z", "roll", "pitch", "yaw", "gripper", "joint_0", "joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6", "sensors_ft_sensor_0", "sensors_ft_sensor_1", "sensors_ft_sensor_2", "sensors_ft_sensor_3", "sensors_ft_sensor_4", "sensors_ft_sensor_5", "target_x", "target_y", "target_z", "target_roll", "target_pitch", "target_yaw"]

动作特征

action
- 数据类型: float32
- 形状: [7]
- 维度名称: ["x", "y", "z", "roll", "pitch", "yaw", "gripper"]

元数据特征

timestamp: float32, 形状[1]
frame_index: int64, 形状[1]
episode_index: int64, 形状[1]
index: int64, 形状[1]
task_index: int64, 形状[1]

技术信息

代码库版本: v2.1
机器人类型: franka

搜集汇总

数据集介绍

构建方式

在机器人学领域，真实世界数据的采集对于模型训练至关重要。real_world_2数据集依托LeRobot平台构建，通过Franka机器人执行14种不同任务，采集了151条完整交互轨迹。数据以Parquet格式存储，每条轨迹包含多模态观测信息，如视觉图像、关节状态、笛卡尔位姿及力传感器读数，并以20帧每秒的频率记录，确保了时序连续性。整个采集过程系统化，涵盖了从原始传感器数据到结构化特征的整合，为机器人控制研究提供了丰富的现实场景基础。

特点

该数据集的核心特点在于其多维度的状态表征与高真实度。观测部分融合了第三方摄像头捕捉的360x640分辨率RGB视频，以及26维的状态向量，细致刻画了机器人的末端位姿、关节角度、夹爪开合与六维力信息。动作空间则定义为7维连续控制指令，覆盖了位置、姿态与夹爪操作。数据集规模适中，包含42047帧数据，所有样本均源自真实物理交互，避免了仿真环境与现实的差异，为模仿学习与强化学习算法提供了极具价值的训练素材。

使用方法

研究人员可通过HuggingFace平台直接访问该数据集，利用其预定义的Parquet文件结构进行加载。数据按轨迹分块存储，支持按帧索引或任务索引进行检索。典型应用包括端到端策略学习，其中观测数据作为输入，动作数据作为监督信号；亦可用于行为克隆或离线强化学习算法的基准测试。由于数据集已集成至LeRobot生态，用户可借助相关工具链进行可视化、预处理或与仿真环境结合，以加速机器人智能体的开发与验证流程。

背景与挑战

背景概述

在机器人学习领域，真实世界交互数据的稀缺性长期制约着模仿学习与强化学习算法的实际部署。real_world_2数据集应运而生，由HuggingFace的LeRobot项目团队构建，专注于采集Franka机械臂在真实环境中的多模态操作数据。该数据集涵盖了14类任务、151条完整轨迹与超过四万帧的同步观测记录，其核心研究问题在于如何通过高质量的真实交互数据，弥合仿真训练与物理系统之间的语义鸿沟，从而推动机器人策略在复杂动态场景中的泛化能力与鲁棒性提升。

当前挑战

该数据集旨在解决机器人操作任务中模仿学习与策略泛化的核心挑战，其难点在于真实环境的物理不确定性、传感器噪声干扰以及任务执行中的动态变化。在构建过程中，研究人员面临多模态数据的高效同步与对齐问题，需确保视觉、关节状态、力觉与动作指令在时间维度上的一致性。此外，数据采集涉及复杂的硬件集成与安全约束，如何在保证机器人操作安全的前提下，覆盖多样化的任务场景并维持数据质量，成为数据集构建的关键技术瓶颈。

常用场景

经典使用场景

在机器人学习领域，real_world_2数据集以其丰富的多模态观测和动作记录，为模仿学习与强化学习算法的训练与验证提供了关键支持。该数据集通过Franka机器人采集的真实世界交互数据，涵盖了14种不同任务场景，包含图像、关节状态、力传感器读数及目标位姿等多维度信息，使得研究者能够基于实际物理交互轨迹，构建端到端的策略模型，从而推动机器人自主操作能力的提升。

衍生相关工作

围绕real_world_2数据集，已衍生出多项专注于机器人技能学习的经典研究工作。这些工作通常利用其多模态序列数据，开发先进的序列建模架构，如时空注意力网络与扩散策略模型，以处理长时程任务规划。同时，该数据集也常被用于基准测试，评估不同模仿学习算法在真实世界中的泛化性能，推动了机器人学习社区在数据高效利用与跨任务迁移方面的持续探索。

数据集最近研究