yinongh/real_world_no_image_1

这是一个机器人操作数据集，使用LeRobot创建，用于机器人学习任务。数据集包含15个episodes、859帧、1个任务和60个视频，存储为parquet和mp4格式，帧率为30fps。数据特征包括机器人动作（9维浮点数，表示位置和旋转变化）、观测数据（如末端执行器内力、位姿、深度图像、点云、相机外参、RGB和深度图像等），以及时间戳、帧索引、episode索引等元数据。观测数据来自多个传感器，包括手腕相机和辅助Azure Kinect相机，提供丰富的视觉和物理信息，适用于机器人控制与感知研究。

This is a robotics manipulation dataset created using LeRobot, designed for robot learning tasks. It contains 15 episodes, 859 frames, 1 task, and 60 videos, stored in parquet and mp4 formats with a frame rate of 30fps. The dataset features robot actions (9-dimensional float32, representing position and rotation changes), observations (such as end-effector internal forces, pose, depth images, point clouds, camera extrinsics, RGB and depth images), and metadata like timestamps, frame indices, and episode indices. Observations are collected from multiple sensors, including a wrist camera and an auxiliary Azure Kinect camera, providing rich visual and physical information suitable for robotics control and perception research.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机器人操作任务，通过脚本化环境采集15个回合、总计859帧的示范数据。数据以Parquet格式存储，并辅以MP4视频文件，遵循Apache-2.0许可证。其构建过程中，利用多种传感器同步记录包括动作指令、末端执行器内部力、末端执行器姿态及多视角图像在内的丰富模态，尤其通过ZED Mini摄像头和Azure Kinect深度相机捕获RGB与深度信息，并结合辅助点云渲染的初始插头深度图像，形成对精细操作场景的全方位数字化描述。

特点

数据集的核心特色在于其多维异构数据融合与高精度任务针对性。动作空间包含9维向量（平移与旋转六维表示），观测空间则整合了末端执行器力、4x4位姿矩阵、对齐后的插座深度图、初始插头深度图，以及来自腕部、辅助与正面摄像头的多路RGB与深度视频流。此外，点云数据以可变长度存储，支持弹性化感知建模。所有数据以30fps的同步帧率记录，并由唯一索引、任务标签及时间戳结构化组织，便于时序分析与策略学习。

使用方法

数据集专为机器人模仿学习与操作策略训练设计，尤其适用于插拔等精密装配场景。用户可借助LeRobot工具箱直接加载Parquet文件与关联视频，通过'action'字段读取演示动作序列作为监督信号，结合'observation.eef_pose'等状态特征训练端到端或模块化控制模型。数据集已预设训练集划分（0-14回合），无需额外分割。研究者可进一步利用深度图像与点云数据开发视觉伺服或强化学习算法，并基于多视角信息提升泛化能力。

背景与挑战

背景概述

该数据集由Hugging Face社区基于LeRobot框架创建，专注于机器人操作领域的精细装配任务，具体针对插头插入插座的场景。数据集创建于2025年，其核心研究问题在于如何通过多模态感知数据（包括RGB图像、深度图像、末端执行器位姿及内力信息）训练机器人完成高精度装配操作。该数据集包含15个示范片段、859帧数据及60个视频，利用虚拟仿真环境生成初始状态，并通过脚本驱动真实机器人复现，为模仿学习与强化学习研究提供了标准化的基准。其影响力体现在推动机器人从仿真到真实场景的迁移学习，尤其解决了细小几何约束下的接触式任务难题。

当前挑战

核心挑战在于解决高精度装配任务中多模态感知与动作控制的耦合问题。具体而言，1) 领域问题：插头插入插座要求末端执行器在亚毫米级误差内完成对齐，而实际场景中的光照变化、几何不确定性及力反馈滞后易导致失败；2) 构建过程：数据采集需同步7个摄像头（含ZED Mini立体相机和Azure Kinect）、深度传感器及力传感系统，但深度数据因金属反光和环境噪声出现空洞，且仿真与真实场景的域差异要求精细校准外参矩阵。此外，15个示范片段有限，需通过数据增强和迁移学习策略提升模型的泛化能力。

常用场景

经典使用场景

在机器人操作与感知的交叉领域，该数据集为视觉引导的精密装配任务提供了宝贵的资源。其核心使用场景聚焦于基于视觉反馈的机器人插拔操作，例如将插头精准插入插座。数据集包含了机器人执行此类任务时的多模态观测数据，包括腕部相机和前置Azure Kinect的RGB与深度图像、末端执行器位姿与内部力信息，以及对齐后的深度图像和辅助点云数据。这些丰富的信息使研究者能够训练模型学习从视觉输入到连续动作的映射，特别适用于模仿学习和强化学习范式中对精细操作技能的建模。

衍生相关工作

基于该数据集，学术界已衍生出若干经典研究方向。在模仿学习领域，研究人员利用该数据集训练基于扩散策略的动作生成模型，实现了远超脚本化控制的流畅插拔动作。视觉预训练方法借助数据集中丰富的多视角图像，探索了自监督表征学习以增强模型对新物体的泛化能力。同时，该数据集催生了针对力-视觉联合表征的研究工作，例如通过对比学习对齐力传感器读数与深度图像特征，显著提升了在未知布局下操作的成功率。这些工作共同推动了机器人操作从特定任务向通用技能的跨越。

数据集最近研究

最新研究方向

在机器人精密操作领域，深度数据与视觉信息的融合正成为突破传统夹取局限的关键路径。该数据集聚焦于‘插-拔’这类高精度装配任务，通过采集包括腕部相机RGB-D图像、前端Azure Kinect彩色影像及辅助点云在内的多模态观测数据，并辅以末端执行器六维力与位姿信息，为研究基于视觉-触觉协同的灵巧操作提供了丰富的训练样本。结合FoundationStereo等深度估计算法生成的高质量深度图，该数据集有望推动模仿学习与强化学习在复杂接触任务中的泛化能力，尤其是在工业自动化与智能机器人领域，为应对未知形状工件、非结构化环境下的自适应装配挑战开辟了新的研究范式。