hang_mug_on_wooden_hanger

该数据集使用 LeRobot 框架创建，源于机器人遥操作任务，目标是将一个杯子挂到木制衣架上。数据采集自一台 UR5 机械臂（配置为 mantis_follower 模式），包含 49 个示范片段（episode），共计 12616 帧，以 15 帧/秒的帧率记录。每个时间步包含 7 维动作（6 个关节位置 + 夹爪位置）和相同的 7 维状态观测，同时提供左右两个视角的 RGB 图像（分辨率 720×1280，AV1 编码）以及左右深度图（720×1280，单通道，HEVC 无损编码，深度单位为毫米）。数据以 Parquet 格式存储结构化信息，视频以 MP4 格式存储。该数据集适用于机器人操作策略学习、模仿学习、遥操作分析等任务，许可证为 Apache-2.0。This dataset was created using the LeRobot framework, originating from a robot teleoperation task with the goal of hanging a cup on a wooden coat rack. Data was collected from a UR5 robotic arm (configured in mantis_follower mode), containing 49 demonstration episodes totaling 12,616 frames recorded at 15 frames per second. Each timestep includes 7-dimensional actions (6 joint positions + gripper position) and the same 7-dimensional state observations, along with RGB images from left and right perspectives (resolution 720×1280, AV1 encoding) and left and right depth maps (720×1280, single channel, HEVC lossless encoding, depth in millimeters). Structured data is stored in Parquet format, and videos are stored in MP4 format. This dataset is suitable for robot manipulation policy learning, imitation learning, teleoperation analysis, and other tasks. The license is Apache-2.0.

原始信息汇总

数据集概述：hang_mug_on_wooden_hanger

基本信息

• 任务类型：机器人学（Robotics）
• 标签：LeRobot、UR5、操控、遥操作
• 许可证：Apache-2.0
• 创建工具：使用LeRobot框架创建

数据集内容

该数据集记录了将杯子挂到木衣架上的机器人操控任务，共包含：

• 总片段数：49个
• 总帧数：12,616帧
• 任务数量：1个
• 训练集：全部49个片段（0:49）

数据特征

动作与状态

• action：7维浮点数组，包含UR5机械臂的左肩关节、肘关节、腕关节位置以及夹爪位置
• observation.state：与动作结构相同的7维状态向量

视觉观测

• RGB图像：左右两个摄像头，分辨率720×1280，3通道，AV1编码，15 FPS
• 深度图像：左右两个深度摄像头，分辨率720×1280，1通道（毫米深度），HEVC无损编码，15 FPS

其他特征

• timestamp：时间戳（float32）
• frame_index：帧索引（int64）
• episode_index：片段索引（int64）
• index：全局索引（int64）
• task_index：任务索引（int64）

技术规格

• 数据格式：Parquet文件（存储路径：data/chunk-{编号}/file-{编号}.parquet）
• 视频格式：MP4文件（存储路径：videos/{视频键}/chunk-{编号}/file-{编号}.mp4）
• 数据文件大小：约100 MB
• 视频文件大小：约200 MB
• 采样频率：15 FPS
• 机器人类型：mantis_follower

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，采用遥操作方式采集UR5机械臂执行挂置马克杯至木质衣架任务的数据。数据采集过程中，机械臂状态（包括七个关节角度及夹爪位置）与左右两路高分辨率视觉图像（1280x720）及深度信息同步记录，采样频率为15赫兹。累计收录49个完整操作轨迹，共计12616帧数据，所有数据均以Parquet格式存储于分块文件中，并辅以视频编码压缩的视觉流，实现了结构化与高效存取。

使用方法

本数据集专为机器人模仿学习与操作技能习得研究设计，可直接输入至LeRobot等学习框架中。研究者可依据提供的数据结构，利用train划分进行模型训练，并在仿真或实体机器人上验证策略性能。配合HuggingFace平台的可视化工具，能够直观审查轨迹质量与传感器同步状态。数据集中动作与状态空间的明确定义，便于提取特征并实施端到端的策略学习，加速机器人精细化操作的研发迭代。

背景与挑战

背景概述

该数据集由khoviadin等人于近期创建，基于Hugging Face的LeRobot框架，旨在收集UR5机械臂执行挂置马克杯于木质衣架这一精细操作任务的演示数据。作为机器人学习领域的重要资源，它聚焦于模拟真实家庭场景中的非结构化操作，通过遥操作采集了49个回合、逾1.2万帧的高保真数据，涵盖7维关节指令与多视角视觉及深度信息，为研究灵巧操作、视觉伺服和模仿学习提供了高质量的基准。其发布促进了机器人从感知到动作的端到端学习范式发展，对推动具身智能在复杂环境中的泛化与应用具有显著影响力。

当前挑战

该数据集面临的挑战首要在于解决精细操作中的高精度控制与动态环境适应问题，要求模型能够处理微小的位姿误差和不可预见的物体状态变化，这对算法的鲁棒性构成考验。在数据构建层面，遥操作过程需确保动作一致性与时间同步，同时维护多模态数据（视觉、深度、关节状态）的对齐，并克服传感器噪声与标定误差；此外，数据规模有限（49个回合）可能限制模型的泛化能力，而高分辨率视频编解码及深度图压缩则增加了数据处理和学习的难度，这些因素共同构成了从数据采集到算法训练的全链条挑战。

常用场景

经典使用场景

该数据集聚焦于机器人操作领域中的精细抓取与放置任务，具体为将马克杯精准挂至木质衣架。基于UR5机械臂与遥操作获取的49个演示轨迹，涵盖关节角度、末端执行器状态及双目视觉与深度图像流，为模仿学习与强化学习提供高保真的多模态训练样本。其典型使用场景包括训练策略网络以实现从视觉观测到动作映射的端到端控制，评估模型在接触丰富、几何约束严格的操作中的鲁棒性，以及作为基准测试多任务学习与跨域泛化算法的有效性。

解决学术问题

该数据集有效回应了机器人学习中对复杂接触操作数据稀缺的瓶颈，尤其解决了非刚体交互与高精度位姿估计等经典难题。通过提供包含深度信息与多视角视觉的高频同步数据，研究可深入探索视觉伺服控制中的不确定性建模、抓取姿态生成中的几何推理以及模仿学习中的动作分布校准。其意义在于助推具身智能从简单拾放向结构依赖型任务扩展，为验证因果推理、少样本迁移等前沿理论提供了可控的实验场域，提升了学术研究对物理世界交互规律的建模能力。

实际应用

在现实世界中，该数据集可直接服务于智能家居与仓储自动化的核心环节，例如机器人助老服务中的餐具整理、零售场景的挂件摆放及实验室器皿复位。其演示数据可迁移至UR5及同构机械臂平台，通过微调适配不同视觉传感器与夹具配置，支持快速部署柔性生产单元。此外，结合遥操作收集的数据形态，该集还能用于开发人机协同半自动控制系统，辅助非专家用户完成高难度挂放操作，对提升服务机器人在非结构化环境中的自主性具有直接的应用价值。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作领域，特别是基于UR5机械臂的‘悬挂杯子于木质衣架’任务，其核心在于利用遥操作技术捕捉高精度动作数据。前沿研究方向包括少样本模仿学习，即通过有限的人类演示数据让机器人快速掌握复杂装配或悬挂技能；同时，数据集的多模态感知（如双目视觉与深度图）为多传感器融合的机器人学习模型提供了坚实基础，推动了具身智能体在非结构化环境中的泛化能力研究。其APACHE-2.0协议和与LeRobot框架的兼容性，促进了开源社区在机器人操作任务上的协作与基准测试，对实现家庭级机器人自主操作具有里程碑意义。