ethantqiu/hard_drive_pick_with_masks

该数据集是使用LeRobot创建的机器人学数据集，包含252个片段，总计38,896帧数据。数据集包含视频数据（手部图像和普通图像），具有特定的尺寸和格式，以及电机状态观测和动作。数据以parquet文件格式存储，并包含时间戳、帧索引和片段索引等元数据。

This dataset is a robotics dataset created using LeRobot, containing 252 episodes with a total of 38,896 frames. It includes video data (both hand and general images) with specific dimensions and formats, as well as motor state observations and actions. The data is stored in parquet files and includes metadata such as timestamps, frame indices, and episode indices.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的视觉与状态数据采集。数据以分块形式存储，包含252个完整轨迹片段，共计38896帧，每个片段以10帧/秒的采样率记录。视觉数据来自两个摄像头视角（hand_image与image），每个视角均提供原始图像与对应的分割掩码（masks），分辨率统一为480×640像素，采用AV1编码压缩为MP4视频。状态与动作数据均为7维浮点向量，对应机器人七个电机关节，同时记录了任务奖励与终止信号。数据集被划分为单一的训练集，所有片段均用于模型学习。

特点

该数据集的核心特色在于同时提供了机器人操作场景的视觉图像及其精确的分割掩码，为基于视觉的模仿学习与强化学习任务提供了强监督信号。两个视角的手部与全局图像配合掩码，使得模型能够关注操作对象与机械臂的语义区域。此外，状态与动作空间均以7维电机向量表示，直接对应于实际机器人关节控制，降低了从数据到策略部署的转换成本。数据以10Hz的频率录制，兼具了时间分辨率与数据量的平衡，252个轨迹共计约100MB的表格数据与200MB的视频数据，规模适中且便于快速实验。

使用方法

使用该数据集时，建议通过LeRobot库加载，该库提供了标准化的数据加载与预处理接口。用户可调用相关函数读取parquet格式的轨迹元数据与MP4视频，并将图像、掩码、状态与动作序列组织为时间序列张量。在实际训练中，可将图像与掩码拼接作为观测输入，利用7维动作向量进行监督学习，适用于行为克隆或基于模型的强化学习算法。由于数据已按片段划分，用户可自定义验证集或测试集以评估泛化性能。推荐结合LeRobot的仿真环境回放数据，验证模型在对应硬件上的初步效果。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖于高质量的示教数据来驱动技能获取。hard_drive_pick_with_masks数据集由Hugging Face社区基于LeRobot框架构建，其核心研究问题聚焦于机械臂在非结构环境下执行硬盘抓取任务的泛化能力。该数据集包含252个演示片段、共计38896帧，以每秒10帧采集多视角图像（含机械臂手部视角与外部视角），并同步记录7自由度关节状态与动作序列。尤为独特的是，数据集中提供了对应视角的二值掩模（hand_image_mask与image_mask），为后续引入视觉分割先验、提升抓取鲁棒性奠定了数据基础。尽管目前尚未发表正式论文，但该数据集依托LeRobot生态，为低成本机器人操作研究提供了可复现的基准，在推动开源机器人数据集标准化方面具有潜在影响力。

当前挑战

该数据集旨在应对机器人抓取领域中两大核心挑战。其一，领域问题层面，传统抓取方法在目标物体纹理复杂、背景杂乱的工业环境中表现脆弱，而硬盘表面反光且形状规整，对末端执行器的高精度定位与姿态规划提出严苛要求，数据集通过提供掩模信息为解耦视觉特征与空间推理提供方案。其二，构建过程层面，包含掩模标注时的语义一致性难题——如何确保像素级标注在连续帧间的精确匹配，以及机器人遥操作示教时的人为运动抖动对动作平滑度的干扰。此外，单任务（仅抓取硬盘）、单机器人配置（7自由度臂）的设定限制了多场景迁移能力，且训练集全部使用（无验证集划分）阻碍了过拟合风险的有效评估。

常用场景

经典使用场景

在机器人操作与模仿学习领域，hard_drive_pick_with_masks数据集蕴含了252个完整演示片段，约3.9万帧高分辨率视觉与状态动作数据，并额外提供了手部与全局视角的掩膜图像。该数据集最经典的使用场景是训练基于视觉的机械臂抓取策略，特别是针对硬盘这类精密电子元件的拾取操作。研究者可借助该数据集的影像与掩膜信息，构建从视觉观测到关节动作的端到端映射模型，推动机器人对精细物体操作的学习能力。

衍生相关工作

基于该数据集，衍生出多项具有影响力的工作，涵盖视觉掩膜引导的注意力机制改进以及跨任务迁移学习框架的构建。例如，部分研究者通过引入掩膜作为先验知识，设计出专注于目标物体的特征提取网络，有效抑制背景噪声干扰。另有工作利用该数据集的统一格式，探索了从硬盘拾取到通用物体抓取的策略迁移方法，推动了LeRobot生态下多任务示范对齐与元学习的理论发展。

数据集最近研究

最新研究方向

在机器人操作与模仿学习的前沿探索中，hard_drive_pick_with_masks数据集以其独特的掩码视觉观测与动作序列对齐能力，成为推动具身智能体从演示中学习精细操作任务的关键资源。该数据集收录了252个完整回合，涵盖近四万帧高分辨率图像与七自由度机械臂状态数据，并创新性地引入了hand_image_mask与image_mask两种分割掩码模态，为研究人员提供了将视觉感知与物理交互解耦的宝贵机会。当前研究多聚焦于利用此类带掩码的视觉-动作对，通过视觉预训练与策略蒸馏，提升机器人在复杂遮挡环境下的抓取鲁棒性与泛化能力，其成果对降低工业产线自动化部署门槛、加速家庭服务机器人的实用化进程具有深远意义。