laundry_grasp

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含95个episodes，总计93636帧，数据文件大小为100MB，视频文件大小为200MB，帧率为60fps。数据集结构包括动作和观察状态，其中动作数据包含5个浮点型特征（vel_x, vel_y, vel_z, wrist_speed, finger_speed），观察状态包含17个浮点型特征（如gripper位置、旋转、手指角度、激光测距仪等）。此外，数据集还包含来自三个不同摄像头的视频数据（gripper_camera, anchor_camera_1, anchor_camera_2），分辨率分别为384x384和544x960。所有数据以parquet文件格式存储，视频以mp4格式存储。数据集适用于机器人控制、动作识别等任务。

原始信息汇总

数据集概述：naavox/laundry_grasp

基本信息

• 数据集名称: laundry_grasp
• 许可证: Apache-2.0
• 任务类别: 机器人（Robotics）
• 标签: LeRobot
• 构建工具: 基于 LeRobot 创建

数据集规模

• 总帧数: 93,636 帧
• 总片段数: 95 个片段
• 总任务数: 1 个任务
• 帧率: 60 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据集结构

数据划分

• 训练集: 片段索引 0 至 94（共 95 个片段）

文件组织

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征信息

动作（Action）

• 数据类型: float32
• 维度: 5 维
• 命名: 速度_x, 速度_y, 速度_z, 手腕速度, 手指速度

观察状态（Observation.State）

• 数据类型: float32
• 维度: 17 维
• 命名: 速度_x, 速度_y, 速度_z, 手腕速度, 手指速度, 夹爪位置_x, 夹爪位置_y, 夹爪位置_z, 夹爪旋转_0~5, 手指角度, 激光测距仪, 手指压力

观察图像（Observation.Images）

• gripper_camera: 分辨率 384×384，3 通道，AV1 编码，60 FPS
• anchor_camera_1: 分辨率 544×960，3 通道，AV1 编码，60 FPS
• anchor_camera_2: 分辨率 544×960，3 通道，AV1 编码，60 FPS

其他字段

• timestamp: float32，1 维
• frame_index: int64，1 维
• episode_index: int64，1 维
• index: int64，1 维
• task_index: int64，1 维

机器人类型

• 机器人型号: stringman

可视化

• 可通过 LeRobot 提供的可视化工具在线查看数据集，访问路径为 https://huggingface.co/spaces/lerobot/visualize_dataset?path=naavox/laundry_grasp

引用

• 论文: 暂无
• 主页: 暂无

搜集汇总

数据集介绍

构建方式

在机器人抓取与操作领域，数据采集的精细度直接决定了模型泛化能力的上限。该数据集依托于LeRobot框架构建，通过操作Stringman机械臂在真实场景中执行衣物抓取任务，共采集了95个演示回合，累积超过9.3万帧高时间分辨率数据。数据以60帧每秒的速率同步记录，并采用分块存储策略，将关键动作参数与多视角视觉信息分别以parquet和AV1视频格式归档，确保了大规模数据的高效存取与后续处理的可扩展性。

特点

该数据集在结构上呈现出鲜明的多模态与高维度特性。动作空间包含了末端执行器的线速度、腕部及夹指速度等5维连续控制量，而观测空间则由17维状态信息与三路高清视觉流共同构成。其中，gripper_camera提供384×384像素的局部特写，两台anchor_camera则以960×544像素的广角视野捕获全局场景，这种由近及远的视觉布局为细粒度抓取策略的学习提供了丰富的上下文线索。此外，激光测距与夹指压力等触觉信号的引入，进一步丰富了数据表征的物理交互维度。

使用方法

此数据集专为模仿学习与离线强化学习场景设计，在LeRobot生态系统中可被直接调用。用户通过调用datasets库加载配置并指定default子集，即可获取结构化的时序数据流。每个数据样本均包含完整的动作序列、多视角影像与机器人状态，便于构建端到端的抓取策略模型。值得关注的是，该数据集提供了高帧率的连续回合记录，特别适合用于训练具备时间序列建模能力的扩散策略或Transformer架构。研究人员可在Hugging Face平台上通过可视化入口快速预览数据质量，从而加速算法验证与迭代过程。

背景与挑战

背景概述

在机器人操作领域，处理柔性、可变形的物体（如衣物）一直是极具挑战性的前沿问题。衣物因其无固定形态、高度柔性的特性，使得传统的基于刚性物体抓取的算法与感知方法难以直接应用。laundry_grasp数据集的创建，正是为了应对这一难题。该数据集由Naavox团队使用LeRobot框架构建，专注于衣物抓取这一单一但复杂的机器人操作任务。数据集包含95个episode，共计93,636帧，以60帧/秒的高频采集了多视角视觉与机械臂状态数据。其核心研究问题在于，如何让机器人通过模仿学习，实现对任意状态衣物的稳定抓取。该数据集的发布为机器人领域的柔性物体操作研究提供了一个高质量、标准化的基准，极大地推动了从实验室环境向真实家庭服务场景的迁移。

当前挑战

该数据集所解决的领域核心挑战在于衣物抓取的极度不稳定性：衣物的几何形状与质心在操作过程中持续变化，机器人需要实时感知并自适应地调整抓取策略。传统的刚体抓取算法无法处理此类非线性、高自由度的变形体，亟需结合视觉伺服与触觉反馈的新范式。在数据集构建过程中，技术挑战同样严峻：首先，需要设计一套复杂的多模态传感系统，包括3个不同视场与分辨率的摄像头（一个384x384的夹爪摄像头和两个960x544的锚点摄像头）以及一个激光测距仪，以覆盖操作空间的多尺度信息。其次，高频数据流（60fps）要求硬件系统具备低延迟同步能力。此外，衣物状态的无标号特性使得数据标注极为复杂，如何在每帧中精确对应机器人动作与衣物当前的变形状态，是保证数据质量的关键瓶颈。

常用场景

经典使用场景

在机器人操作与灵巧抓取研究领域中，laundry_grasp数据集为柔性物体操作任务提供了宝贵的高质量演示数据。该数据集依托LeRobot框架构建，采集了95个操作片段、总计超过9万帧的高频（60 FPS）多模态信息，涵盖机械臂末端的线速度、腕部转速、夹爪开合速度等5维动作指令，以及包含夹爪位姿、手指角度、激光测距与压力传感在内的17维状态观测。配合三路高清视觉输入——夹爪近景与双锚定视角——该数据集特别适用于通过模仿学习方法训练机器人完成衣物抓取等非刚体操作，是探索可形变物体自主操纵的标准化评测基准。

解决学术问题

该数据集直面柔性物体操作中的状态感知与复杂动力学建模难题。此前，针对衣物、毛巾等可变形材料的机器人抓取缺乏统一的高频多模态数据集，导致模仿学习与强化学习算法在泛化性上受限。laundry_grasp通过提供同步的动作指令、关节状态、压力反馈与多视角视觉流，使研究者能够精细解构抓取过程中的力位混合控制策略。其公开的标准化数据格式与LeRobot生态的兼容性，有效降低了机器人学习领域的实验复现门槛，推动了对非结构化家庭服务场景中操作基元的系统性探索。

衍生相关工作

基于该数据集的经典衍工作主要包括：利用LeRobot框架构建的端到端模仿学习流水线，验证了多视角注意力机制在形变物体抓取中的有效性；基于动作分块（Action Chunking）策略开发的时间序列预测模型，展示了其在长程操作任务中的优异性能；此外，跨具身迁移研究通过将stringman平台的抓取策略映射至其他机械臂构型，证实了数据集动作表征的普适性。相关成果持续推动衣物操作从单任务示范向多任务、可变环境的泛化范式演进。