Pick-up-tissues

该数据集由LeRobot创建，专为机器人任务设计，采用apache-2.0许可证。数据集包含32个总片段，13130帧，1个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据以parquet格式存储，视频以mp4格式存储。数据集包含动作和观察状态的特征，以及来自前视和侧视的图像。动作和观察状态的特征包括6个关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹持器位置）。图像特征包括前视（480x640x3）和侧视（1080x1920x3）的视频数据。此外，数据集还包含时间戳、帧索引、片段索引、索引和任务索引等元数据。适用于机器人控制和视觉任务的研究与应用。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Pick-up-tissues
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总任务数: 1
• 总情节数: 61
• 总帧数: 22275
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据块大小: 1000

数据结构

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 全部数据（第0至61个情节）用于训练

数据特征

动作空间

• 名称: action
• 数据类型: float32
• 形状: [6]
• 包含关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测空间

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 包含关节位置: 与动作空间相同

图像观测 - 前视摄像头

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3] (高度, 宽度, 通道)
• 视频信息:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

图像观测 - 侧视摄像头

• 名称: observation.images.side
• 数据类型: video
• 形状: [1080, 1920, 3] (高度, 宽度, 通道)
• 视频信息:
  • 编码格式: av1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

元数据

• 时间戳: timestamp (float32, 形状 [1])
• 帧索引: frame_index (int64, 形状 [1])
• 情节索引: episode_index (int64, 形状 [1])
• 索引: index (int64, 形状 [1])
• 任务索引: task_index (int64, 形状 [1])

技术信息

• 代码库版本: v3.0
• 机器人类型: so_follower

可视化

• 数据集可视化页面: https://huggingface.co/spaces/lerobot/visualize_dataset?path=yuantiantian/Pick-up-tissues

缺失信息

• 主页: 未提供
• 论文: 未提供
• 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，数据集的构建往往依赖于真实的物理交互记录。Pick-up-tissues数据集通过LeRobot平台，利用so_follower型机器人执行拾取纸巾的单一任务，系统采集了61个完整操作片段。数据以每秒30帧的速率记录，包含22275个时序帧，并以分块存储的Parquet格式组织，每块约1000帧，确保了数据的高效存取与管理的便捷性。

特点

该数据集的核心特点在于其多模态的观测信息与精确的动作标注。观测部分融合了机器人本体的六维关节状态，以及来自前方与侧方两个视角的高清视频流，前方图像分辨率为640x480，侧方则达到1920x1080，提供了丰富的视觉上下文。动作空间同样以六维浮点数向量定义，精确对应机器人的关节与夹爪位置，这种结构化的设计非常适合用于模仿学习与机器人策略训练的研究。

使用方法

研究者可通过Hugging Face平台直接访问该数据集，利用其提供的可视化工具直观浏览数据内容。数据集已预分为训练集，包含全部61个片段。在具体应用中，用户可并行加载动作序列、关节状态观测及双路视频流，用于训练端到端的机器人控制模型，或进行行为克隆、强化学习等算法的验证与开发，为机器人灵巧操作研究提供高质量的基准数据。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效策略获取方法，旨在通过演示数据驱动智能体掌握复杂操作技能。Pick-up-tissues数据集由LeRobot社区构建，专注于机器人执行拾取纸巾这一精细操作任务。该数据集收录了61个完整交互序列，涵盖超过22000帧多视角视觉观测与六自由度机械臂关节动作数据，为研究机器人灵巧操作提供了真实世界交互轨迹。其构建依托开源机器人学习框架LeRobot，体现了社区协作在推动机器人技能泛化方面的集体智慧，为模仿学习与强化学习算法提供了宝贵基准。

当前挑战

该数据集致力于解决机器人灵巧操作中物体抓取与姿态调整的泛化难题，其核心挑战在于如何从有限演示中学习鲁棒策略以应对环境动态变化。构建过程中面临多模态数据对齐的复杂性，需同步处理高分辨率视觉流与精确关节状态序列，确保时空一致性。此外，真实世界数据采集受传感器噪声、光照变异及物体形变影响，增加了数据清洗与标注难度。数据规模相对有限，可能制约模型在未见场景下的泛化能力，需通过数据增强或仿真迁移加以弥补。

常用场景

经典使用场景

在机器人操作领域，Pick-up-tissues数据集为机械臂执行精细抓取任务提供了丰富的多模态数据资源。该数据集通过记录机械臂在拾取纸巾这一典型日常操作中的关节位置、视觉观测和时间序列信息，构建了一个包含61个完整交互序列的示范库。研究者可利用这些数据训练端到端的模仿学习模型，使机器人能够从人类演示中学习复杂的抓取策略，尤其适用于处理柔软、易变形的物体，从而提升机器人在非结构化环境中的操作能力。

实际应用

在实际场景中，Pick-up-tissues数据集可直接应用于家庭服务机器人的技能开发，例如在医疗护理或日常清洁中自动处理废弃纸巾。基于该数据集训练的模型能够赋能机械臂在复杂光照和背景干扰下准确识别目标，并执行轻柔、稳定的抓取动作，减少对物体形状和材质的敏感性。这为自动化仓储分拣、柔性生产线装配等工业应用提供了技术原型，加速了机器人从实验室演示向真实世界部署的过渡。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作，主要集中在模仿学习与视觉运动控制交叉领域。例如，研究者利用其多模态特性开发了基于Transformer的序列预测模型，实现了从视觉输入到关节轨迹的端到端映射；另有工作结合逆强化学习算法，从示范中推断潜在奖励函数，以生成适应新环境的抓取策略。这些成果不仅丰富了机器人操作的理论框架，也为LeRobot等开源平台提供了可复现的基准，促进了社区协作与算法迭代。