record-Pastery

这是一个关于机器人学的数据集，由LeRobot创建。数据集包含5个剧集，2177帧，1个任务，5个视频和1个片段。数据集以Parquet文件格式存储，每个片段包含1000帧数据，帧率为30fps。数据集的特征包括动作、观察状态、前视图图像、时间戳、帧索引、剧集索引、索引和任务索引。动作和观察状态特征包含机器人各个关节的位置信息，图像特征为480x640的彩色图像。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置文件: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so100_follower
• 总剧集数: 5
• 总帧数: 2177
• 总任务数: 1
• 总视频数: 5
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:5

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观察状态:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观察图像（前视）:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• 时间戳:
  • 数据类型: float32
  • 形状: [1]
• 帧索引:
  • 数据类型: int64
  • 形状: [1]
• 剧集索引:
  • 数据类型: int64
  • 形状: [1]
• 索引:
  • 数据类型: int64
  • 形状: [1]
• 任务索引:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-Pastery数据集依托LeRobot框架精心构建，通过记录真实机械臂操作任务中的多模态数据。该数据集包含5个完整任务片段，总计2177帧数据，以30fps的帧率采集，数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保了数据的高效存取与处理。

特点

该数据集显著特点在于其丰富的多模态观测与动作空间，包含6自由度关节位置的动作指令及对应的状态观测，同时提供480x640分辨率的前置摄像头视频流。数据结构严谨，每个数据点均附带时间戳、帧索引及任务索引，支持精细的时序分析与策略学习，为模仿学习与强化学习算法提供全面支撑。

使用方法

研究人员可通过加载Parquet格式的数据文件，直接访问动作、状态观测及视频流等多模态信息。数据集已预设训练集划分，涵盖全部5个任务片段，适用于机器人行为克隆、轨迹预测及视觉-运动联合建模等任务，兼容主流机器学习框架进行端到端训练与评估。

背景与挑战

背景概述

机器人学习领域近年来对高质量示范数据的需求日益增长，record-Pastery数据集应运而生。该数据集由LeRobot团队基于Apache 2.0许可证构建，专门针对SO100型机械臂的操作任务。其核心研究聚焦于机器人动作示教与状态观测的对应关系，通过记录6自由度机械臂的关节位置和前端视觉观测，为模仿学习与强化学习算法提供多模态训练数据。尽管具体创建时间和主要研究人员信息尚未公开，但该数据集通过标准化数据格式和丰富的传感器信息，显著推进了机器人操作技能的数据驱动研究范式。

当前挑战

该数据集主要解决机器人操作技能传递的领域挑战，包括高维连续动作空间的示教数据获取与多模态感知的时序对齐问题。在构建过程中面临机械臂控制精度与视觉数据同步的技术难点，需要确保6个关节角度的精确记录与480×640分辨率视频帧的严格匹配。此外，有限的任务多样性（仅包含1个任务类型）和较小的数据规模（5个示教片段）也制约了其在复杂操作场景下的泛化能力，这对数据采集系统的稳定性和后续算法的数据效率提出了更高要求。

常用场景

经典使用场景

在机器人学习领域，record-Pastery数据集为模仿学习算法提供了高质量的示范数据。该数据集通过记录六自由度机械臂执行糕点制作任务时的关节状态、视觉观察和动作序列，为研究人员构建端到端的策略网络提供了多模态训练样本。其精确的时间同步机制和丰富的传感器数据使得算法能够学习从视觉输入到关节控制的复杂映射关系。

衍生相关工作

基于该数据集的特性，研究者开发了多种基于深度学习的机械臂控制算法，包括时空注意力机制的行为克隆模型、多任务强化学习框架等。这些工作显著提升了机器人对复杂操作任务的泛化能力，并催生了系列关于示教数据增强、跨域技能迁移的研究，形成了机器人学习领域新的技术路线。

数据集最近研究

最新研究方向

在机器人学习领域，record-Pastery数据集作为LeRobot项目的重要组成部分，正推动模仿学习与行为克隆技术的前沿探索。该数据集通过记录六自由度机械臂的关节位置与视觉观测数据，为机器人精细操作任务提供了高质量的多模态训练样本。当前研究热点集中于利用此类数据集开发端到端的视觉运动策略网络，结合自监督表征学习提升模型在少样本场景下的泛化能力。随着具身智能研究的兴起，该数据集对促进家庭服务机器人的技能迁移具有重要意义，为真实世界中的物体抓取与放置任务提供了宝贵的基准数据。