rollout_pick_n_place_dagger_r1

该数据集是一个用于机器人学研究的演示数据集，由LeRobot项目创建。数据集记录了机器人执行拾取与放置（pick and place）任务的过程。数据采用时间序列格式组织，包含机器人动作指令、关节状态观测以及来自两个摄像头（前置视角和带标注视角）的视觉观测视频。具体而言，每个数据样本包含一个6维的浮点型动作向量，对应肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置；一个6维的浮点型观测状态向量，反映上述关节的实时位置；两个分辨率为480x640的RGB视频观测流（帧率为30fps，使用AV1编解码器）；以及时间戳、帧索引、回合索引、样本索引和任务索引等元数据。数据集总规模为1个任务回合，包含788个时间步（帧）的数据。数据以Parquet文件格式存储，适用于机器人模仿学习（如DAgger算法）、策略学习、状态估计等研究任务。

This dataset is a demonstration dataset for robotics research, created by the LeRobot project. It records the process of robots performing pick-and-place tasks. The data is organized in time-series format, including robot action commands, joint state observations, and visual observation videos from two cameras (front view and annotated view). Specifically, each data sample contains a 6-dimensional floating-point action vector corresponding to shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position; a 6-dimensional floating-point observation state vector reflecting the real-time positions of the above-mentioned joints; two RGB video observation streams with a resolution of 480×640 (30 fps frame rate, using the AV1 codec); as well as metadata such as timestamps, frame indices, episode indices, sample indices, and task indices. The total scale of the dataset is 1 task episode, containing 788 time steps (frames) of data. The data is stored in Parquet file format, which is applicable to research tasks such as robotic imitation learning (e.g., DAgger algorithm), policy learning, and state estimation.

原始信息汇总

数据集概述

• 数据集名称: rollout_pick_n_place_dagger_r1
• 许可证: Apache-2.0
• 任务类别: 机器人 (robotics)
• 标签: LeRobot
• 创建工具: 本数据集使用 LeRobot 创建

数据集结构

• 数据格式: Parquet 文件 (位于 data/*/*.parquet)
• 数据总帧数: 788 帧
• 总任务数: 1
• 总集数: 1
• 帧率: 30 FPS
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 机器人类型: so_follower

特征 (Features)

特征名	数据类型	形状	说明
action	float32	(6,)	机器人动作: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	(6,)	机器人状态 (与动作维度相同)
observation.images.front	video	(480, 640, 3)	前置摄像头视频 (AV1 编码, 30 FPS)
observation.images.annotated	video	(480, 640, 3)	标注版视频 (AV1 编码, 30 FPS)
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	集索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据集划分

• 训练集: 0:1 (全部数据用于训练)

文件路径结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

您可以通过 此处 在线可视化本数据集。

搜集汇总

数据集介绍

构建方式

在机器人模仿学习领域，数据采集的精准性与多样性直接决定了策略泛化的上限。该数据集基于LeRobot框架构建，采用DAgger（数据集聚合）算法进行交互式迭代采集，通过专家策略与机器人本体在仿真或真实环境中的滚动部署（rollout），逐步扩充高质量演示样本。数据存储格式为Parquet与MP4视频结合，其中动作与状态信息以浮点型张量记录，涵盖六自由度机械臂的关节位置与夹爪控制信号，视觉观测则包含前视相机与标注视图，以30帧每秒的AV1编码视频保存，确保时空连续性。

使用方法

使用该数据集时，可借助LeRobot库的标准化加载接口直接读取Parquet与视频文件。用户需依赖HuggingFace的datasets模块或LeRobot提供的Dataset类，通过指定配置名'default'自动索引路径为'data/*/*.parquet'的数据块。训练前，建议将视觉帧尺寸从480x640调整至模型匹配分辨率，并归一化关节角度。由于数据仅含训练集，无需额外划分，可直接用于行为克隆或DAgger风格策略的初始训练阶段。

背景与挑战

背景概述

在机器人操作任务中，模仿学习与数据驱动的方法日益成为研究焦点，尤其是在精细操作领域如抓取与放置任务。rollout_pick_n_place_dagger_r1数据集由研究者anikitakis于近期创建，依托Hugging Face的LeRobot框架，旨在通过DAgger（数据集聚合）策略为机器人提供高效的示教数据。该数据集聚焦于So_Follower机器人的六自由度关节控制，前向视觉观测以及标注图像信息，支撑从单任务场景中学习抓取与放置策略。尽管该数据集规模较小（单任务、788帧），但其结构化的动作与状态特征以及视频数据为后续算法验证和模型微调奠定了基础。作为LeRobot生态的一部分，该数据集推动了机器人学习领域中真实操作数据标准化与共享的进程。

当前挑战

本数据集主要应对两大挑战。其一，在领域问题层面，机器人抓取与放置任务需要克服高维连续动作空间、复杂动力学与视觉反馈的耦合问题，而DAgger策略需要高效整合专家示教与自生轨迹，以缓解分布偏移导致的策略退化。其二，在构建过程中，该数据集面临单任务、小样本（仅1个episode）带来的泛化性局限，以及缺少大规模多样化场景和任务标注的困难。此外，数据采集依赖真实机器人环境，成本较高，且视频编码与预处理流程（如AV1格式）可能引入额外计算负担，影响数据集的可扩展性与复现一致性。

常用场景

经典使用场景

在机器人学习领域，模仿学习是使机器人获取复杂操作技能的重要范式，而高质量的数据集则是其成功的基石。rollout_pick_n_place_dagger_r1数据集专为经典的“抓取与放置”任务而设计，记录了单条机器人演示轨迹，包含788帧序列数据，每帧涵盖六维关节角度动作、状态信息以及来自前视和标注视角的视觉图像。该数据集最经典的使用场景是作为DAgger（数据集聚合）算法的训练与验证载体，用于训练机器人从视觉观测直接映射到动作输出的策略网络，从而复现精准的物体抓取与搬运行为。其结构简洁、模态统一，非常适合作为模仿学习入门研究的基准数据。

解决学术问题

该数据集解决了一个核心学术问题：如何在有限演示数据下提升机器人模仿学习策略的鲁棒性和泛化能力。DAgger算法通过在线交互与专家纠正相结合，有效缓解了传统行为克隆中“分布偏移”导致的性能退化问题。该数据集虽然仅包含单个回合的数据，但恰好提供了一个高度可控的实验环境，使研究者能够聚焦于评估DAgger框架在克服策略执行时累积误差方面的效果。这一问题的解决，推动了机器人从静态演示学习迈向更接近真实动态场景的主动学习范式，对理解人类示教与机器人策略之间的因果关系意义深远。

实际应用

在真实工业与家庭服务场景中，抓取与放置任务占据机器人操作的绝大多数比例。该数据集的数据结构和动作空间紧密模拟了轻量级协作机械臂（如SO-Follower）的实际操控需求，可直接应用于训练机器人执行拾取零件、整理物品或桌面分拣等具体工作。在训练流程中，研究者可基于该数据集微调策略网络，结合DAgger迭代进行仿真或实体环境中的在线修正，使机器人逐步适应光照变化、物体位姿差异或工作台杂乱程度等干扰因素。其视频与关节数据的同步特性也便于迁移至其他视觉伺服控制系统的开发流程中。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习中的行为克隆与数据增强技术，尤其针对机械臂抓取与放置任务的精细操作。通过整合DAgger（数据集聚合）算法与rollout策略，研究前沿正探索如何利用小样本专家演示生成高质量交互数据，以缓解传统模仿学习中的分布偏移问题。结合LeRobot框架与Apache-2.0开源协议，该数据集为低成本机械臂（如SO-100系列）的自主技能习得提供了标准化基准，对推动具身智能中数据驱动的策略泛化与实时视觉-运动控制耦合具有显著意义。