rollout_pick_n_place_dagger_r5

该数据集使用LeRobot工具创建，是一个机器人操作数据集，适用于机器人学习任务，如模仿学习或强化学习。数据集记录了机械臂执行拾放操作（pick and place）的演示数据。数据内容包含机械臂的6维关节位置动作指令、对应的6维关节状态观测，以及来自两个视角（前置摄像头和带标注的摄像头）的视觉观测视频。视频分辨率为640x480，帧率为30fps，采用AV1编码。数据集规模为1个任务、1条完整操作轨迹，共计9932个数据帧。所有数据均被划分为训练集。数据以Parquet文件格式存储，总大小约为300MB。This dataset is created using the LeRobot tool and is a robot operation dataset suitable for robot learning tasks, such as imitation learning or reinforcement learning. The dataset records demonstration data of a robotic arm performing pick-and-place operations. The data includes 6-dimensional joint position action commands, corresponding 6-dimensional joint state observations, and visual observation videos from two perspectives (front camera and annotated camera). The video resolution is 640x480, with a frame rate of 30fps and AV1 encoding. The dataset scale consists of 1 task and 1 complete operation trajectory, totaling 9932 data frames. All data is divided into the training set. The data is stored in Parquet file format, with a total size of approximately 300MB.

原始信息汇总

• 数据集名称: rollout_pick_n_place_dagger_r5
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建
• 可视化: 可通过 可视化空间 查看

数据集结构

• 代码版本: v3.0
• 帧率 (FPS): 30
• 总集数: 1
• 总帧数: 9932
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 机器人类型: so_follower
• 数据划分: 训练集 (train) 对应 0:1

特征

• action: 6维浮点数组，包含肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置。
• observation.state: 6维浮点数组，与 action 特征命名一致，表示机器人关节状态。
• observation.images.front: 视频数据，分辨率 480x640，3通道，AV1 编码，30 FPS。
• observation.images.annotated: 视频数据，分辨率 480x640，3通道，AV1 编码，30 FPS，推测为标注后的图像。
• timestamp: 浮点型时间戳（1维）。
• frame_index: 整型帧索引（1维）。
• episode_index: 整型集数索引（1维）。
• index: 整型索引（1维）。
• task_index: 整型任务索引（1维）。

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人模仿学习领域，数据集的质量直接决定了策略泛化的上限。该数据集基于LeRobot框架构建，采用DAgger交互式模仿学习范式的变体，通过遥操作采集专家示范数据。构建过程中，操作者使用So-Follower机械臂执行拾取与放置任务，系统以30Hz的频率同步记录六维关节动作指令、本体感知状态以及两个视角的高清视觉观测（包括前方视图与注释视图），最终通过Parquet格式存储结构化数据，并将视觉流编码为AV1格式的视频文件，形成包含9932帧的单一完整回合轨迹。

特点

该数据集的一大特色在于其高度耦合的多模态数据架构。除了包含6自由度机械臂的关节位置动作序列与同维度的状态观测外，还提供了分辨率为640×480的双目视觉输入，为行为克隆算法提供了丰富的环境上下文。尤为突出的是其通过DAgger策略进行迭代扩展的潜力——虽然当前版本仅含单条回合，但数据结构原生支持分块存储与动态新增能力，为后续的大规模专家混合数据采集奠定了坚实基础。

使用方法

数据集可通过LeRobot提供的标准化接口进行加载，用户需指定HuggingFace数据集标识符与配置名称'default'。在使用时，调用LeRobot的DataPipeline会自动将Parquet中的时序动作、状态与视频帧对齐，形成连续的时间步序列。研究人员可直接利用该数据训练基于视觉的模仿学习模型，如扩散策略或Transformer架构，并利用内置的'visualize_dataset'在线空间预览工具进行数据质量校验与特征可视化。

背景与挑战

背景概述

在机器人操作领域，模仿学习与行为克隆技术长期面临数据获取成本高昂与泛化能力不足的瓶颈。rollout_pick_n_place_dagger_r5数据集由anikitakis等研究者于近期基于LeRobot框架创建，聚焦于“拾取与放置”（Pick-and-Place）这一基础操作任务。该数据集通过DAgger（数据集聚合）算法扩展专家示范轨迹，旨在提升策略在真实物理环境中的鲁棒性。数据集仅包含单个任务、单条episode（9932帧），但整合了高分辨率视觉观测（640x480 RGB图像与标注视图）及6维关节状态与动作信息，为验证小型、高密度的专家演示在机器人模仿学习中的效能提供了标准化基准。作为LeRobot社区的开源资产（Apache-2.0许可），该数据集推动了低成本机器人学习方法的实用化进程，对细粒度操作技能的研究具有启发意义。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题与构建过程两方面。领域问题方面，拾取与放置任务要求机器人精准协调视觉感知、运动规划与夹持控制，尤其在物体位姿多变、环境光干扰及末端执行器漂移条件下，现有模型易发生动作发散或抓取失败。构建过程中，单条episode的专家演示数据集规模极为有限，虽采用DAgger策略迭代采样以模仿专家行为，但数据的多样性严重不足，难以覆盖非结构化场景中物体位置、形状与摩擦特性的变化；同时，视频编码采用AV1格式而非常用H.264，可能增加下游模型的解码复杂度。此外，机器人类型为so_follower（双臂协同构型），其运动学解算与轨迹同步的约束进一步提升了从传感器噪声中提取稳健表征的难度。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，rollout_pick_n_place_dagger_r5 数据集为模仿学习与行为克隆研究提供了核心支持。该数据集记录了 R5 型机械臂在拾取与放置任务中的精细操作轨迹，包含 6 维关节空间动作序列及前方摄像头捕获的视觉观测。由于采用 DAgger（数据集聚合）算法进行策略交互式数据采集，该数据集特别适合训练鲁棒且具备泛化能力的视觉-运动控制策略，成为验证模仿学习算法在高精度操作任务中有效性的基准资源。

解决学术问题

该数据集着重解决了机器人操作学习中的核心挑战——样本效率低下与分布偏移问题。通过 DAgger 范式，专家策略在交互中持续纠正探索分布的偏差，研究者可基于此探究策略在未见状态下的故障模式，并开发更高效的域适应算法。此外，其标准化轨迹与多模态感知数据（视觉-关节状态对齐）推动了端到端策略在复杂工业级拾放任务中的理论研究，为理解数据质量、策略架构与泛化性能间的深层关联提供了实证基础。

衍生相关工作

基于此数据集，研究者已衍生了多项关键学术工作：一类工作聚焦于利用 DAgger 收集的交互数据训练视觉-MLP 与扩散策略（Diffusion Policy），验证了条件扩散模型在精密操作中的优越性；另一类则将其作为 LeRobot 生态系统的标准测试集，对比行为克隆（BC）与隐式模仿学习（IBC）在真实机器人上的性能差异。这些工作共同确立了该数据集在机器人模仿学习领域的方法论参考价值。