rollout_pick_n_place_dagger_r4

本数据集是一个使用LeRobot工具创建的机器人操作数据集，专注于拾取与放置任务。它包含机器人执行任务时的多模态观测数据和动作指令，具体包括：动作指令（6维关节位置控制，涉及肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、状态观测（6维关节位置反馈）、前视摄像头图像（480x640分辨率RGB视频，30fps）、标注图像（相同规格的标注视频）、时间戳、帧索引、episode索引和任务索引等。数据规模包括1个完整任务序列、1个子任务和7812个数据帧。视频数据采用AV1编码，YUV420p像素格式。数据集以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。机器人平台类型为so_follower，仅提供训练集划分，适用于机器人模仿学习、行为克隆和视觉运动策略学习等研究任务。This dataset is a robotic manipulation dataset created using the LeRobot tool, focusing on pick-and-place tasks. It includes multimodal observation data and action instructions during robot task execution, specifically: action instructions (6-dimensional joint position control, covering shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position), state observations (6-dimensional joint position feedback), front-view camera images (480x640 resolution RGB video at 30fps), annotated images (annotated video with the same specifications), timestamps, frame indices, episode indices, task indices, and more. The data scale comprises 1 complete task sequence, 1 subtask, and 7812 data frames. Video data uses AV1 encoding with YUV420p pixel format. The dataset is stored in Parquet file format, with a total data file size of 100MB and video file size of 200MB. The robot platform type is so_follower, providing only a training set split, and it is suitable for research tasks such as robot imitation learning, behavior cloning, and visual-motor policy learning.

原始信息汇总

数据集概览

• 名称: rollout_pick_n_place_dagger_r4
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 基于 LeRobot 创建

数据集结构

• 配置名称: default
• 数据文件: data/*/*.parquet
• 代码版本: v3.0
• 帧率 (fps): 30

特征 (Features)

特征名称	数据类型	形状	说明
action	float32	(6,)	机器人关节动作: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper (位置)
observation.state	float32	(6,)	机器人关节状态: 与动作相同的6个关节位置
observation.images.front	video	(480, 640, 3)	前方摄像头视频 (AV1编码, 30fps, 无音频)
observation.images.annotated	video	(480, 640, 3)	标注版摄像头视频 (AV1编码, 30fps, 无音频)
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	回合索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据集统计

• 总回合数: 1
• 总帧数: 7812
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 机器人类型: so_follower
• 数据划分: 训练集 (train) 包含全部数据 (索引 0:1)

数据组织

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 引用格式: BibTeX 内容待补充 (More Information Needed)

搜集汇总

数据集介绍

构建方式

在机器人学习领域中，模仿学习通过专家演示数据训练策略模型，其中数据采集的多样性与精确度至关重要。该数据集基于LeRobot框架构建，采用DAgger（数据集聚合）算法进行数据扩充，通过滚动展开（rollout）方式在机器人执行任务过程中迭代收集示范轨迹。数据集聚焦于拾取与放置（pick and place）操作，由单次训练回合生成，共包含7812帧时序数据，帧率设定为30 FPS，数据以Parquet格式存储，并辅以AV1编码的高清视频记录。

特点

该数据集凸显了机器人操作过程中的多模态融合特性，同时记录6维关节空间的动作指令与状态观测，涵盖肩部、肘部、腕部及夹爪的位姿信息。视觉信息来自前视与标注视角，均为480x640像素的RGB图像，为策略学习提供丰富的环境感知。数据以单任务、单片段结构组织，但包含完整的时间戳与帧索引，便于时序建模。数据与视频分别压缩至约100 MB和200 MB，平衡了存储效率与信息完整性。

使用方法

数据集遵循LeRobot标准格式，支持通过'default'配置直接加载，数据文件位于'data/*/*.parquet'路径下。用户可利用LeRobot库的视觉化工具（如HuggingFace Spaces）预览数据，便于算法开发与调试。建议将数据划分为训练集（默认比例为0:1），结合视频帧与状态-动作对训练模仿学习策略，例如行为克隆（Behavior Cloning）或逆强化学习（Inverse Reinforcement Learning）。使用时需注意机器人类型为'so_follower'，需匹配相应运动学模型。

背景与挑战

背景概述

在机器人学习领域，模仿学习和数据驱动的方法正逐步取代传统基于模型的控制策略，成为实现复杂操作任务的主流技术路径。rollout_pick_n_place_dagger_r4 数据集由 Anikitakis 等人基于 LeRobot 框架创建，发布于 Hugging Face 平台，旨在为机械臂的拾取与放置（pick-and-place）任务提供高质量的示范数据。该数据集依托于 DAgger（数据集聚合）算法进行迭代式数据收集，以增强策略在真实环境中的鲁棒性。数据仅包含一个任务（拾取与放置），共计1个episode、7812帧，记录了一台 SO-100 型机械臂的六维关节空间动作（包括五个自由度及夹爪位置）以及前视与标注视图的 RGB 图像。数据集的出现为多模态模仿学习、视觉动作策略研究提供了标准化的测试平台，推动了低成本机器人数据采集范式的发展。

当前挑战

该数据集所面对的领域核心挑战在于如何通过有限且固定的示范数据，训练出能够泛化到不同物体位置、形状及光照条件的通用拾取与放置策略。由于仅包含单一任务、单一机器人的7812帧数据，模型极易发生过拟合，难以应对现实操作中的空间位移、物体姿态变化及环境扰动。构建过程中的挑战则体现在数据采集效率与质量之间的平衡：DAgger 算法需要反复采集专家在线交互数据，而本数据集仅实施了一次 rollout 过程，无法充分覆盖复杂分布外的状态空间。此外，视频编码采用 AV1 压缩格式，虽节省存储但增加了解码计算负担；数据采用分块 parquet 与 mp4 文件存储，在加载与切片时对 I/O 性能有较高要求，不利于大规模多任务训练。

常用场景

经典使用场景

在机器人学习与操控领域，rollout_pick_n_place_dagger_r4数据集专为模仿学习中的抓取与放置任务而设计。该数据集通过DAgger（数据集聚合）策略，记录了单一机械臂在执行拾取-放置操作时的完整轨迹，包括6维关节动作指令、状态观测以及前向与标注视频流。研究者可将其作为训练行为克隆或逆强化学习模型的基准数据，尤其适用于评估机器人从人类示范中泛化操作能力的典型场景。

解决学术问题

该数据集精准回应了机器人操作学习中样本效率低下与分布偏移的两大核心难题。通过整合30Hz高频的关节姿态与视觉观测，它支持对DAgger等交互式模仿学习算法的有效性进行实证验证。学术界借助该数据可系统探究示范质量对策略迁移的影响，并量化模型在面对未见初始状态时的鲁棒性，从而推动端到端机器人操控策略在实验室环境向真实场景迁移的进程。

衍生相关工作

基于该数据集的结构化格式与LeRobot开发生态，衍生出多项重要工作：例如，利用其多模态观测特征联合训练视觉与低维状态编码器，提升策略对光照变化或相机视角偏移的适应性；同时，其DAgger迭代特性启发了研究者在仿真-现实迁移中构建动态示范校正框架。此外，该数据集的视频压缩编码标准也促进了机器人数据集大规模分布式训练的工程优化探索。