rollout_pick_n_place_dagger_r3

该数据集使用LeRobot平台创建，是一个机器人操作数据集，适用于机器人控制与模仿学习任务。数据集包含一个完整的机械臂操作回合，总时长约55.6秒（1667帧，30fps）。数据采用多模态结构，包含机械臂的关节位置动作指令（6自由度：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、对应的关节状态观测、以及双视角视觉观测（前视摄像头图像和标注图像，均为480x640 RGB视频）。此外，数据集还包含时间戳、帧索引、回合索引、任务索引等元数据字段。数据以Parquet格式和MP4视频格式存储，总数据量约300MB。机器人类型为so_follower，数据集适用于视觉-动作映射、行为克隆、机器人强化学习等研究方向。

This dataset is created using the LeRobot platform and is a robotic manipulation dataset suitable for robot control and imitation learning tasks. It contains a complete robotic arm operation episode with a total duration of approximately 55.6 seconds (1667 frames at 30fps). The data adopts a multimodal structure, including joint position action commands for the robotic arm (6 degrees of freedom: shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper position), corresponding joint state observations, and dual-view visual observations (front-view camera images and annotated images, both in 480x640 RGB video). Additionally, the dataset includes metadata fields such as timestamps, frame indices, episode indices, and task indices. The data is stored in Parquet and MP4 video formats, with a total data volume of about 300MB. The robot type is so_follower, and the dataset is applicable to research areas such as vision-action mapping, behavior cloning, and robotic reinforcement learning.

原始信息汇总

数据集概览

• 名称: rollout_pick_n_place_dagger_r3
• 许可证: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot
• 创建工具: 基于 LeRobot 框架创建

数据集结构

• 机器人类型: so_follower
• 帧率 (FPS): 30
• 总集数 (Episodes): 1
• 总帧数: 1667
• 总任务数: 1
• 数据规模:
  • 数据文件大小: 100 MB
  • 视频文件大小: 200 MB
• 数据分片 (Chunks): 每块1000帧
• 数据划分:
  • 训练集 (Train): 第0到第1个样本（0:1）

特征字段

字段名	数据类型	形状	描述
action	float32	[6]	机器人动作，包含6个关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）
observation.state	float32	[6]	机器人状态观测，与动作维度相同
observation.images.front	video	[480, 640, 3]	前置摄像头视频，分辨率480x640，RGB三通道，AV1编码，30fps
observation.images.annotated	video	[480, 640, 3]	标注后的视频（同前摄像头规格）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据存储

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置文件: meta/info.json 包含完整的元数据信息

其他信息

• 主页: 暂无
• 论文: 暂无
• 引用格式: 暂无

搜集汇总

数据集介绍

构建方式

该数据集名为 rollout_pick_n_place_dagger_r3，基于 LeRobot 框架创建，专为机器人操作任务设计。数据集包含单个机器人的拾取与放置（pick and place）动作执行轨迹，采用 DAgger（Dataset Aggregation）范式进行数据收集，即通过专家策略在真实环境中迭代生成数据并聚合为新数据集。数据以 .parquet 格式存储，并配备高分辨率摄像头（640×480像素）以 AV1 编码录制的视频观测，分别从前置视角和带有注释标记的视角记录场景信息。同时，数据集记录了机器人六轴关节状态（包括夹爪位置）以及对应的动作指令，确保状态与动作空间一致。每个轨迹索引清晰，包括帧索引、回合索引和任务索引，便于数据管理与复现。

特点

该数据集具有鲜明的机器人学习应用特征。首先，其数据模态丰富，同时包含关节状态（6维数值）和视觉观测（彩色视频），为模仿学习中的多模态策略训练提供基础。特别地，数据集配备了两个视觉通道——原始前置摄像头图像与经注释标记的版本，后者可能包含如目标检测框、路径预测等辅助视觉信息，有助于提升策略对场景理解的能力。数据集以 30 帧/秒的稳定采样率记录了完整的任务执行过程，单次回合包含 1667 帧，动作空间与观测空间维度一致，属于经典的「状态-动作」闭环控制数据。此外，数据集仅为单一任务设计（总任务数=1），采用「so_follower」机器人平台，适合聚焦于特定操作技能的学习。

使用方法

该数据集可通过 HuggingFace 的 LeRobot 库进行便捷加载与可视化。用户可直接在 Python 环境中调用 LeRobot 的 `load_dataset` 函数，指定数据集标识符 `anikitakis/rollout_pick_n_place_dagger_r3` 以获取轨迹数据。数据以回合（episode）为单位组织，训练集划分明确（索引 0:1），便于直接用于监督学习或行为克隆训练。视频文件以 MP4 格式独立存储于 `videos/` 目录下，而结构化数据（如关节状态、动作指令、时间戳等）以 Parquet 格式分块存放于 `data/` 目录，支持高效的分块读取与批量处理。用户还可通过 HuggingFace Spaces 上的可视化交互页面，直接观察每个回合的机器人运动过程与传感器数据对齐情况，方便进行数据质量评估与预处理。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）一直是赋予机器人复杂操作技能的核心范式之一。由研究机构利用LeRobot框架创建的rollout_pick_n_place_dagger_r3数据集，诞生于对机器人抓取与放置任务的高效策略学习需求之中。该数据集聚焦于“拾取与放置”（Pick and Place）这一基础但关键的机器人操作动作，通过聚合模仿学习（DAgger）方法采集了1667帧由远程操控生成的专家演示数据，并提供了6维关节空间的动作与状态信息、30帧每秒的前视及注释图像，共计约300MB的视觉与运动数据。尽管当前仅包含单条演示轨迹与单一任务，该数据集为验证数据增强策略在低样本模仿学习场景下的有效性提供了标准化基准，对推动机器人技能泛化及数据高效学习研究具有重要的启发性价值。

当前挑战

该数据集所解决的领域核心挑战在于，机器人拾取与放置任务长期受困于策略对复杂环境变化的脆弱性，尤其是在仅有少量专家演示时难以实现鲁棒的物体抓取与精准放置。其构建过程亦面临多重困难：首先，单条演示轨迹（仅1个episode）中的数据量极为有限，使得策略学习极易陷入过拟合，难以应对初始条件的微小扰动；其次，数据集采用DAgger（数据聚合）范式，要求策略在执行中动态收集纠正性交互数据，但单次rollout无法覆盖足够的状态空间，导致策略在探索过程中可能偏离有效分布；此外，视觉观测（480×640像素视频）与低维状态的同时整合，对多模态特征对齐与时序建模提出了严峻考验，而机器人本体的低层控制精度不足也会加剧仿真到现实的领域迁移偏差。

常用场景

经典使用场景

在机器人学习领域，该数据集专为模仿学习中的行为克隆与数据增强策略而设计，其经典用途在于训练机械臂完成拾取与放置（pick and place）操作。通过记录六自由度关节状态、前端摄像头图像及注释图像，结合DAgger（数据集聚合）算法生成的专家示范轨迹，研究者可利用此数据集构建端到端的视觉运动策略，使机器人从静态或动态环境中准确抓取目标物体并放置于指定位置。

解决学术问题

该数据集有效解决了机器人操作任务中数据稀缺性与策略泛化能力不足的学术挑战。传统模仿学习依赖大量人工示教，而本数据集通过DAgger框架在滚动部署中迭代收集反馈，显著提高了策略在未见过场景下的鲁棒性。其贡献在于为可迁移的机器人技能学习提供了标准化基准，推动了闭环控制与视觉伺服等研究方向的发展，并启示了如何结合主动学习减少人工干预。

衍生相关工作

该数据集催生了多项前沿工作，例如基于扩散策略的动作轨迹生成方法、跨具身形态的领域随机化训练框架，以及融合Transformer架构的多模态决策模型。研究者利用其多模态观测信息，发展了对抗性扰动下的鲁棒模仿学习算法，并探索了利用视频预测进行规划的无模型方案。这些工作进一步验证了DAgger范式在连续控制任务中的有效性，并为从仿真到现实（sim-to-real）的迁移提供了重要实验平台。