rollout_pick_n_place_dagger_r11

该数据集是一个用于机器人任务的开源数据集，使用LeRobot工具创建。数据集包含机器人在执行任务过程中的交互数据，适用于机器人学习与行为克隆等研究场景。数据集中包含1个完整的训练情节（episode），总计3351个数据帧，采样频率为30Hz。数据采用多模态形式组织，主要包含以下字段：1) 动作（action）：一个6维浮点数组，表示机器人六个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的目标位置。2) 观测状态（observation.state）：一个与动作维度相同的6维浮点数组，表示机器人关节的当前实际位置。3) 图像观测（observation.images）：包含两个视角的视频流（front和annotated），均为RGB彩色视频，分辨率为640x480，帧率30fps，采用AV1编码。4) 元数据：包括时间戳（timestamp）、帧索引（frame_index）、情节索引（episode_index）、全局数据索引（index）和任务索引（task_index）。数据以分块的Parquet文件格式存储，对应的视频文件以MP4格式单独存储。数据集对应的机器人平台类型为so_follower。

This dataset is an open-source dataset for robotic tasks, created using the LeRobot tool. The core content of the dataset is interaction data from robots during task execution, suitable for research scenarios such as robot learning and behavior cloning. The dataset contains 1 complete training episode, totaling 3351 data frames with a sampling frequency of 30 Hz. The data is organized in a multimodal format, primarily including the following fields: 1) Action: a 6-dimensional floating-point array representing the target positions of six robot joints (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper). 2) Observation.state: a 6-dimensional floating-point array with the same dimensions as the action, representing the current actual positions of the robot joints. 3) Observation.images: includes two perspective video streams (front and annotated), both RGB color videos with a resolution of 640x480, a frame rate of 30 fps, and encoded in AV1. 4) Metadata: includes timestamp, frame_index, episode_index, index, and task_index. The data is stored in chunked Parquet file format, with corresponding video files stored separately in MP4 format. The robot platform type for this dataset is so_follower.

原始信息汇总

数据集概述

• 数据集名称: anikitakis/rollout_pick_n_place_dagger_r11
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot

数据集创建

该数据集使用 LeRobot 工具创建。

数据集结构

数据集包含一个配置（default），数据文件格式为 data/*/*.parquet。

元数据（meta/info.json）

• 代码库版本: v3.0
• 帧率 (fps): 30
• 机器人类型: so_follower

特征 (Features)

特征名	数据类型	形状	描述
action	float32	[6]	6个关节的动作指令：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	[6]	6个关节的状态观测，名称与动作维度一致
observation.images.front	video	[480, 640, 3]	前置摄像头图像，30fps，AV1编码，分辨率480x640，RGB三通道
observation.images.annotated	video	[480, 640, 3]	标注过的图像，规格与前摄像头相同
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引

统计信息

• 总片段数 (total_episodes): 1
• 总帧数 (total_frames): 3351
• 总任务数 (total_tasks): 1
• 数据块大小 (chunks_size): 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据划分 (Splits)

• 训练集 (train): 索引范围 0:1 (共1个片段)

可视化

可通过 LeRobot 可视化空间 查看该数据集。

搜集汇总

数据集介绍

构建方式

该数据集采用DAgger（数据集聚合）算法与模仿学习策略相结合的方式进行构建，依托LeRobot开源框架实现机器人遥操作数据的采集与增强。在真实机器人操作场景中，通过人类示教与策略迭代的交互式数据采集流程，针对“拾取与放置”这一典型精细操作任务，生成了涵盖多视角视觉观察与关节空间动作指令的高维数据集。数据以Parquet格式存储结构化数值（如6维动作向量），同时将图像序列编码为AV1格式视频，确保视觉与运动信息的时空对齐。

特点

数据集以单条长序列（3351帧，约112秒）构成单一任务轨迹，采样频率为30帧/秒，具备低延迟、高保真的优势。其多模态特性体现在两方面：一是视觉输入包含前视与注释图像两种视角，分辨率均为480×640，可支撑视觉特征学习；二是状态与动作空间严格对应机械臂的6个自由度（肩部、肘部、腕部及夹爪），便于逆向动力学建模。此外，数据预置训练/验证划分，并通过章分块机制优化大规模数据加载效率。

使用方法

基于LeRobot库，研究者可通过'load_dataset'接口直接加载该数据集，并将其转换为PyTorch或TensorFlow兼容的DataLoader格式。训练过程中，视觉编码器与运动学控制器的联合优化可借助预定义的'observation.images'与'action'特征键自动对齐。数据集内置元数据（如帧索引、任务编号）支持轨迹回放与离线策略评估，同时利用AV1视频压缩特性实现低带宽存储与快速解码，适用于行为克隆及残差强化学习等范式下的机器人技能迁移研究。

背景与挑战

背景概述

rollout_pick_n_place_dagger_r11数据集由研究团队基于LeRobot框架创建，旨在推动机器人操作任务中的模仿学习研究。该数据集聚焦于拾取与放置这一基础而关键的机器人操作技能，通过DAgger算法（一种交互式模仿学习方法）收集专家示范数据，以训练机器人掌握精准的物体抓取与转移能力。数据集的发布为机器人学习社区提供了标准化、可复现的训练样本，尤其适用于研究从示范到泛化策略的迁移，对推动具身智能领域的发展具有重要意义。

当前挑战

该数据集所解决的领域挑战在于，机器人拾取与放置任务在非结构化环境中仍需应对感知噪声、物体多样性及动态场景干扰，传统手工编程方法难以适应复杂多变的真实世界。构建过程中面临的挑战包括：利用DAgger算法在线收集专家反馈时，需平衡探索与利用以确保数据质量；数据标注成本高昂，且需保证示范动作的一致性；此外，从单条长轨迹（共3351帧）中高效提取可迁移的运动模式，并对抗分布偏移问题，是提升策略鲁棒性的核心难点。

常用场景

经典使用场景

在机器人学习领域，rollout_pick_n_place_dagger_r11数据集为模仿学习中的行为克隆方法提供了极具价值的训练素材。该数据集记录了机械臂在“拾取与放置”任务中的一系列动作序列，通过包含机器人关节角度、夹爪状态以及多视角视觉影像等模态信息，能够有效支持从专家演示中直接学习策略。经典用法是将数据集中的观测状态与动作配对，训练一个端到端的神经网络模型，使机器人能够模仿专家行为，在相似环境中完成精细的操作任务。

解决学术问题

该数据集主要解决了机器人操作任务中样本效率低和泛化能力弱的学术难题。传统强化学习方法往往需要与环境进行海量交互才能习得有效策略，而该数据集通过提供高质量的专家演示轨迹，使得行为克隆算法能够在较少的样本下快速学习搬运、摆放等基础技能。其意义在于推动了数据驱动型机器人学习范式的发展，降低了训练成本，并为后续研究如结合DAgger算法的在线交互式模仿学习奠定了可靠的数据基础。

衍生相关工作

基于该数据集，研究者已开展了多项拓展性工作。其中最具代表性的是将数据集用于DAgger（数据集聚合）算法的迭代训练流程，使机器人在执行过程中持续收集新轨迹来优化策略，从而克服行为克隆中常见的分布偏移问题。此外，该数据集还催生了结合视觉语言模型的跨模态操作研究，以及利用扩散模型进行动作生成的最新探索，为机器人精细化操作能力的发展提供了重要参考基准。