rollout_pick_n_place_dagger_r2

该数据集是一个机器人操作数据集，使用LeRobot框架创建。数据集包含机器人执行任务时的多模态记录，具体包括：1) 动作空间：6维关节位置控制指令（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；2) 观测空间：机器人6维关节位置状态，以及来自两个视角的视觉观测——前方摄像头图像和带标注的图像，均为480x640分辨率的RGB视频，帧率30fps；3) 元数据：时间戳、帧索引、回合索引、任务索引等。数据集总规模为1457帧，包含1个任务和1个完整回合。数据以Parquet文件格式存储，视频以MP4格式存储，总数据量约300MB。该数据集适用于机器人模仿学习、行为克隆、视觉运动策略学习等任务，特别针对关节位置控制型机器人（so_follower类型）的操作研究。

This dataset is a robotic manipulation dataset created using the LeRobot framework. It contains multimodal recordings of a robot performing tasks, including: 1) Action space: 6-dimensional joint position control commands (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position); 2) Observation space: 6-dimensional joint position states of the robot, along with visual observations from two perspectives—front camera images and annotated images, both in 480x640 resolution RGB video at 30fps; 3) Metadata: timestamps, frame indices, episode indices, task indices, etc. The dataset totals 1457 frames, with 1 task and 1 complete episode. Data is stored in Parquet file format, videos in MP4 format, and the total data size is approximately 300MB. It is suitable for tasks such as robotic imitation learning, behavior cloning, and visual-motor policy learning, particularly for research on joint position-controlled robots (so_follower type).

原始信息汇总

数据集概述

• 数据集名称: anikitakis/rollout_pick_n_place_dagger_r2
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 数据格式: Parquet 文件 (路径为 data/*/*.parquet)

数据集结构

• 总片段数 (Episodes): 1
• 总帧数 (Frames): 1457
• 总任务数 (Tasks): 1
• 帧率 (FPS): 30
• 机器人类型: SO_Follower
• 数据切分: 训练集 (train) 包含全部数据（索引 0:1）

特征说明

特征名	数据类型	形状	说明
action	float32	[6]	关节动作（6个自由度：shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper 的位置）
observation.state	float32	[6]	机器人状态（与动作相同的6个关节位置）
observation.images.front	视频	[480, 640, 3]	前置摄像头图像，分辨率480×640，RGB三通道，AV1编码，30 FPS
observation.images.annotated	视频	[480, 640, 3]	标注后的摄像头图像，分辨率480×640，RGB三通道，AV1编码，30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据文件规模

• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 数据存储路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，采用DAgger（Dataset Aggregation）算法在仿真环境中对机器人进行“拾取与放置”（pick and place）任务的专家演示数据进行滚动式收集。数据从SO-100（so_follower）机器人平台的6自由度夹爪系统中获取，通过单次任务重复执行并记录状态-动作对，最终汇聚为1457帧的单一训练轨迹，并以Parquet格式存储于data路径下，视频数据则以AV1编码的MP4文件独立存放。

使用方法

该数据集可借助Hugging Face的LeRobot库进行加载与可视化，用户通过`lerobot`的`load_dataset`接口直接调用`anikitakis/rollout_pick_n_place_dagger_r2`即可。数据集内置了统一的特征名称（如`observation.state`、`action`、`observation.images.front`）与索引结构，便于接入基于模仿学习或行为克隆的机器人操控模型。用户还可利用社区提供的可视化工具在Hugging Face Spaces上交互式浏览视频与状态的同步回放。

背景与挑战

背景概述

该数据集由anikitakis团队基于Hugging Face推出的LeRobot开源框架创建，发布于2024年，聚焦于机器人领域中的“拾取与放置”（Pick and Place）任务。核心研究问题是如何通过行为克隆与数据集聚合（DAgger）方法，构建高效的机器人模仿学习数据集，以提升机器人从人类演示中学习精细操作的能力。数据集采用富士康So-Follower双臂协作机器人平台，记录单次任务中1457帧的关节状态、6维动作指令及前视与标注摄像头影像，为机器人学习领域提供了高保真的专家演示样本。作为LeRobot生态的重要组成部分，该数据集推动了低成本机器人数据集标准化进程，降低了机器人学习研究的门槛，对开源机器人社区的协作研究具有显著示范效应。

当前挑战

数据集的构建面临多重挑战。首要挑战在于“拾取与放置”任务对空间定位与抓取时序的极高要求，机器人需在动态环境中精确解耦关节运动与视觉反馈，这对模仿学习算法的泛化能力构成严峻考验。其次，构建过程中采用DAgger策略进行在线数据收集，需在真实物理场景中反复迭代专家演示与策略回滚，导致样本采集周期长且硬件磨损风险高。此外，单任务单片的有限样本量（仅1个episode）难以覆盖光照变化、物体姿态扰动等现实干扰，而数据格式（如AV1视频编解码）的兼容性与Parquet结构化存储的高效索引亦需精心调优，确保数据集在复杂机器人管线中的实用性与可复现性。

常用场景

经典使用场景

在机器人学习领域，rollout_pick_n_place_dagger_r2数据集主要服务于模仿学习与行为克隆方法的训练与评估。该数据集通过DAgger（交互式模仿学习）框架收集，记录了机械臂在抓取与放置任务中的高保真操作轨迹，包含6维关节空间状态和动作指令，以及来自前向和标注摄像头的视觉观测。其经典用法是作为离线训练数据，结合端到端神经网络模型（如基于卷积神经网络或Transformer的策略网络），使机器人学会从视觉输入直接映射到关节动作，从而复现人类示范的抓取与放置技能。该数据集的单次部署轨迹和30Hz采样频率，使其特别适用于研究小样本模仿学习场景下的策略泛化能力。

解决学术问题

该数据集解决了机器人操作学习中数据稀缺与分布偏移两大核心学术难题。通过DAgger范式生成的干预式演示，有效弥合了训练时专家数据分布与测试时机器人自执行分布之间的鸿沟，为研究交互式模仿学习算法提供了真实场景基准。它助力探讨如何利用有限人类示范（本数据集仅单次任务，共1457帧）训练出具有鲁棒性的操作策略，验证了DAgger在减少系统误差累积方面的理论优势。学术上，该数据集推动了从静态行为克隆向动态策略优化演进的研究，强调了在线数据收集与反馈闭环对于解决任务级长程规划问题的重要意义。

实际应用

在实际应用中，该数据集为工业臂式机器人的自动化抓取与精密装配任务提供了可复用的训练资源。基于这些数据训练的模型可部署于仓储分拣、电子元件插装及家居服务等场景，例如让机械臂从传送带上抓取不规则物件并精准放置于指定容器。由于数据采用Apache-2.0许可证并兼容LeRobot生态系统，企业开发者能够快速集成该数据集进行算法验证，降低手把手编码轨迹的工程成本。其视觉与低维状态的双模态记录方式，也适配了轻量化部署需求，使边缘计算设备也能运行实时策略推理，加速了机器人技能在真实产线或家庭中的落地进程。

数据集最近研究

最新研究方向

该数据集聚焦于机器人抓取与放置任务的模仿学习前沿探索，通过DAgger（数据聚合）算法迭代优化策略，实现了基于视觉反馈的精准操作。其中双视角视觉观测（前置摄像头与标注图像）与6自由度关节状态记录的深度融合，为复杂工业场景中的灵巧操作提供了高分辨率训练样本。当前该方向已成为具身智能领域研究热点，尤其在少样本泛化与实时适应性方面，此类高质量视频-动作配对数据对推动机器人自主决策能力的突破具有关键意义。