rollout_pick_n_place_dagger_r10

本数据集由LeRobot项目创建，是一个用于机器人学习与控制的演示数据集。数据集包含一个完整的机器人任务演示（episode），总时长对应20955个数据帧（以30帧/秒采集）。数据以parquet文件格式组织，总大小约为300MB。数据集的核心内容包括：1）机器人动作：6维浮点数组，代表肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪的位置指令；2）机器人状态观测：与动作维度相同的6维关节位置反馈；3）视觉观测：包含两个视角的RGB视频流（front和annotated），分辨率均为480x640，帧率30fps，采用AV1编码；4）元数据：包括时间戳、帧索引、episode索引、任务索引等。机器人平台类型为so_follower。数据集目前仅包含用于训练的数据划分。该数据集适用于机器人模仿学习、行为克隆、视觉运动策略学习等任务。

原始信息汇总

数据集概述

• 数据集名称: rollout_pick_n_place_dagger_r10
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 创建工具: 基于 LeRobot 框架创建
• 机器人类型: so_follower

数据集规模

• 总片段数 (Episodes): 1
• 总帧数: 20,955
• 总任务数: 1
• FPS: 30
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据特征

每个数据样本包含以下特征字段：

特征字段	数据类型	维度/形状	说明
action	float32	(6,)	6个机器人关节动作（位置控制）：shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper
observation.state	float32	(6,)	机器人关节状态（与action同维度同名称）
observation.images.front	视频 (av1编码)	(480, 640, 3)	前视摄像头图像，高度480，宽度640，RGB三通道，30 FPS
observation.images.annotated	视频 (av1编码)	(480, 640, 3)	带标注的前视摄像头图像，尺寸与编码格式同上
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	所属片段索引
index	int64	(1,)	全局数据索引
task_index	int64	(1,)	任务索引

数据集拆分

• 训练集 (train): 索引 0 至 1（全部数据）

数据路径

• parquet数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集名为rollout_pick_n_place_dagger_r10，由LeRobot框架生成，专为机器人操作行为克隆研究设计。其构建过程基于DAgger（数据集聚合）算法，通过迭代式专家示范与策略交互扩展数据集，共采集了单个回合中的20955帧时序数据，涵盖动作、状态与多视角视觉信息。数据以Parquet格式存储结构化特征，包括6维关节动作指令（如肩关节、肘关节及夹爪位姿）以及对应的机器人状态观测，同时记录精确时间戳和帧索引。

特点

数据集的核心特色在于高分辨率多模态感知与实时控制信号的紧密耦合。前方摄像头与标注摄像头均以480×640分辨率、30帧每秒的速率采集视频流，编码为AV1格式以平衡质量与存储开销。动作空间与状态空间维度一致，便于端到端策略学习。此外，数据集内嵌了完整的回合划分、任务索引及分块存储结构（每1000帧为一数据块），支持高效的流式加载与分布式训练，总数据量约300MB。

使用方法

数据集采用LeRobot标准接口设计，用户可通过Hugging Face的`visualize_dataset`工具在线预览样本。使用时需基于`default`配置加载Parquet与视频文件，路径遵循`data/chunk-{index}`和`videos/{key}/chunk-{index}`格式。所有数据已划分为单一训练集，可直接输入模仿学习或行为克隆模型；动作与状态的特征名称明确映射至机器人关节名称（如`shoulder_pan.pos`），便于与SO-Follower机器人仿真环境对接。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过从专家演示中学习策略，已成为实现复杂操控任务的关键方法。rollout_pick_n_place_dagger_r10数据集由AniKitakis等人基于LeRobot框架创建，采用DAgger（数据集聚合）算法进行数据采集，旨在解决机器人抓取与放置（pick-and-place）这一基础且具有挑战性的操控任务。该数据集以30帧每秒的频率记录了共20955帧的机器人执行过程，包含高分辨率RGB图像与6维关节状态信息，对应单次任务。其以Apache-2.0许可证公开发布，为机器人学习社区提供了标准化数据资源，助力推动基于视觉的机器人操控策略研究，尤其在数据驱动策略迁移与泛化领域具有潜在影响力。

当前挑战

该数据集所解决的核心领域问题在于，真实世界中机器人抓取与放置任务面临物体位姿多变、环境非结构化及传感器噪声等挑战，传统基于模型的方法难以适应。DAgger算法虽能通过在线交互与专家干预提升策略鲁棒性，但构建过程需协调实时仿真或物理机器人系统，确保演示质量与数据一致性。此外，数据集仅包含单次任务轨迹，且依赖单一机器人平台（so_follower），限制了其在不同任务变体与机器人形态下的泛化能力；采集成本高、专家标注一致性维护也是实际构建中的显著难点。

常用场景

经典使用场景

在机器人学习领域，rollout_pick_n_place_dagger_r10数据集为模仿学习中的行为克隆算法提供了高保真的训练素材。该数据集借助DAgger（数据集聚合）策略，通过专家在环的交互式示范，采集了涵盖“抓取与放置”这一基础操作任务的完整轨迹。每条轨迹记录了机械臂六个关节的精确状态、对应的动作指令以及两个视角的视觉观察（前方视野与可视化标注视野）。研究者可利用这些多模态数据训练策略网络，使机器人学会从视觉输入直接映射到关节运动，复现专家的操作行为。该数据集尤其适用于验证DAgger算法在面对分布偏移时的鲁棒性，成为研究样本高效模仿学习的经典基准。

衍生相关工作

围绕该数据集衍生出了一系列代表性工作，例如结合DAgger与深度强化学习的混合方法，利用数据集中的专家轨迹初始化策略网络后通过奖励信号微调，加速收敛。也有研究聚焦于多任务学习，将多个同类数据集的抓取经验融合至统一策略中，实现跨场景零样本迁移。此外，有人探索将视觉预训练模型与模仿学习结合，利用数据集中丰富的图像特征提取语义信息，降低对动作标注的依赖。这些衍生工作不仅强化了DAgger算法的泛化能力，还催生了诸如“逆强化学习”等非模仿范式，共同推动了机器人技能习得领域的繁荣。

数据集最近研究

最新研究方向

在机器人学习领域，基于行为克隆与模仿学习的数据集构建已成为推动具身智能发展的关键基石。rollout_pick_n_place_dagger_r10数据集聚焦于机器人抓取与放置操作，采用DAgger（数据集聚合）算法在线收集专家演示与策略交互轨迹，并通过30Hz的高频采样记录6自由度关节状态、动作指令及480p的双目视觉输入（原始视图与标注视图）。该数据集的实时性迭代框架与多模态融合特性，精准切合了当前机器人操作任务中大语言模型驱动的零样本泛化与仿真到现实迁移的热点需求，为研究基于视觉的灵巧操作策略在非结构化环境中的鲁棒性提供了标准化高质训练资源，对推动人机协作与智能制造的自动化演进具有显著的理论与实践价值。