rollout_pick_n_place_dagger_r7

该数据集是使用LeRobot框架创建的机器人操作数据集，专门用于机器人技术领域的研究与开发。数据集包含一个完整的操作回合，总计2702帧数据，采集帧率为30fps。数据内容涵盖了机器人执行任务过程中的多模态观测与对应动作。具体而言，每个数据样本包含以下关键字段：1）动作（action）：一个6维浮点向量，表示机器人关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的目标位置。2）状态观测（observation.state）：一个与动作维度相同的6维浮点向量，表示机器人关节的当前实际位置。3）图像观测（observation.images）：包含两个视角的视频流（front和annotated），分辨率均为640x480，彩色三通道，用于提供视觉反馈。4）元数据：包括时间戳（timestamp）、帧索引（frame_index）、回合索引（episode_index）、全局索引（index）和任务索引（task_index）。数据集以分块Parquet文件格式存储，并关联独立的MP4视频文件。机器人平台类型为“so_follower”。该数据集适用于机器人模仿学习、行为克隆、视觉运动策略学习等任务，可作为训练或验证机器人执行拾放（pick and place）类操作的数据资源。

原始信息汇总

数据集概述

• 名称: rollout_pick_n_place_dagger_r7
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 主页: 暂无信息
• 论文: 暂无信息

数据集结构

• 数据格式: Parquet 文件，路径为 data/*/*.parquet
• 代码库版本: v3.0
• 帧率: 30 FPS
• 机器人类型: so_follower

特征

• action (动作): float32 类型, 形状 [6], 包含 6 个关节位置 (shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos)
• observation.state (观察状态): float32 类型, 形状 [6], 与动作特征命名一致
• observation.images.front (前视图像): 视频类型, 分辨率 480x640, 3 通道, 编码为 AV1, 帧率 30 FPS
• observation.images.annotated (标注图像): 视频类型, 分辨率 480x640, 3 通道, 编码为 AV1, 帧率 30 FPS
• timestamp (时间戳): float32 类型, 形状 [1]
• frame_index (帧索引): int64 类型, 形状 [1]
• episode_index (回放索引): int64 类型, 形状 [1]
• index (索引): int64 类型, 形状 [1]
• task_index (任务索引): int64 类型, 形状 [1]

统计数据

• 总回放数 (Episodes): 1
• 总帧数: 2702
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据集划分: 训练集 0:1 (仅包含一个划分)

创建工具

该数据集使用 LeRobot 创建。

搜集汇总

数据集介绍

构建方式

该数据集名为rollout_pick_n_place_dagger_r7，由LeRobot框架创建，专注于机器人分拣与放置任务的模仿学习。数据集通过DAgger（Dataset Aggregation）算法进行迭代式数据收集：首先利用初始策略进行轨迹rollout，随后由专家对失败轨迹进行纠正并扩充至训练集中，从而生成具备鲁棒性的示教数据。数据存储采用Parquet与视频文件混合格式，共包含1个episode、2702帧图像，采样频率为30Hz，确保了时间维度上的连续性与细节完整性。

特点

数据集的核心特点在于其多模态传感融合设计。观测空间包含6维关节角度位置（shoulder_pan至gripper）与两个640×480分辨率的RGB视觉流（front与annotated视图），其中annotated视图可能提供了语义标注或可视化增强信息。动作空间同样为6维关节控制指令，实现了状态与动作在特征空间的对齐，便于直接应用于模仿学习算法。数据采集使用了so_follower机器人平台，且数据已被划分为训练集（splits['train']包含全部样本），为模型学习提供了完整且一致性高的先验知识。

使用方法

在实践应用中，研究者可通过LeRobot库无缝加载该数据集。典型使用步骤包括：首先调用lerobot.datasets.LeRobotDataset类并指定数据集路径'anikitakis/rollout_pick_n_place_dagger_r7'，即可自动解析meta/info.json中的特征配置与分片信息。随后，用户可利用返回的dataloader按episode索引迭代获取观测图像、状态向量与对应动作标签。值得注意的是，视觉数据以压缩视频流格式存储（AV1编码），在加载时需确保环境支持相应解码库，以便高效进行模型训练与评估。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一项关键技术，旨在使机器人通过观察专家演示来习得复杂技能。然而，传统模仿学习方法常受限于数据分布偏移与泛化能力不足等问题。rollout_pick_n_place_dagger_r7数据集由研究者在LeRobot开源框架下创建，采用DAgger（数据集聚合）算法采集，专注于机器人抓取与放置这一核心操作任务。该数据集记录了单次完整滚动的30帧/秒的演示数据，包含机械臂6自由度的关节状态与动作序列，以及前置与标注摄像头的视觉观测。尽管仅含单个回合与2702帧，但其设计思路体现了通过在线交互迭代改善策略分布的研究方向，为机器人学习领域提供了小型但高质量的数据验证资源。

当前挑战

数据集当前面临的挑战集中于领域问题的复杂性与构建过程的约束。在领域问题层面，拾取与放置任务要求机器人精确理解物体位姿、规划运动轨迹并协调夹爪力控，任何环节的误差都可能导致操作失败；同时，单回合有限数据难以覆盖真实场景中物体形状、光照与背景的多样性。在构建过程中，采用DAgger方法需要人类专家在机器人执行滚转时持续提供纠正性监督，这在硬件部署和人力成本上构成严峻考验；此外，数据仅包含单个任务索引与单一机器人类型（so_follower），限制了其跨任务、跨平台的迁移能力，且缺乏显式的奖励函数或成功/失败标签，不利于后续强化学习方法的直接应用。

常用场景

经典使用场景

在机器人学习与模仿学习领域，rollout_pick_n_place_dagger_r7数据集为训练基于视觉的机械臂抓取与放置操作提供了绝佳的示范。该数据集通过DAgger（数据集聚合）范式收集，记录了单个机械臂执行拾取和放置任务的完整轨迹，包含高保真的关节状态信息与多视角视觉图像。研究者常利用该数据集训练行为克隆或强化学习策略，使机器人能够从示范中学习精细的抓取动作，并泛化到未见过的物体姿态或场景中，成为验证模仿学习算法在机器人操作任务中有效性的基准资源。

衍生相关工作

围绕这一数据集，衍生出众多经典的机器人学习工作，例如利用该数据训练基于Transformer的决策模型（如RT-1的改进形式），或将其作为数据增强模块融入离线强化学习框架如IQL和CQL中。另有研究以此数据集为标准，对比了行为克隆、DAgger及其变体在数据效率与策略泛化性能上的差异，从而推动了模仿学习理论的发展。此外，该数据集还常被用作多模态融合研究的测试平台，探索如何结合深度图像与关节状态以提升操作精度。

数据集最近研究

最新研究方向

在机器人学习领域，该数据集聚焦于基于DAgger（数据集聚合）算法的拾取与放置任务模仿学习研究。通过采集R7机械臂在35秒内约2702帧的高频状态与视觉数据，其前沿方向包括利用双流视频输入（原始与标注图像）结合六维关节位姿，探索人机交互中策略泛化的鲁棒性。当前热点事件围绕开源机器人数据集LeRobot生态，该数据集以单任务场景推动可复制性基准测试，尤其在分布式训练与因果混淆消除方面具有范式意义，为多任务连续学习与实时部署提供了紧凑的隐式动作表征基础。