rollout_pick_n_place_dagger_r9

该数据集使用LeRobot工具创建，属于机器人学领域，包含一个完整的episode，共计2142帧数据，帧率为30fps。数据以Parquet文件格式存储，总数据文件大小约为100MB，关联的视频文件大小约为200MB。核心特征包括：机器人的动作指令（action），为6维浮点数数组，控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪的位置；观测状态（observation.state），同样是6维浮点数数组，反映六个关节的实时位置；两个视觉观测通道（observation.images.front和observation.images.annotated），均为分辨率480x640的RGB视频流。此外，数据集还包含时间戳、帧索引、episode索引、全局索引和任务索引等元数据字段。机器人类型标注为so_follower。数据集仅划分了训练集，适用于机器人模仿学习、策略学习或行为克隆等任务的训练，采用Apache-2.0许可证。

This dataset is created using the LeRobot tool and belongs to the field of robotics. It contains a complete episode with a total of 2142 frames at a frame rate of 30fps. The data is stored in Parquet file format, with a total data file size of approximately 100MB and an associated video file size of about 200MB. Key features include: the robots action command (action), which is a 6-dimensional float array controlling shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position; the observation state (observation.state), also a 6-dimensional float array reflecting the real-time positions of the six joints; and two visual observation channels (observation.images.front and observation.images.annotated), both being RGB video streams with a resolution of 480x640. Additionally, the dataset includes metadata fields such as timestamp, frame index, episode index, global index, and task index. The robot type is labeled as so_follower. The dataset is only divided into a training set and is suitable for tasks like robot imitation learning, policy learning, or behavior cloning, licensed under Apache-2.0.

原始信息汇总

数据集概述

该数据集是一个机器人学的数据集，使用 LeRobot 框架创建，专注于机器人“拾取与放置”任务。

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学 (robotics)
• 机器人类型：so_follower

数据规模与结构

• 总集数 (Episodes)：1
• 总帧数 (Frames)：2142
• 总任务数 (Tasks)：1
• 数据集分割：仅包含训练集 (train: "0:1")
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 帧率 (FPS)：30

特征 (Features)

数据集包含以下特征：

• 动作 (action)：6维浮点数向量，包含机器人各关节位置 (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper)。
• 观察状态 (observation.state)：与动作相同的6维关节位置。
• 观察图像 (observation.images)：
  • front：前视摄像头视频，分辨率为 480x640，3个通道 (RGB)，编码为 AV1。
  • annotated：带标注的视频，同样分辨率 480x640，3个通道，编码为 AV1。
• 时间戳 (timestamp)：浮点数 (float32)。
• 帧索引 (frame_index)：整型 (int64)。
• 集索引 (episode_index)：整型 (int64)。
• 索引 (index)：整型 (int64)。
• 任务索引 (task_index)：整型 (int64)。

数据格式

• 数据以 Parquet 文件存储，路径为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频以 MP4 文件存储，路径为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

数据集可通过 LeRobot 可视化工具进行查看，在线链接为：https://huggingface.co/spaces/lerobot/visualize_dataset?path=anikitakis/rollout_pick_n_place_dagger_r9

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架构建，采用DAgger（数据集聚合）算法进行数据采集，针对拾取与放置（pick-and-place）任务，以R9机械臂作为执行主体。数据通过人类示教或策略滚动播出的方式生成，经过DAgger迭代优化后汇聚而成，最终以Parquet格式存储于“data”目录下，并辅以MP4视频文件记录视觉观察。数据集包含1个任务片段，共计2142帧图像，涵盖机器人关节状态与动作序列。

使用方法

推荐通过LeRobot库直接加载数据集，使用`from lerobot import Dataset`接口读取Parquet文件与关联视频，或借助HuggingFace可视化工具（如“visualize this dataset”徽章）预览数据内容。数据集预定义仅包含训练集，无需额外划分；可将其作为多模态输入，利用'observation.state'和'observation.images.front'字段作为观察空间，以'action'字段作为监督信号，构建端到端机器人操控模型。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过专家演示数据驱动策略学习，已成为解决复杂操作任务的核心范式。rollout_pick_n_place_dagger_r9数据集由研究者在LeRobot框架下创建，专注于机器人抓取与放置（pick-and-place）任务，通过DAgger（Dataset Aggregation）算法与rollout策略结合生成。该数据集包含单一任务、2142帧时序数据，记录了6自由度机器人臂（so_follower）在30帧每秒下的动作序列与视觉观测（前置摄像头及标注图像）。其核心研究问题在于如何利用在线数据聚合策略，提升机器人从演示中学习精细操作技能的泛化能力与鲁棒性。尽管数据集规模有限，但其设计理念为后续机器人操作学习研究提供了基础性实验平台。

当前挑战

该数据集所应对的领域挑战集中于机器人操作中的长程任务依赖与状态分布偏移问题：pick-and-place任务需精确协调末端执行器姿态与物体交互，而传统模仿学习易因训练与部署环境差异导致策略退化。构建过程中面临的挑战包括：如何设计高效的DAgger采集策略以平衡探索与利用，避免次优演示污染数据集；需同步采集高维视觉（640×480视频）与6维关节状态数据，保证时序对齐与低延迟记录；以及单任务、小规模（仅1个episode）的数据集结构限制了策略的泛化能力，需在有限样本下提升数据效率与模型鲁棒性。

常用场景

经典使用场景

在机器人学习领域，模仿学习因其能够从专家演示中高效捕获复杂操作技能而备受青睐。rollout_pick_n_place_dagger_r9数据集专为基于DAgger（数据集聚合）算法的模仿学习范式设计，提供了机器人执行抓取与放置任务的细致记录。其经典使用场景聚焦于训练机器人策略网络，使机器人能够通过视觉观测（如前置摄像头图像）与本体感知状态（如关节位置），精准模仿专家在拾取-放置操作中的连续动作序列。数据集以30帧每秒的高采样率记录了超过2100帧的交互数据，涵盖机器人从初始化到完成任务的完整流程，为训练端到端的策略模型提供了高质量的轨迹标注，尤其适用于视觉运动策略的离线训练与评估。

解决学术问题

该数据集的核心贡献在于解决了机器人操控中复杂操作策略的样本效率与泛化难题。传统模仿学习常受限于分布偏移问题，即模型在未见状态下性能骤降，而DAgger框架通过迭代收集新状态下的专家标注来缓解此困境。rollout_pick_n_place_dagger_r9正是为此学术需求而生，它封装了机器人在真实物理环境下执行抓取-放置任务的闭环交互日志，使研究者能够直接研究DAgger算法在连续动作空间中的有效性。该数据集还支持对策略的鲁棒性、数据利用效率及跨任务迁移能力的量化分析，为探索如何通过有限演示数据训练出能在非平稳动态中稳定运行的机器人控制器提供了宝贵基准，推动了操作技能学习从仿真到真实世界的跨越。

实际应用

在实际工业场景中，抓取与放置操作是仓储物流、电子装配及智能家居等领域的核心环节。rollout_pick_n_place_dagger_r9数据集的应用潜力体现在赋予机器人快速学习特定工件搬运能力上——例如，利用该数据集训练的模型可引导协作机械臂精准抓取传送带上的异形零件并放置于指定工位。由于数据包含六维关节动作指令与高分辨率视觉流，实际部署时机器人可实时感知环境变化，动态调整夹爪姿态与路径。此外，结合DAgger的在线校正机制，该系统可在产线边运行边微调，适应批次更替或照明条件变化，显著降低人工编程与调试成本，为柔性制造提供了数据驱动的轻量化解决方案。

数据集最近研究

最新研究方向

该数据集聚焦于机器人灵巧操作中基于模仿学习的精细化任务执行，特别关注“拾取与放置”（pick and place）这一基础操作在机械臂上的策略学习。借助DAgger（数据集聚合）算法，数据集通过交互式专家示范与策略迭代，有效解决了机器人从仿真到现实迁移中的分布偏移问题。结合高分辨率视觉观测（前视图与注释视图）和6维关节状态-动作空间，该数据为研究多模态感知与运动控制融合的前沿提供了宝贵资源。围绕具身智能与通用操作智能体的热潮，此类细粒度、任务导向的数据集对于推动机器人自主完成复杂结构化任务具有重要理论与实践意义。