rollout_pick_n_place_dagger_r6

该数据集使用LeRobot工具创建，专为机器人控制任务设计，特别适用于拾放操作的模仿学习。它采用Apache-2.0许可证，以parquet格式存储，包含6192个数据帧，覆盖1个任务和1个完整回合。数据特征包括：动作指令（6维浮点数组，对应肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（与动作相同的6维关节位置）、图像观测（来自前置摄像头和标注摄像头的视频，分辨率480x640，30fps，AV1编码），以及时间戳、帧索引、回合索引、任务索引等元数据。机器人类型为so_follower，总大小约300MB（数据文件100MB，视频文件200MB），已预定义为训练集。

This dataset is created using the LeRobot tool and is designed for robot control tasks, particularly for imitation learning in pick-and-place operations. It is licensed under Apache-2.0, stored in parquet format, and contains 6192 data frames covering 1 task and 1 full episode. The data features include: action instructions (a 6-dimensional floating-point array corresponding to shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position), observation states (6-dimensional joint positions identical to the actions), image observations (videos from a front camera and an annotation camera with a resolution of 480x640, 30fps, AV1 encoding), and metadata such as timestamps, frame indices, episode indices, and task indices. The robot type is so_follower, with a total size of approximately 300MB (100MB for data files and 200MB for video files), and it is predefined as a training set.

原始信息汇总

数据集概览

• 数据集名称: rollout_pick_n_place_dagger_r6
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集结构

• 总集数 (total_episodes): 1
• 总帧数 (total_frames): 6192
• 总任务数 (total_tasks): 1
• 数据格式: Parquet (data/*/*.parquet)
• 帧率 (fps): 30
• 机器人类型: so_follower
• 数据划分: 仅包含训练集 (train: "0:1")

数据特征

特征名称	数据类型	形状	说明
action	float32	[6]	动作指令，包含6个维度：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	[6]	观测状态，与动作指令维度相同
observation.images.front	video	[480, 640, 3]	前置摄像头视频，分辨率480x640，3通道彩色，AV1编码，30fps
observation.images.annotated	video	[480, 640, 3]	标注后的视频，分辨率480x640，3通道彩色，AV1编码，30fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据文件大小

• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 数据存储路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

• 可通过 LeRobot 可视化空间 预览数据集。

搜集汇总

数据集介绍

构建方式

在机器人学习与模仿学习领域，数据集的构建质量直接影响策略泛化性能。该数据集采用dagger（数据集聚合）范式，基于rollout策略在模拟或真实环境中执行拾取与放置任务，通过专家干预与数据采集迭代生成高质量演示轨迹。使用lerobot框架采集与标准化处理，数据以parquet格式存储元信息，并在meta/info.json中定义特征结构，包括6维关节动作与状态、多视角视觉观测（640×480分辨率，av1编码视频）、时间戳与索引字段，最终形成包含1个episode、6192帧的紧凑数据集。

使用方法

数据集可通过lerobot库直接调用，利用其内置的数据加载器读取parquet文件与视频流。用户需指定数据集路径及配置名'default'，并依据meta/info.json中的特征字段组织输入管道。训练时可提取'observation.state'作为状态输入、'observation.images.front'与'observation.images.annotated'作为视觉输入，'action'作为目标标签。数据集已预设训练集划分，支持批量化处理与episode索引重播，便于在模仿学习或离线强化学习场景中高效使用。

背景与挑战

背景概述

该数据集由Ani Kitakis等人依托LeRobot框架于近期创建，专注于解决机器人操作中的拾取与放置任务（Pick and Place）。通过模仿学习的行为克隆范式（DAgger），数据集以6自由度机械臂So-Follower为核心，记录了6192帧的关节状态与640x480分辨率的前视视觉观测数据。作为机器人学习领域的基准数据集，其提供的低维动作与高维视觉联合表征，为从示范中学习精细操作的算法提供了标准化训练与评估平台，尤其在零样本迁移与样本效率方面具有研究价值。

当前挑战

数据集面临的核心挑战在于模拟环境到真实世界的迁移鸿沟（Sim2Real Gap），尽管采用DAgger策略进行交互式示范收集，但单一任务（拾取与放置）和单条轨迹的局限性导致模型泛化能力不足。构建过程中，因需要人工通过遥操作持续介入以修正策略偏差，数据采集效率低下且存在人类示范不一致问题；此外，高帧率（30 FPS）视频与6维动作流的同步记录对硬件同步性与存储带宽提出了严苛要求，而仅依赖前视相机也限制了机器人对环境深度信息的感知鲁棒性。

常用场景

经典使用场景

在机器人操作领域，模仿学习（Imitation Learning）是赋予机械臂灵巧操作能力的核心范式之一。rollout_pick_n_place_dagger_r6数据集专为基于DAgger（Dataset Aggregation）算法的机器人抓取与放置任务设计，记录了单个完整的机械臂搬运演示序列。其经典使用场景涵盖端到端策略训练，研究者可利用包含6维关节状态（肩部、肘部、腕部及夹爪位置）与双视角视觉输入（前置摄像头与标注化图像）的高频数据，结合30FPS的时间戳序列，构建能够复现专家演示行为的控制策略。该数据集尤其适用于研究在“教师”策略引导下逐步优化“学生”模型的过程，通过迭代式数据聚合解决分布偏移问题，从而提升机器人对未知物体布局的泛化能力。

解决学术问题

该数据集直面模仿学习中棘手的协变量偏移（Covariate Shift）问题，即学生策略在执行时因微小偏差累积导致状态分布偏离训练轨迹的现象。通过采集DAgger框架下的交互式演示数据，研究者可系统验证在线数据聚合策略对策略鲁棒性的改善效果。其单轴机械臂的6自由度运动空间与高维度视觉观测的耦合，为探索多模态融合、时序建模及因果推断提供了标准化测试床。更深层的学术意义在于，该数据集推动了“交互式模仿学习”理论的发展，将学习过程从静态数据集扩展到动态师生交互循环，为缩小仿真训练与现实部署间的鸿沟提供了关键数据支撑，间接影响了逆强化学习、分层强化学习等前沿方向的实验范式。

实际应用

在工业自动化与仓储物流场景中，该数据集所蕴含的技术范式可直接转化为生产力提升。基于其记录的操作技能，工程师能够训练出具备自适应抓取能力的协作机器人，执行诸如从杂乱料箱中分拣异形零件、在柔性产线上完成精密装配等典型任务。其前瞻性应用包括：为手术机器人构建精细操作的原型验证数据集，通过迁移学习实现微创器械的控制；以及赋能家庭服务机器人完成整理桌面、拾取易碎物品等日常操作。此外，DAgger框架支持持续收集人类反馈的特性，使得该数据集可被拓展至人机协作场景，如工人在装配过程中通过示教修正机器人动作，从而构建低门槛、可更新的技能库，加速智能制造系统的部署迭代。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域的模仿学习前沿，采用DAgger（数据集聚合）算法框架，通过专家交互式示范与策略迭代机制生成高质量演示数据。其核心方向在于利用六自由度机械臂（如so_follower型号）执行拾取与放置任务，结合多模态观测（关节状态与视觉图像）训练鲁棒的视觉运动策略。这一研究路径与具身智能热潮紧密相关，尤其针对小样本学习与闭环控制中的分布偏移问题，通过在线数据扩增提升策略的泛化性和抗干扰能力。数据集以AV1编码的30fps高清视频记录操作过程，并标准化了6维动作空间与状态空间，为复现真实物理世界中的精密操作提供了基准。其意义在于推动机器人从预设程序向数据驱动的自适应行为演进，加速了家庭服务、工业分拣等场景中‘感知-规划-执行’全链路算法的落地验证。