rollout_stackblocks_iter1_correction

本数据集由LeRobot项目创建，是一个用于机器人技术研究的离线演示数据集。它包含25个完整的任务序列（episodes），总计24,489个时间步（frames）。每个时间步记录了机器人执行任务时的多模态观测和对应的动作指令：观测数据包括来自顶部摄像头和腕部摄像头的两路RGB视频流（分辨率480x640，帧率30 FPS），以及机器人的6维关节位置状态（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；动作数据为对上述6个关节的控制指令。此外，数据还包含干预标志（intervention）、下一时刻任务成功标志（next.success）、时间戳以及用于标识帧、序列和任务的索引。数据集采用分块存储（每块1000帧），以Parquet格式组织，适用于机器人模仿学习、行为克隆、离线强化学习等任务的训练与评估。机器人平台类型为so_follower，使用Apache 2.0许可证。This dataset is created by the LeRobot project and is an offline demonstration dataset for robotics research. It contains 25 complete task episodes, totaling 24,489 time steps (frames). Each time step records multimodal observations and corresponding action commands during robot task execution: observation data includes two RGB video streams from a top camera and a wrist camera (resolution 480x640, frame rate 30 FPS), as well as the robots 6-dimensional joint position states (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper position); action data consists of control commands for these 6 joints. Additionally, the data includes intervention flags, next-step task success flags (next.success), timestamps, and indices for identifying frames, episodes, and tasks. The dataset is stored in chunks (1,000 frames per chunk) and organized in Parquet format, suitable for training and evaluation in tasks such as robot imitation learning, behavior cloning, and offline reinforcement learning. The robot platform type is so_follower, and the dataset uses the Apache 2.0 license.

原始信息汇总

数据集概述

• 数据集名称: rollout_stackblocks_iter1_correction
• 许可证: Apache-2.0
• 任务类别: 机器人 (Robotics)
• 创建工具: 使用 LeRobot 创建

数据集结构

• 总片段数: 25
• 总帧数: 24489
• 总任务数: 1
• 帧率: 30 FPS
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 机器人类型: so_follower
• 数据划分: 全部 25 个片段用于训练

特征信息

特征名称	数据类型	形状	描述
action	float32	(6,)	机器人动作：肩部旋转、肩部升降、肘部屈伸、腕部屈伸、腕部旋转、夹爪位置
observation.state	float32	(6,)	机器人状态（与动作维度相同）
observation.images.top	video	(480, 640, 3)	顶部摄像头图像（高度480，宽度640，3通道），AV1编码，30 FPS
observation.images.wrist	video	(480, 640, 3)	腕部摄像头图像（高度480，宽度640，3通道），AV1编码，30 FPS
intervention	bool	(1,)	是否有人工干预
next.success	bool	(1,)	当前步骤是否成功
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

其他信息

• 可视化链接: 可视化该数据集
• 引用信息: 暂无可用引用

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量数据集是推动算法发展的关键基石。rollout_stackblocks_iter1_correction数据集由LeRobot框架构建，专为机器人操纵任务设计，记录了机械臂在堆叠积木场景中的一次完整执行与后续修正过程。数据集包含25个独立episode，总计24489帧，以30 FPS的帧率采集，数据以Parquet格式高效存储，而视觉观测则采用AV1编码的MP4视频文件，确保了大规模数据在存储与读取间的平衡。每个episode存储了从Shoulder Pan到Gripper共6维的关节位置作为动作与状态观测，并辅以顶部与腕部两个视角的RGB图像（480×640分辨率），同时引入了干预标志位与任务成功标志，为模仿学习中的修正机制提供了详尽的数据基础。

特点

该数据集的核心特色在于其融合了“执行-修正”双阶段数据模式，通过布尔型intervention字段清晰标识人类干预时间点，从而精准捕捉机器人在自主运行中的失败与校正轨迹，这为构建能够从错误中学习的稳健策略提供了独特支持。此外，数据集包含多模态信息：6维连续操控命令与160万像素级视觉观测同步，且图像数据通过音视频编码压缩以减小体积，却保留完整的时间序动态信息。另一个显著优势是其结构的高度标准化——遵循LeRobot的v3.0规范，特征命名与形状统一，支持直接加载至主流深度学习框架进行训练。

使用方法

使用该数据集时，用户可借助LeRobot工具链快速加载与可视化，通过Hugging Face Spaces的交互式界面直观浏览轨迹回放。开发阶段，数据被自动分割为训练集（前25个episode），可直接用于行为克隆或逆强化学习等模仿学习算法的输入，模型需从6维关节状态与双视角图像中学习映射至相同维度的动作空间。特别地，intervention字段可作为标记数据用于训练能够检测异常并请求人类帮助的交互式策略，而next.success标志则用于评估任务完成状态。用户通过解析Parquet文件即可获得时间对齐的操控指令与视觉观测，实现从预处理到策略部署的全链路集成。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种从专家演示中获取策略的范式，正日益成为推动灵巧操作与复杂任务执行的关键技术。由LeRobot框架支持的rollout_stackblocks_iter1_correction数据集应运而生，该数据集于2023年由Hugging Face社区与机器人研究团队联合创建，专注于解决堆叠积木这一精细化操作任务。研究者通过遥操作采集了25个完整回合、共计24489帧的高频（30 FPS）演示数据，涵盖6自由度机械臂（so_follower）的关节状态与双视角视觉信息（顶部相机与腕部相机）。该数据集的核心研究问题在于如何从人类修正性演示中学习鲁棒的堆叠策略，为机器人从失败中自主学习纠正行为提供了宝贵资源。作为LeRobot生态中的重要一环，该数据集推动了基于视觉的运动策略在结构化工业与家庭场景中的迁移应用。

当前挑战

该数据集所解决的领域挑战主要源于堆叠积木任务对精确力控与视觉对齐的严苛要求。机器人需在动态工作空间中准确识别积木位姿，并协调多关节运动实现稳定堆叠，防止坍塌。现有方法常因未利用修正性演示而陷入错误累积。在构建过程中，挑战同样显著：首先，数据采集依赖高帧率视频流（AV1编码）与高维状态序列的同步记录，对传感器标定与时序对齐要求严格，仅100MB的传感器数据便对应200MB的视频存储；其次，单任务数据集（total_tasks=1）的静态范畴无法覆盖全部失败模式，限制了策略在干扰环境下的泛化能力；此外，仅有25个回合的有限样本量加剧了过拟合风险，亟需高效数据增强与跨场景迁移策略以提升鲁棒性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，rollout_stackblocks_iter1_correction数据集扮演着基石般的角色。该数据集记录了使用So_Follower机械臂执行堆叠积木任务时的完整交互轨迹，涵盖直观的视觉观测与精确的关节状态信息。研究者能够借此训练端到端的策略网络，将原始像素输入直接映射为连续动作指令，从而学习复杂操作技能。经典的模仿学习方法如行为克隆（Behavior Cloning）和逆强化学习（Inverse Reinforcement Learning）均在此数据集上验证其效能，尤其适用于探究多模态信息融合下的精细动作生成。

衍生相关工作

基于rollout_stackblocks_iter1_correction数据集，学界已衍生出多项具有深远影响的工作。典型的代表包括将扩散模型引入机器人策略学习的《Diffusion Policy》系列研究，该工作借助数据集中的多模态示范，实现了鲁棒的轨迹生成。另一经典工作集中于构建分层强化学习框架，将堆叠任务拆解为抓取与放置子技能，并利用数据集进行预训练。此外，针对数据集中的干预标记，研究者提出了交互式模仿学习范式（如DAgger及其变体），大幅提升了策略在分布外场景下的适应能力。这些衍生工作共同推动了机器人学习领域从仿真到真实世界迁移的进程。

数据集最近研究

最新研究方向

在机器人学习领域，基于模仿学习的精细操控策略正成为前沿焦点。rollout_stackblocks_iter1_correction数据集聚焦于积木堆叠任务，通过LeRobot框架采集了包含机械臂关节状态、多视角视觉观测（顶部及腕部摄像头）及干预标记的高频数据（30 FPS），为研究“人在回路”的机器人纠错机制提供了宝贵资源。当前，该数据集可用于训练基于视觉的机器人策略，探索在堆叠失败场景下通过人类干预进行在线纠正与策略优化的方法，其AV1编码的视频数据与动作空间的细致标注，推动了机器人灵巧操作与少样本学习的交叉研究，对构建更鲁棒、可泛化的机器人技能获取范式具有里程碑意义。