openarm-sim-groot-v2

该数据集使用LeRobot工具创建，是一个用于机器人学习的仿真数据集，基于双机械臂（bimanual_openarm）平台，代码库版本为v2.1，采用Apache-2.0许可证。数据规模包含2个episodes、总计1176帧、4个独立任务和6个视频片段，所有数据均划分为训练集。核心特征包括：观测状态为16维浮点数向量，表示左右机械臂各7个关节及左右手指各1个关节的角度；动作为16维浮点数向量，与观测状态对应的关节控制指令；多视角图像观测包含来自头部、左腕和右腕三个视角的RGB视频，分辨率均为480x640，帧率为30 fps，存储为MP4格式；元数据包括时间戳、帧索引、episode索引、全局索引和任务索引。该数据集适用于机器人模仿学习、强化学习、行为克隆以及多模态机器人控制策略的研究与开发。This dataset is constructed using the LeRobot toolkit, serving as a simulation dataset for robot learning research. It is built on the bimanual_openarm robotic platform, with codebase version v2.1 and licensed under the Apache-2.0 license. In terms of data scale, this dataset includes 2 episodes, totaling 1176 frames, 4 independent tasks, and 6 video clips. The data is organized in chunks, with all samples allocated to the training split. The core features of this dataset are as follows: 1) Observation state: A 16-dimensional floating-point vector representing the joint angles of 7 joints for each of the left and right robotic arms, plus 1 joint angle for each of the left and right fingers; 2) Action: A 16-dimensional floating-point vector serving as joint control commands corresponding to the observation state; 3) Multi-view image observations: RGB videos captured from three perspectives (head, left wrist, and right wrist), all with a resolution of 480x640, a frame rate of 30 fps, and stored in MP4 format; 4) Metadata: Timestamps, frame indices, episode indices, global indices, and task indices. This dataset is applicable to research and development in robotic imitation learning, reinforcement learning, behavioral cloning, and multimodal robotic control strategy development.

原始信息汇总

数据集概述：openarm-sim-groot-v2

• 数据集地址：https://huggingface.co/datasets/20-wasa/openarm-sim-groot-v2
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot

数据集规模与结构

• 代码库版本：v2.1
• 机器人类型：双机械臂开放式机械臂（bimanual_openarm）
• 总片段数：18
• 总帧数：9278
• 总任务数：4
• 总视频数：54
• 总数据块数：1
• 数据块大小：1000
• 帧率：30 FPS
• 训练/测试划分：全部18个片段用于训练（train: "0:18"）

数据特征

数据文件格式为 Parquet，视频文件格式为 MP4（H.264 编码，分辨率 480x640，30 FPS）。每条数据包含以下特征：

特征名称	数据类型	形状	说明
observation.state	float32	[16]	机器人关节状态：左臂7个关节 + 右臂7个关节 + 左手指关节 + 右手指关节
action	float32	[16]	动作指令：与状态维度一致（左右臂各7关节 + 左右手指各1关节）
observation.images.head	video	[480,640,3]	头部摄像头视频（H.264，480x640，30 FPS）
observation.images.left_wrist	video	[480,640,3]	左腕摄像头视频（H.264，480x640，30 FPS）
observation.images.right_wrist	video	[480,640,3]	右腕摄像头视频（H.264，480x640，30 FPS）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据集创建工具

该数据集使用 LeRobot 创建。

可视化工具

可通过 可视化空间 在线查看数据集内容。

搜集汇总

数据集介绍

构建方式

openarm-sim-groot-v2数据集依托LeRobot框架构建，专注于双臂机器人操作领域。该数据集的采集基于bimanual_openarm机器人平台，涵盖了18个完整任务回合，总计9278帧数据，分布于4个不同任务场景中。数据以Parquet格式存储于单一数据块内，每个回合的观测状态、动作指令及时间戳等关键信息被精密记录，同时伴随54段高清视频，分别来自头部、左腕和右腕三个摄像头视角，确保了对机器人操作过程的全面捕获。

特点

该数据集的核心特色在于其多维度的细致数据封装。观测状态与动作指令均包含16维浮点数向量，精准映射双臂各关节及手指关节的实时状态。视觉数据方面，提供了三个视角的640×480分辨率H.264编码视频，以30帧/秒的速率同步记录，为模仿学习与机器人控制算法提供了丰富的时空信息。此外，数据集内含任务索引与帧索引等元数据，便于研究人员进行时序分析与任务分割。

使用方法

使用openarm-sim-groot-v2数据集时，用户可借助LeRobot库便捷加载与解析。数据访问路径遵循预设的模板格式，支持按回合索引高效检索。训练建议采用默认的18个回合全量数据，无需额外划分验证集。对于视觉输入，可利用提供的视频帧图像序列结合状态观测，构建端到端的机器人操控模型。数据集兼容HuggingFace的数据可视化工具，支持在线预览，大幅降低了数据探索与模型开发的门槛。

背景与挑战

背景概述

随着机器人学习领域对大规模、高质量演示数据需求的日益增长，模拟环境因其低成本、可扩展性及安全性成为数据生成的重要平台。openarm-sim-groot-v2数据集由科研社区在开源框架LeRobot下创建，依托bimanual_openarm双臂机器人仿真平台，采集了涵盖4类任务共18个演示片段，总计9278帧、54段视觉观测视频（包括头部及左右腕部摄像头），旨在为双臂协作操作策略的学习提供标准化的训练与评估基准。该数据集以Apache-2.0许可发布，其结构化的状态-动作序列与多视角视觉信息，为模仿学习、强化学习等算法的研发与复现奠定了坚实基础，对推动机器人技能获取与泛化研究具有重要价值。

当前挑战

当前数据集面临的核心挑战在于：其一，有限的任务种类（4类）与片段数量（18个）难以覆盖真实场景中双臂操作的多样性，使基于此类数据习得的策略在遭遇未见过物体、布局或动态扰动时泛化能力受限；其二，采集过程完全依赖仿真环境，存在“模拟-现实”迁移鸿沟（Sim-to-Real Gap），仿真中的理想物理参数与传感器噪声模型无法完全复现真实机器人执行时的摩擦、柔性形变及视觉光照变化；其三，数据构建时未提供动作执行成功与否的显式标签，缺乏对失败示例的建模，阻碍了策略鲁棒性分析及安全纠错机制的开发。

常用场景

经典使用场景

在机器人学习与模仿学习领域，openarm-sim-groot-v2数据集专为双臂协作机器人（bimanual_openarm）的运动规划与控制任务设计。该数据集包含了18个完整任务片段、9278帧时序数据以及54段多视角视频，涵盖4种典型操作任务。研究者可利用其提供的16维关节状态观测、16维动作指令、三视角图像（头部、左右腕部）以及精确时间戳，训练机器人从示范中学习复杂动作序列。数据以30帧/秒的帧率录制，支持端到端的策略学习，尤其适用于基于视觉的运动控制模型训练，如扩散策略（diffusion policy）或行为克隆方法，是研究双臂协调与精细操作任务的宝贵资源。

衍生相关工作

围绕openarm-sim-groot-v2数据集，衍生了一系列具有影响力的研究工作。一方面，它被用于验证和改进扩散策略（diffusion policy）在双臂场景下的性能，推动了条件式动作生成模型的进步。另一方面，基于该数据集的跨任务迁移学习研究，催生了通用机器人操作基座模型的探索，例如通过预训练-微调范式适应新任务。此外，该数据集还促进了多视角视觉表示学习的发展，研究者利用其提供的头部与腕部影像设计空间注意力机制，显著提升了细粒度动作预测的准确性。这些衍生工作共同推动了机器人学习领域从单臂向双臂、从仿真向真实世界的跨越。

数据集最近研究

最新研究方向

该数据集聚焦于双臂机器人操作领域的模仿学习与行为克隆前沿方向，通过提供高保真仿真环境中双臂开放机械臂的完整操作轨迹数据，为机器人自主操控研究注入新动能。结合LeRobot开源框架的数据标准化优势，数据集以多视角视觉观测与16维关节状态-动作空间为基础，支撑了基于视觉-运动耦合的端到端策略学习研究。当前热点事件中，低成本机器人平台与大语言模型驱动的任务规划技术深度融合，该数据集通过环境交互的细粒度时序数据，为验证泛化性操控策略及人机协同场景下的灵巧操作提供了关键基准，其标准化格式加速了从仿真到真实世界的知识迁移，成为推动具身智能研究范式演进的核心基础设施。