simBoxPushTest

该数据集是一个与机器人学相关的数据集，包含了用于机器人任务的视频和状态信息。数据集包含一个机器人类型（so100），共31个剧集，14179个帧，62个视频和1个数据块。数据块的大小为1000，帧率为30fps。数据集被分为训练集。数据集的结构包括两个摄像头的图像观测、动作、状态以及其他如时间戳和帧索引的元数据。

原始信息汇总

数据集概述

基本信息

• 名称: simBoxPushTest
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, so100, tutorial
• 代码库版本: v2.1
• 机器人类型: so100

数据集结构

• 总任务数: 1
• 总片段数: 31
• 总帧数: 14179
• 总视频数: 62
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:31)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.images.base_camera:

  • 类型: 视频
  • 形状: [480, 640, 3]
  • 帧率: 30 fps
  • 视频编码: h264
  • 像素格式: yuv420p
  • 无音频

• observation.images.hand_camera:

  • 类型: 视频
  • 形状: [480, 640, 3]
  • 帧率: 30 fps
  • 视频编码: h264
  • 像素格式: yuv420p
  • 无音频

• action:

  • 类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

• observation.state:

  • 类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

• timestamp:

  • 类型: float32
  • 形状: [1]

• frame_index:

  • 类型: int64
  • 形状: [1]

• episode_index:

  • 类型: int64
  • 形状: [1]

• index:

  • 类型: int64
  • 形状: [1]

• task_index:

  • 类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，simBoxPushTest数据集通过LeRobot平台精心构建，采用Apache-2.0许可协议。该数据集包含31个完整操作序列，共计14179帧数据，以30fps的帧率记录。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效组织。每个操作序列同步保存了双视角视觉数据（480×640 RGB图像）和6自由度机械臂运动状态，通过严格的时序标注确保多模态数据对齐。

特点

该数据集的核心价值在于其多模态特性与工业级精度。双摄像头视角（基础视角和手部视角）提供操作场景的立体观测，640×480分辨率视频采用h264编码。机械臂动作数据以float32精度记录6个关节状态，包括平移和旋转自由度。数据标注体系完备，包含时间戳、帧索引、任务索引等多维度元数据，支持精细的时序分析和动作分割研究。

使用方法

研究者可通过HuggingFace平台直接加载Parquet格式数据，利用内置的帧索引实现快速检索。视频数据采用标准MP4封装，兼容主流计算机视觉工具链。典型应用场景包括：通过observation.images字段获取视觉输入，结合action字段进行行为克隆训练；利用timestamp字段进行动作时序分析；帧级元数据支持强化学习算法的奖励函数设计。数据已预分割为训练集，可直接用于模型验证。

背景与挑战

背景概述

simBoxPushTest数据集由LeRobot团队构建，专注于机器人操作任务的研究。该数据集基于so100机器人平台，记录了31个完整操作任务的数据，包含14179帧图像及62段视频，主要用于模拟环境下的物体推动任务。机器人配备了基础相机和手部相机，能够捕获480x640分辨率的RGB图像，并以30帧每秒的频率记录操作过程。数据集采用Apache-2.0许可协议，为机器人学习领域提供了宝贵的实验数据。

当前挑战

该数据集旨在解决机器人操作任务中的视觉-动作协同问题，特别是模拟环境中物体推动任务的泛化能力挑战。构建过程中面临多重技术难题：多模态数据同步采集的精确性要求高，需确保视觉数据与机械臂动作的严格时序对齐；高分辨率视频数据的存储与处理带来计算资源压力；机器人动作空间的连续控制参数需精确标注。此外，模拟环境与真实场景的域差异也对数据集的实用性提出挑战。

常用场景

经典使用场景

在机器人控制与操作领域，simBoxPushTest数据集为研究者提供了一个标准化的测试平台，用于评估机械臂在模拟环境中执行物体推动任务的能力。该数据集通过记录机械臂在执行任务过程中的视觉观察、状态信息和动作序列，为算法开发和性能评估提供了丰富的数据支持。

实际应用

在实际应用中，simBoxPushTest数据集可用于开发和优化工业自动化中的机械臂控制系统，提高其在物流、仓储和生产线上的操作效率。此外，该数据集还可用于教育领域，帮助学生和研究人员理解机器人操作的基本原理和算法实现。

衍生相关工作

基于simBoxPushTest数据集，研究者们已经开发了一系列经典的机器人控制算法，包括基于深度强化学习的机械臂运动规划方法和视觉伺服控制系统。这些工作不仅扩展了数据集的应用范围，还为机器人操作任务的进一步研究提供了重要的参考和基础。