eval_act_so100_movella_stack_e5

该数据集是使用LeRobot创建的，包含了机器人的动作、状态和视频数据。数据集共包含1个剧集，595个帧，1个任务和2个视频文件。数据集按照1000个数据点分为1个块，帧率为20。提供了训练数据的分割信息。数据集的每个条目包括主要关节的角度和夹具的位置，以及侧面和上方视角的视频数据。所有视频均为无音频的AV1编码。

原始信息汇总

数据集概述

基本信息

• 名称: eval_act_so100_movella_stack_e5
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data/*/*.parquet
• 代码库版本: v2.1
• 机器人类型: so100MovellaDot
• 总集数: 1
• 总帧数: 595
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 20 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测图像 (observation.images.side 和 observation.images.above):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 20 fps
    • 通道数: 3
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人技术研究设计。数据采集过程中使用了so100MovellaDot机器人，记录了包括关节角度、夹爪状态等动作数据，以及来自侧视和俯视视角的视频观测数据。数据以20fps的帧率采集，存储为Parquet格式，并通过分块方式组织，每个数据块包含1000帧。元数据详细描述了数据结构，包括动作空间、观测空间及各字段的数据类型与形状。

特点

数据集提供了机器人执行任务时的多模态数据，包含6维动作向量和对应的6维状态观测，以及双视角的480x640分辨率视频流。动作数据覆盖了肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪控制等完整自由度。视频数据采用AV1编码，以YUV420p格式存储，确保了数据的高效存储与传输。时间戳和帧索引等元数据为时序分析提供了支持。

使用方法

研究者可通过加载Parquet文件获取结构化数据，利用视频路径访问对应的视觉观测。数据集适用于机器人动作学习、模仿学习等任务。动作和状态数据可直接用于模型训练，而视频数据可用于视觉表征学习。帧索引和时间戳支持时序建模，分块存储设计便于大数据量下的流式处理。使用前需确保已安装支持Parquet和AV1解码的软件环境。

背景与挑战

背景概述

eval_act_so100_movella_stack_e5数据集由LeRobot团队创建，专注于机器人控制领域的研究。该数据集采用Apache-2.0许可协议，旨在为机器人动作评估提供多模态数据支持，包含机械臂关节状态、视觉观测及时间戳等信息。数据集构建基于so100MovellaDot机器人平台，通过20fps的视频流和6自由度机械臂动作捕捉，为机器人动作学习与策略优化提供了高精度实验数据。尽管具体创建时间和研究团队尚未公开，但其技术框架和数据结构体现了机器人学领域对可重复实验和数据标准化的迫切需求。

当前挑战

该数据集面临的核心挑战体现在两个方面：在领域问题层面，如何准确评估多自由度机械臂的复杂动作序列仍是一个开放性问题，现有数据在动作平滑性和任务多样性方面存在局限；在构建过程中，多传感器数据的时间同步、高维动作空间的数据标注以及大规模视频数据的高效存储构成了主要技术瓶颈。此外，缺乏公开的论文和详细技术文档，使得数据集的复用和结果复现面临挑战。

常用场景

经典使用场景

在机器人控制领域，eval_act_so100_movella_stack_e5数据集为研究多关节机械臂的运动控制提供了丰富的实验数据。该数据集记录了机械臂在三维空间中的精确动作轨迹，包括肩部、肘部和腕部的关节角度变化，以及末端执行器的开合状态。这些数据为开发基于深度学习的运动规划算法提供了理想的训练素材，特别是在需要高精度控制的堆叠任务场景中。

解决学术问题

该数据集有效解决了机器人学中动作模仿学习的样本稀缺问题。通过提供包含多视角视频同步记录的机械臂运动数据，研究人员能够深入探究视觉-动作联合表征的建模方法。其精确的时间戳和帧索引设计，为研究连续动作空间中的时序依赖性提供了关键实验基础，推动了模仿学习与强化学习在机器人控制中的融合应用。

衍生相关工作

该数据集已催生多项关于多模态机器人控制的研究工作，包括基于Transformer的动作预测模型和视觉-动作联合嵌入方法。部分研究团队利用其多视角视频数据开发了新型的视觉伺服系统，另一些工作则专注于挖掘其高精度动作序列中的时序模式，推动了动态运动基元(DMP)在连续控制任务中的应用进展。