eval_act_so100_v3_task4_default

这是一个使用LeRobot创建的机器人数据集，包含10个剧集，共有13004帧，1个任务，20个视频，1个片段，每个片段1000帧，帧率为30fps。数据集仅包含训练分割，并提供了一系列关于动作、状态、图像等特征的详细描述。数据集的许可是Apache-2.0。

This is a robotic dataset developed using LeRobot. It contains 10 episodes, with a total of 13004 frames, 1 task, 20 videos, and 1 segment. Each segment includes 1000 frames and operates at a frame rate of 30fps. The dataset only provides the training split, and offers detailed descriptions of various features such as actions, states, and images. The license for this dataset is Apache-2.0.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件格式: Parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 10
• 总帧数: 13004
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.image:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: fps=30.0, height=480, width=640, channels=3, codec=av1, pix_fmt=yuv420p, is_depth_map=false, has_audio=false
• observation.image2:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: fps=30.0, height=480, width=640, channels=3, codec=av1, pix_fmt=yuv420p, is_depth_map=false, has_audio=false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot开源框架构建，专为机器人控制任务设计。数据采集采用SO100型机器人平台，通过高精度传感器记录机械臂关节角度、末端执行器状态等动作特征，同时以30fps帧率同步采集480×640分辨率的多视角视频流。数据以分块存储策略组织，每1000帧为一个数据块，共包含10个完整操作序列的13004帧数据，采用Parquet列式存储格式保证高效读写。

特点

数据集最显著的特点是提供机器人控制所需的多模态观测数据，包含6自由度机械臂的实时动作向量、双视角RGB视频流及精确的时间戳标记。动作空间涵盖肩部平移/抬升、肘部屈伸、腕部屈伸/旋转及夹持器开合等完整自由度，观测数据采用float32精度存储确保数值准确性。视频数据采用AV1编码压缩，在保持画质的同时显著降低存储需求，适合端到端模仿学习算法的训练需求。

使用方法

使用该数据集时，可通过meta/info.json中的路径模板加载分块存储的Parquet数据文件。训练集包含全部10个操作序列，每个数据样本包含同步的动作指令、机器人状态观测和视觉观测。建议采用流式加载策略处理视频数据，利用帧索引和时间戳实现多模态数据对齐。数据集兼容主流机器人学习框架，特别适合用于行为克隆、强化学习等算法的训练与评估。

背景与挑战

背景概述

eval_act_so100_v3_task4_default数据集由LeRobot团队构建，专注于机器人技术领域的研究与应用。该数据集通过记录机械臂的动作状态、观测图像等多模态数据，旨在为机器人控制算法的开发与评估提供丰富的数据支持。数据集构建过程中采用了高精度的传感器采集系统，确保了数据的准确性和可靠性。尽管数据集的具体创建时间和主要研究人员信息尚未公开，但其在机器人学习与控制的算法验证方面展现出重要价值，为相关领域的研究提供了宝贵的数据资源。

当前挑战

该数据集面临的挑战主要集中在两个方面：首先，机器人控制领域对动作与观测数据的高精度同步提出了严格要求，如何确保多模态数据的时间一致性是核心问题之一；其次，数据集的构建过程中需处理大量高维视频数据，这对存储、计算资源以及数据处理流程的效率提出了严峻挑战。此外，数据标注的准确性和完整性也是影响数据集质量的关键因素。

常用场景

经典使用场景

在机器人控制与行为学习领域，eval_act_so100_v3_task4_default数据集通过记录机械臂关节角度、夹爪状态及多视角视觉数据，为模仿学习与强化学习算法提供了标准化的训练环境。其包含的10个完整操作序列和13004帧同步传感数据，特别适用于研究机械臂在复杂任务中的动作规划与状态感知问题。

实际应用

工业场景中的装配分拣任务可直接受益于该数据集训练的模型，其记录的SO100型机械臂操作数据能够迁移到实际产线的自动化流程优化。医疗机器人领域亦可借鉴其多模态数据融合方法，用于手术辅助系统的动作轨迹规划与视觉伺服控制。

衍生相关工作

基于该数据集的特性，已衍生出多项机器人技能迁移研究，包括跨任务的动作泛化框架和视觉-动作联合嵌入模型。LeRobot团队进一步扩展了其应用边界，开发出支持多机器人平台的数据采集管道，推动了开源机器人学习生态的发展。