follow-the-ball-v0

该数据集使用LeRobot创建，包含机器人操作的相关数据。数据集包含11个 episodes，共57922帧，分为训练集。数据以Parquet文件格式存储，并包含相应的视频文件。数据集特征包括动作位置、观察状态、机械臂爪图像和时间戳等信息。数据集遵循Apache-2.0许可。This dataset was created using LeRobot and contains data related to robotic manipulation. It consists of 11 episodes totaling 57,922 frames, and is split into the training set. The data is stored in Parquet file format, with corresponding video files included. Its features include information such as action positions, observation states, robotic arm gripper images, and timestamps. The dataset is licensed under Apache-2.0.

原始信息汇总

数据集概述

基本信息

• 数据集名称: follow-the-ball-v0
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人技术

数据集规模

• 总回合数: 11
• 总帧数: 57,922
• 总任务数: 1
• 数据切块大小: 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据划分

• 训练集: 全部11个回合

数据结构

数据特征

• 动作数据:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 状态观测:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 夹爪图像观测:

  • 数据类型: 视频
  • 分辨率: 720×1280×3
  • 视频编码: AV1
  • 像素格式: yuv420p
  • 无音频

索引信息

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人控制领域，follow-the-ball-v0数据集通过LeRobot框架系统采集了11个完整任务片段，涵盖57922帧高精度时序数据。该数据集采用分块存储机制，每1000帧构成一个数据块，以Parquet格式高效保存机器人关节位置、夹爪图像及时间戳等多模态信息，确保了数据的完整性与可追溯性。

特点

该数据集显著特征在于融合了六自由度机械臂的连续动作轨迹与720p高清夹爪视角视频流，动作空间包含肩部平移、肘部弯曲等六维关节坐标，观测空间则同步记录机械臂状态与视觉感知。所有数据以30帧/秒的采样频率严格对齐，形成时空一致的多模态机器人交互记录。

使用方法

研究者可通过解析Parquet数据文件获取结构化机器人交互记录，利用帧索引与片段索引重构完整任务轨迹。视频数据采用AV1编码存储于独立MP4文件，支持与动作序列的时序匹配。该数据集适用于模仿学习与视觉伺服控制算法的训练验证，全部11个任务片段均划分为训练集以供模型学习。

背景与挑战

背景概述

在机器人技术领域，视觉引导的机械臂控制是实现自主操作的核心研究方向。follow-the-ball-v0数据集由LeRobot研究团队构建，专注于解决机器人实时追踪动态物体的基础问题。该数据集通过搭载六自由度关节的so101_follower机器人平台，采集了包含57,922帧视觉动作协同数据，涵盖机械臂关节位置与夹爪视角的高清视频流，为模仿学习与强化学习算法提供了真实世界的交互轨迹基准。

当前挑战

动态目标追踪任务面临环境感知与运动规划耦合的复杂性，需克服视觉遮挡、光照变化和目标运动不确定性对控制策略的干扰。数据集构建过程中，多模态数据同步采集存在时序对齐精度要求，高分辨率视频流与机械臂状态数据的存储架构需平衡效率与完整性。有限的11条任务轨迹对模型泛化能力提出更高要求，而六维动作空间的连续控制亦增加了策略学习的收敛难度。

常用场景

经典使用场景

在机器人视觉控制领域，follow-the-ball-v0数据集作为LeRobot项目的重要组成部分，主要用于训练机械臂实现动态目标追踪任务。该数据集通过记录机械臂关节位置与夹爪视角图像序列，构建了完整的视觉-动作映射关系，为模仿学习算法提供了标准化的训练范本。其多模态数据结构特别适用于端到端的机器人控制模型开发，使研究者能够基于真实环境交互数据验证算法性能。

解决学术问题

该数据集有效解决了机器人领域视觉伺服控制中的样本效率问题，通过提供高精度时序标注的机械臂运动轨迹，为深度强化学习算法提供了可靠的训练基础。其丰富的关节空间状态记录与同步视觉观测数据，使得研究者能够深入探索感知-动作闭环系统的建模方法，显著推进了基于视觉的机器人操作策略学习研究进程。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的行为克隆模型、多模态表征学习框架等经典工作。研究者通过融合关节运动序列与视觉特征，开发出具有强泛化能力的控制策略生成方法。这些成果进一步推动了具身智能研究的发展，为构建适应开放环境的通用机器人系统奠定了理论基础。