follow-the-ball-v0

该数据集使用LeRobot创建，包含机器人操作的相关数据。数据集包含11个 episodes，共57922帧，分为训练集。数据以Parquet文件格式存储，并包含相应的视频文件。数据集特征包括动作位置、观察状态、机械臂爪图像和时间戳等信息。数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 数据集名称: follow-the-ball-v0
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人技术

数据集规模

• 总回合数: 11
• 总帧数: 57,922
• 总任务数: 1
• 数据切块大小: 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据划分

• 训练集: 全部11个回合

数据结构

数据特征

• 动作数据:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 状态观测:

  • 数据类型: float32
  • 维度: [6]
  • 包含关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

• 夹爪图像观测:

  • 数据类型: 视频
  • 分辨率: 720×1280×3
  • 视频编码: AV1
  • 像素格式: yuv420p
  • 无音频

索引信息

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人控制领域，follow-the-ball-v0数据集通过LeRobot框架系统采集了11个完整任务片段，涵盖57922帧高精度时序数据。该数据集采用分块存储机制，每1000帧构成一个数据块，以Parquet格式高效保存机器人关节位置、夹爪图像及时间戳等多模态信息，确保了数据的完整性与可追溯性。

特点

该数据集显著特征在于融合了六自由度机械臂的连续动作轨迹与720p高清夹爪视角视频流，动作空间包含肩部平移、肘部弯曲等六维关节坐标，观测空间则同步记录机械臂状态与视觉感知。所有数据以30帧/秒的采样频率严格对齐，形成时空一致的多模态机器人交互记录。

使用方法

研究者可通过解析Parquet数据文件获取结构化机器人交互记录，利用帧索引与片段索引重构完整任务轨迹。视频数据采用AV1编码存储于独立MP4文件，支持与动作序列的时序匹配。该数据集适用于模仿学习与视觉伺服控制算法的训练验证，全部11个任务片段均划分为训练集以供模型学习。

背景与挑战

背景概述

在机器人技术领域，视觉引导的机械臂控制是实现自主操作的核心研究方向。follow-the-ball-v0数据集由LeRobot研究团队构建，专注于解决机器人实时追踪动态物体的基础问题。该数据集通过搭载六自由度关节的so101_follower机器人平台，采集了包含57,922帧视觉动作协同数据，涵盖机械臂关节位置与夹爪视角的高清视频流，为模仿学习与强化学习算法提供了真实世界的交互轨迹基准。

当前挑战

动态目标追踪任务面临环境感知与运动规划耦合的复杂性，需克服视觉遮挡、光照变化和目标运动不确定性对控制策略的干扰。数据集构建过程中，多模态数据同步采集存在时序对齐精度要求，高分辨率视频流与机械臂状态数据的存储架构需平衡效率与完整性。有限的11条任务轨迹对模型泛化能力提出更高要求，而六维动作空间的连续控制亦增加了策略学习的收敛难度。

常用场景

经典使用场景

在机器人视觉控制领域，follow-the-ball-v0数据集作为LeRobot项目的重要组成部分，主要用于训练机械臂实现动态目标追踪任务。该数据集通过记录机械臂关节位置与夹爪视角图像序列，构建了完整的视觉-动作映射关系，为模仿学习算法提供了标准化的训练范本。其多模态数据结构特别适用于端到端的机器人控制模型开发，使研究者能够基于真实环境交互数据验证算法性能。

解决学术问题

该数据集有效解决了机器人领域视觉伺服控制中的样本效率问题，通过提供高精度时序标注的机械臂运动轨迹，为深度强化学习算法提供了可靠的训练基础。其丰富的关节空间状态记录与同步视觉观测数据，使得研究者能够深入探索感知-动作闭环系统的建模方法，显著推进了基于视觉的机器人操作策略学习研究进程。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的行为克隆模型、多模态表征学习框架等经典工作。研究者通过融合关节运动序列与视觉特征，开发出具有强泛化能力的控制策略生成方法。这些成果进一步推动了具身智能研究的发展，为构建适应开放环境的通用机器人系统奠定了理论基础。