bimanual-pick-apricot-0

这是一个关于机器人学的数据集，包含6个剧集，3210帧，1个任务，18个视频和1个块。数据集的帧率为30fps，支持训练分割。数据集中的特征包括机器人的动作和状态，以及顶部、右侧和左侧的图像。每个图像的尺寸为480x640x3，编码格式为av1，没有音频。

原始信息汇总

数据集概述

基本信息

• 名称: bimanual-pick-apricot-0
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0

数据集结构

• 总任务数: 1
• 总片段数: 6
• 总帧数: 3210
• 总视频数: 18
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 分割: 训练集包含全部6个片段

数据特征

动作特征

• 数据类型: float32
• 形状: [12]
• 名称:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测特征

状态观测

• 数据类型: float32
• 形状: [12]
• 名称: 与动作特征相同

图像观测

顶部图像

• 数据类型: 视频
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 帧率: 30 fps
  • 通道数: 3
  • 音频: 无

右侧图像

• 与顶部图像具有相同的技术规格

左侧图像

• 与顶部图像具有相同的技术规格

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: bi_pingti_follower
• 数据格式: Parquet
• 数据存储路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频存储路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人操作领域，bimanual-pick-apricot-0数据集通过LeRobot平台系统采集，采用双机械臂协同操作场景。数据记录涵盖6个完整操作片段，总计3210帧图像序列，以30fps的采样频率同步捕获多模态信息。每个数据块以parquet格式存储，整合了关节状态、视觉观测与时间戳等多维度数据流，确保了操作序列的时空一致性。

特点

该数据集的核心特征体现在其丰富的多模态数据结构中，包含12维双机械臂关节动作与状态信息，以及三个视角的高清视觉流（480×640分辨率）。数据采用AV1编码存储，兼顾效率与质量，且所有视觉数据均标注为非深度图彩色影像。时间索引与帧序列的精确对应为时序分析提供了坚实基础，特别适合双机械臂协同操作的算法验证。

使用方法

研究者可通过解析parquet文件直接访问结构化数据，其中动作向量与观测状态具有相同的维度映射关系。视频数据按分块存储策略组织，支持按片段索引加载特定操作序列。该数据集适用于模仿学习、强化学习等算法的训练与评估，多视角视觉流为三维姿态估计等任务提供互补的视觉信息。

背景与挑战

背景概述

双手机器人操作数据集bimanual-pick-apricot-0由LeRobot研究团队开发，专注于解决复杂环境下的双手协同物体抓取任务。该数据集通过双机械臂系统采集了多视角视觉数据与高精度关节运动轨迹，为机器人学习领域提供了珍贵的双手操作示范数据。其创新性在于同时记录了三路高清视频流与12维关节空间动作信息，为模仿学习与强化学习算法提供了多模态训练基础。

当前挑战

该数据集核心挑战在于解决双手协调操作中的时空同步问题，需精确处理多传感器数据的时间对齐与空间标定。构建过程中面临多路视频流同步存储、机械臂运动轨迹精确记录以及大规模数据高效压缩等技术难点。同时需确保不同视角视觉数据与动作指令间的严格对应关系，这对数据采集系统的实时性与稳定性提出了极高要求。

常用场景

经典使用场景

在机器人双臂协同操作研究中，该数据集通过记录双机械臂采摘杏子的完整动作序列，为模仿学习算法提供了高质量的训练样本。其多视角视觉数据与精确的关节位置信息相结合，使研究者能够构建从视觉感知到动作执行的端到端策略模型，显著提升了复杂抓取任务的仿真真实性。

实际应用

在农业自动化领域，该数据集可直接应用于果实采摘机器人的控制系统开发。通过分析机械臂的轨迹规划与抓取策略，工程师能够优化采摘动作的效率和成功率。其多摄像头视角数据还可用于构建视觉伺服系统，实现动态环境下的自适应抓取，为智慧农业提供技术支撑。

衍生相关工作

基于该数据集衍生了多项双臂协调控制的重要研究，包括基于深度强化学习的双机械臂动作生成算法、多模态感知的抓取姿态预测模型等。这些工作显著提升了机器人对不规则物体的操作能力，为后续的复杂操作任务数据集建立了标准化范式。