eval_lerobot-pick-red-pen

该数据集使用LeRobot创建，包含机器人任务的相关数据。数据集由机器人动作和观察组成的多个剧集组成，包括关节位置、环境图像和手腕相机图像等信息。数据以Parquet文件存储，视频为MP4格式。该数据集遵循Apache-2.0协议。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总情节数: 6
• 总帧数: 1011
• 帧率: 20 FPS
• 数据切分: 训练集 (0:6)

存储信息

• 数据文件格式: Parquet
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 块大小: 1000
• 代码库版本: v3.0

数据结构特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测:

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

环境图像观测:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 帧率: 20 FPS
• 音频: 无
• 深度图: 否

腕部图像观测:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码格式: AV1
• 像素格式: yuv420p
• 帧率: 20 FPS
• 音频: 无
• 深度图: 否

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 情节索引: int64 [1]
• 任务索引: int64 [1]
• 索引: int64 [1]

机器人信息

• 机器人类型: so101_follower

文件路径格式

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，eval_lerobot-pick-red-pen数据集通过LeRobot平台系统构建，采用so101_follower型机器人执行单一拾取任务。数据采集过程涵盖6个完整操作序列，累计1011帧动态记录，以20fps的采样频率同步保存关节状态与视觉信息。原始数据经标准化处理后存储为分块Parquet格式，每块容量设定为1000帧，确保高效存取与处理流程的完整性。

特点

该数据集以多模态融合为显著特征，同时整合机械臂六维关节空间数据与双视角视觉流。环境摄像头与腕部摄像头分别提供480×640分辨率的RGB视频流，采用AV1编码压缩。动作空间涵盖肩部平移、肩部抬升、肘部弯曲等六个自由度控制指令，观测状态则同步记录对应关节位置反馈。时序索引与任务标识符共同构成完整元数据框架，为模仿学习研究提供结构化支撑。

使用方法

研究人员可通过加载Parquet数据文件直接访问标准化特征矩阵，利用帧索引与回合标识实现轨迹切片。视觉数据支持通过视频路径映射解码，动作与状态观测张量可直接输入神经网络模型。数据集默认划分为训练集包含全部6个操作回合，适用于端到端策略学习、行为克隆等算法验证。数据加载接口兼容主流机器学习框架，支持批量采样与实时流式处理。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习与模仿学习研究的重要基础，eval_lerobot-pick-red-pen数据集聚焦于机械臂执行物体抓取这一经典问题。该数据集由LeRobot研究团队基于Apache 2.0协议构建，采用so101_follower型机器人平台，通过多模态传感器记录机械臂关节状态与环境交互数据。其核心研究目标在于验证机器人执行特定颜色物体抓取任务的策略泛化能力，为机器人视觉伺服控制与动作规划算法提供标准化评估基准。

当前挑战

在机器人操作领域，该数据集需解决动态环境下目标物体精准定位与稳定抓取的复合难题。构建过程中面临多源传感器数据同步校准的技术挑战，包括六自由度机械臂轨迹数据与双视角视觉流的高精度时序对齐。数据采集环节需克服环境光照变化对颜色识别任务的干扰，同时确保不同抓取姿态下动作序列的完整性与可复现性。

常用场景

经典使用场景

在机器人操作学习领域，eval_lerobot-pick-red-pen数据集为机械臂抓取任务提供了标准化的评估基准。该数据集通过记录六自由度机械臂抓取红色笔具的完整操作序列，包含关节位置、环境图像和腕部视觉信息，为模仿学习算法的训练与验证奠定了数据基础。研究人员可基于该数据集开发精确的动作预测模型，提升机械臂在复杂环境中的操作精度。

解决学术问题

该数据集有效解决了机器人操作学习中样本效率低下和泛化能力不足的核心难题。通过提供多模态的演示数据，包括关节运动轨迹和双视角视觉反馈，为研究端到端策略学习提供了重要支撑。其结构化特征设计有助于探索状态表示学习与动作规划的统一框架，推动机器人从演示中学习复杂操作技能的研究进程。

衍生相关工作

围绕该数据集衍生的研究工作主要集中在多模态模仿学习和视觉运动策略优化领域。基于LeRobot框架开发的基准算法通过利用该数据集的双视角视觉特征，在动作预测精度和轨迹平滑性方面取得了显著进展。这些工作进一步推动了机器人操作学习的标准化评估流程，为后续大规模机器人数据集构建提供了重要参考范式。