block_or_pen

这是一个机器人学习数据集，包含170个episodes，每个episode包含多个frames，总共有2个tasks。数据集提供了机器人的动作、状态、以及从 gripper 和 top 视角拍摄的图像。所有数据以parquet格式存储，并伴有对应的mp4视频文件。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 2
• 总情节数: 170
• 总帧数: 63740
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集划分: 0:170

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

夹爪摄像头:

• 名称: observation.images.gripper
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图: false
• 音频: 无

顶部摄像头:

• 名称: observation.images.top
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图: false
• 音频: 无

索引特征

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 情节索引: episode_index (int64, [1])
• 索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建方式直接影响其科学价值与应用潜力。block_or_pen数据集依托LeRobot平台精心打造，通过采集170个完整交互片段，涵盖63740帧高精度时序数据。数据以分块存储的Parquet格式组织，每块包含1000帧记录，确保了高效的数据读取与处理。机器人动作状态与多视角视觉信息被同步记录，构建了一个结构严谨且规模适中的机器人操作数据集。

特点

该数据集在机器人操作任务中展现出鲜明的技术特色。其核心特征在于融合了六自由度机械臂的关节位置控制指令与双视角视觉观测数据，分别来自夹爪摄像头和顶部固定摄像头。所有图像数据以480x640分辨率、30帧每秒的速率采集，并采用AV1编码压缩存储。数据集包含两种 distinct 任务类型，通过时间戳、帧索引和任务索引等多维元数据，为复杂行为分析提供了坚实基础。

使用方法

针对机器人学习研究的需求，该数据集提供了清晰的使用路径。研究人员可通过标准的Parquet数据接口访问结构化观测与动作序列，其中状态观测包含完整的关节角度信息，动作空间则定义了六维连续控制指令。视频数据分别存储于独立路径，支持基于帧索引的精确对齐。训练集覆盖全部170个交互片段，可直接用于模仿学习、强化学习等算法的训练与验证，为机器人技能获取研究提供丰富素材。

背景与挑战

背景概述

机器人操作任务数据集block_or_pen作为LeRobot项目的重要组成部分，聚焦于机械臂在复杂环境中的物体交互能力研究。该数据集通过集成多视角视觉感知与关节运动控制数据，构建了包含170个任务序列的示范库，涵盖六自由度机械臂的轨迹规划与抓取操作。其技术架构融合了顶部视角与夹爪视角的双模态视觉输入，配合关节角度状态记录，为模仿学习与强化学习算法提供了高维度的训练基准。

当前挑战

在机器人操作领域，该数据集需解决动态环境中物体定位精度与抓取策略泛化性的核心难题。数据构建过程中面临多传感器时序对齐的复杂性，包括30Hz视频流与关节控制信号的精确同步。此外，六维动作空间的连续控制要求与高分辨率视觉观测的融合，对深度学习模型的表征能力提出严峻考验。数据采集环节还需克服机械臂运动轨迹平滑性与任务多样性的平衡问题。

常用场景

经典使用场景

在机器人操作学习领域，block_or_pen数据集以其丰富的多模态记录成为模仿学习算法的理想测试平台。该数据集通过机械臂关节状态与双视角视觉数据的同步采集，完整呈现了物体抓取与放置任务的动态过程。研究者可基于该数据集训练端到端策略网络，使机器人能够从人类示范中学习精细操作技能，尤其适用于需要手眼协调的复杂场景。

解决学术问题

该数据集有效解决了机器人技能迁移中的动作表征难题，通过标准化格式统一了关节空间与视觉观测的对应关系。其提供的连续动作序列与多传感器数据，为研究动作分割、状态估计和时序建模等基础问题提供了可靠基准。在强化学习领域，该数据集支持离线策略评估方法的验证，显著降低了实体机器人训练过程中的安全风险与硬件损耗。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的行为克隆算法和跨模态表示学习框架。部分研究团队利用其多任务特性开发了分层强化学习系统，实现了动作原语的组合复用。在仿真迁移方向，衍生出大量域自适应方法的研究，通过该数据集构建的数字化双生系统显著提升了模拟到真实世界的策略转移效率。