pen_to_box

该数据集使用LeRobot创建，遵循Apache-2.0许可证。数据集包含PARQUET格式的数据和视频文件，具体包括动作、状态观测、手腕图像和外部图像等特征信息。数据集仅分为训练集，视频格式为AV1编码，无音频，分辨率为480x640，帧率为30fps。每个数据块大小为1000，共有10个剧集和9888帧数据。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集结构

• 总情节数: 10
• 总帧数: 9888
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分割: 训练集 (0:10)
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据格式

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

动作特征

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

手腕摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

外部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

索引特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 情节索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人技术领域，pen_to_box数据集通过LeRobot平台系统性地采集了真实机械臂操作数据。该数据集包含10个完整操作序列，总计9888帧数据，以30fps的采样频率记录了SO101型跟随机器人的关节状态与视觉信息。数据采用分块存储架构，将动作指令、关节角度、腕部及外部视角视频流分别编码为Parquet格式和AV1压缩视频，确保多模态数据的高效对齐与存储。

特点

该数据集的核心特征在于其多维度的机器人交互数据融合。动作空间涵盖6自由度机械臂的完整关节控制指令，观测空间同步提供关节状态反馈与双视角视觉流（480×640分辨率RGB图像）。时序索引机制通过帧索引、回合索引与时间戳实现精确数据追溯，而任务导向的数据结构为模仿学习与强化学习算法提供了标准化输入范式。

使用方法

研究者可通过解析Parquet数据文件获取结构化机器人状态数据，配合MP4视频文件重建完整操作场景。数据加载时需注意分块存储特性，按照chunk-index与file-index的命名规范遍历数据片段。训练集涵盖全部10个操作回合，适用于端到端策略学习、行为克隆等任务，建议利用帧索引实现视频与控制信号的时序对齐，确保多模态数据的一致性。

背景与挑战

背景概述

在机器人操作任务研究领域，pen_to_box数据集作为LeRobot项目的重要组成部分，聚焦于机械臂的精细操作能力开发。该数据集通过记录六自由度机械臂的关节位置数据与多视角视觉信息，构建了包含10个完整任务序列的机器人交互数据库。其技术架构融合了传统运动学控制与现代视觉感知模块，为机器人模仿学习与策略泛化研究提供了标准化实验平台。数据集采用Apache 2.0开源协议，体现了当代机器人学研究对数据共享与算法复现性的重视。

当前挑战

该数据集致力于解决机器人操作任务中的动作规划与视觉感知协同挑战，具体包括机械臂在复杂环境中实现精确轨迹控制的问题。构建过程中面临多模态数据同步的技术难点，需要协调关节编码器数据与双视角视觉帧的时间对齐。高维度动作空间的连续控制要求对六关节运动进行精细化标注，而视觉感知模块需同时处理腕部摄像头与外部视角的异构图像流。数据采集系统还需克服传感器噪声干扰与机械延迟带来的时序漂移问题。

常用场景

经典使用场景

在机器人操作领域，pen_to_box数据集通过记录机械臂从拾取笔具到精准放置入盒的完整动作序列，为模仿学习算法提供了标准化的训练范例。该数据集整合了关节位置数据与多视角视觉信息，能够有效支撑端到端策略网络的训练过程，使智能体在复杂环境中学习精细化的抓取与放置技能。

解决学术问题

该数据集显著缓解了机器人操作任务中示范数据稀缺的困境，为研究连续动作空间中的策略泛化问题提供了实证基础。通过提供结构化状态-动作对序列，它助力学术界探索视觉-运动协同建模、多模态表征学习等核心课题，推动了从仿真到实物迁移的算法验证进程。

衍生相关工作

以该数据集为基准，研究者开发了基于时空注意力机制的动态轨迹预测模型，并衍生出融合元学习框架的少样本操作算法。相关成果进一步催生了跨任务技能迁移系统的创新，在机器人终身学习领域形成了具有影响力的技术脉络。