so101-pen-in-box-v2

这是一个关于机器人操作的数据集，包含了50个剧集，100个视频文件，总共有22472帧。数据集主要用于机器人学相关任务，如机器人操作研究。数据集以Parquet文件格式存储，并且包含了多种特征，如机器人关节位置、手腕和前端的视频图像等。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 50
• 总帧数: 22472
• 总任务数: 1
• 总视频数: 100
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.wrist 和 observation.images.front)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 FPS
    • 通道数: 3
    • 是否有音频: false
• 其他特征
  • timestamp: float32, 形状 [1]
  • frame_index: int64, 形状 [1]
  • episode_index: int64, 形状 [1]
  • index: int64, 形状 [1]
  • task_index: int64, 形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，so101-pen-in-box-v2数据集通过LeRobot框架系统化构建。该数据集包含50个完整操作片段，总计22472帧图像数据，以30fps的采样率同步记录机械臂关节状态与视觉观测。数据以分块形式存储于Parquet格式文件中，每个数据块涵盖1000帧操作序列，确保数据的高效存取与完整性。

使用方法

研究者可通过加载Parquet数据文件获取时序对齐的多模态序列，其中包含状态观测、动作指令及视频帧索引。该数据集适用于机器人策略模仿学习、视觉运动控制等研究方向，支持端到端神经网络训练。数据划分仅包含训练集，需用户自行设计验证方案，建议结合LeRobot代码库进行数据管道构建与模型部署。

背景与挑战

背景概述

机器人操作数据集so101-pen-in-box-v2由HuggingFace的LeRobot项目团队构建，专注于机械臂精细操作任务的研究。该数据集采用Apache 2.0开源协议，记录了SO101型机械臂执行笔入盒任务的完整操作序列，包含50个训练片段和22472帧多维数据。数据集通过整合关节位置传感器数据、腕部与前端双视角视觉信息，以及精确的时间戳索引，为机器人模仿学习与强化学习算法提供了高质量的多模态训练资源。

当前挑战

该数据集致力于解决机器人精细操作中的动作规划与视觉感知协同挑战，特别是高精度轨迹控制与多视角视觉反馈的融合问题。构建过程中面临机械臂运动数据同步采集、多传感器时序对齐、以及大规模视频数据压缩存储等技术难点，需确保6自由度关节动作数据与双视角视觉帧的精确匹配，同时维持30fps的时序一致性。

常用场景

经典使用场景

在机器人操作学习领域，so101-pen-in-box-v2数据集通过记录六轴机械臂执行笔入盒任务的完整运动轨迹，为模仿学习算法提供了高质量的训练样本。其多模态数据采集方式包含关节角度状态、腕部与前端视觉观测，完美契合了机器人动作预测模型的输入需求，成为评估行为克隆和逆强化学习算法性能的标准基准。

解决学术问题

该数据集有效解决了机器人技能传递中的示教数据稀缺性问题，为研究高维状态空间下的动作表征学习提供了实验基础。通过提供精确的时间同步多模态数据，它支持学者探索视觉-动作关联建模、跨模态表示对齐等核心问题，显著推进了机器人自主学习能力的发展，对具身智能研究具有重要启示意义。

实际应用

工业自动化场景中，该数据集可直接应用于精密装配任务的机器人编程优化。通过分析机械臂在受限空间内的避障轨迹与精细操作策略，能够为电子元件装配、医疗器械处理等需要高精度操作的领域提供示范数据，降低传统示教编程的复杂度，提升生产线的柔性化水平。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101-pen-in-box-v2数据集正推动模仿学习与视觉运动控制的前沿探索。该数据集通过多视角视觉观测与高精度关节动作的同步记录，为端到端策略学习提供了丰富样本。当前研究聚焦于跨模态表征学习，利用时空特征融合技术提升机械臂在复杂环境中的物体操控能力。随着具身智能研究的升温，该数据集在少样本泛化与动态场景适应方面的价值日益凸显，为机器人自主执行精细操作任务奠定了数据基础。其开源特性进一步促进了学术界对真实世界机器人学习范式的协同创新。