pen_dual1

该数据集是一个机器人学数据集，包含47个剧集，共计24995帧，1个任务，94个视频和1个块。数据集的结构包括动作、观察状态、机械臂末端摄像头图像和俯视摄像头图像等特征。每个视频的帧率为30fps，视频格式为av1编码的yuv420p，没有音频。数据集按照Apache-2.0许可证发布。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 47
• 总帧数: 24995
• 总任务数: 1
• 总视频数: 94
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

动作 (action)

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像 - 夹爪摄像头 (observation.images.gripper_cam)

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否有音频: false

观测图像 - 俯视摄像头 (observation.images.overhead_cam)

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否有音频: false

其他特征

• timestamp: float32, 形状 [1]
• frame_index: int64, 形状 [1]
• episode_index: int64, 形状 [1]
• index: int64, 形状 [1]
• task_index: int64, 形状 [1]

分割

• 训练集: 0:47

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

pen_dual1数据集基于LeRobot平台构建，专注于机器人控制领域的研究与应用。该数据集通过采集so101_follower型机器人的操作数据，记录了47个完整操作序列，包含24995帧数据。数据以30fps的采样频率存储，采用分块式管理策略，每个数据块包含1000帧，并以Parquet格式高效存储。数据采集过程同步记录了机械臂6个关节的位置信息、双视角视觉数据（夹爪摄像头和顶部摄像头）以及精确的时间戳标记。

特点

该数据集最显著的特点是包含多模态机器人操作数据，既涵盖6自由度机械臂的关节位置控制指令，又提供480×640分辨率的双视角视觉反馈。动作空间与状态空间采用相同维度设计，便于强化学习算法的实现。视频数据采用AV1编码压缩，在保证质量的同时优化存储效率。数据集采用Apache-2.0开源协议，其结构化存储方案支持高效随机访问，特别适合机器人模仿学习与策略优化研究。

使用方法

使用该数据集时，可通过meta/info.json中的路径模板定位具体数据文件。训练集包含全部47个操作序列，每个episode数据包含关节位置、视觉观测和时间序列标记。研究人员可结合PyTorch或TensorFlow框架加载Parquet格式数据，利用多模态特征开发控制算法。视频数据需配合OpenCV等库进行解码，建议采用帧采样技术处理高频率视频流。数据集的标准接口设计便于与主流机器人仿真平台进行集成验证。

背景与挑战

背景概述

pen_dual1数据集由LeRobot团队创建，专注于机器人控制领域的研究。该数据集记录了SO101型跟随机器人在执行任务过程中的多模态数据，包括关节位置、夹爪状态以及来自夹爪摄像头和顶部摄像头的视频信息。数据集包含47个完整任务序列，共计24995帧数据，采样频率为30Hz，为机器人动作规划与状态估计研究提供了丰富的实验素材。通过高精度的传感器同步采集，该数据集能够支持机器人模仿学习、强化学习等前沿算法的开发与验证。

当前挑战

该数据集致力于解决机器人动作控制中的多模态感知与决策问题，其核心挑战在于如何有效融合视觉信息与关节状态数据以实现精确控制。在构建过程中，研究人员面临传感器同步校准、大规模视频数据压缩存储等技术难题。由于机器人动作的连续性与环境交互的复杂性，确保数据时序一致性成为关键挑战。此外，缺乏公开的论文引用信息也使得数据集的可信度验证存在一定困难。

常用场景

经典使用场景

在机器人控制领域，pen_dual1数据集被广泛应用于机械臂运动规划算法的开发与验证。该数据集记录了机械臂各关节的位置信息以及摄像头捕捉的图像数据，为研究人员提供了丰富的实验素材。通过分析机械臂在任务执行过程中的状态变化，可以深入理解其运动特性，进而优化控制策略。

衍生相关工作

围绕pen_dual1数据集，学术界已展开多项深入研究。部分工作专注于改进机械臂的运动规划算法，利用数据集中的关节位置信息优化轨迹生成。另一些研究则探索多模态学习，结合视觉与运动数据提升控制性能。此外，该数据集还被用于开发新型的强化学习框架，推动了机器人控制领域的算法创新。

数据集最近研究

最新研究方向

在机器人控制与视觉感知领域，pen_dual1数据集以其多模态数据结构和精细的动作标注为研究提供了新的可能性。该数据集包含了机械臂的关节位置、夹爪状态以及来自多个视角的视频数据，为模仿学习和强化学习算法的训练提供了丰富的素材。近年来，随着深度学习在机器人领域的深入应用，pen_dual1数据集被广泛用于研究基于视觉的端到端控制策略，尤其是在复杂环境下的抓取和操作任务中表现出色。其高帧率的视频数据和精确的时间同步特性，使得研究者能够探索时序建模与动作预测的前沿问题。此外，该数据集的开源特性也促进了学术界和工业界在机器人智能控制方面的合作与创新。