door-open-7

这是一个使用LeRobot工具创建的机器人数据集，包含12个剧集，共2881帧，1个任务，24个视频和1个数据块。数据集分为训练集，所有数据采用Parquet文件格式存储。数据集的特征包括机器人的动作和状态，以及正面和夹爪的图像视频。每个视频的帧率为30fps，图像分辨率为480x848和480x640，编码格式为av1。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 12
• 总帧数: 2881
• 总任务数: 1
• 总视频数: 24
• 总块数: 1
• 块大小: 1000
• 帧率: 30fps
• 分割: 训练集 (0:12)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作 (action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像 (observation.images)

前视图像 (front)

• 数据类型: video
• 形状: [480, 848, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 848
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30fps
  • 通道数: 3
  • 无音频

夹爪图像 (gripper)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30fps
  • 通道数: 3
  • 无音频

其他特征

• 时间戳 (timestamp): float32, 形状 [1]
• 帧索引 (frame_index): int64, 形状 [1]
• 集索引 (episode_index): int64, 形状 [1]
• 索引 (index): int64, 形状 [1]
• 任务索引 (task_index): int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

door-open-7数据集依托LeRobot框架构建，专为机器人操作任务设计。该数据集通过记录SO101型跟随机器人在真实环境中的操作行为，采集了12个完整操作片段，共计2881帧数据。数据以30fps的帧率同步存储机械臂关节位置、夹爪状态以及前后视角的高清视频，采用分块存储策略将每1000帧封装为Parquet格式文件，确保数据的高效存取与完整性。

特点

该数据集最显著的特点是包含多模态传感器数据，不仅涵盖6自由度机械臂的精确位姿信息，还同步采集480p的前视与夹爪视角视频流。所有动作指令与状态观测均以float32精度保存，视频数据采用AV1编码压缩。数据集严格遵循时间对齐原则，每个数据帧均附带精确的时间戳和帧序号，为机器人模仿学习研究提供高质量的时空对齐多模态样本。

使用方法

使用者可通过解析Parquet文件直接获取结构化数据，其中动作指令与状态观测数据存储在固定维度的浮点数组中，视频数据则通过指定路径调用。数据集已预设训练集划分，研究者可利用帧索引实现特定操作片段的快速定位。对于机器学习应用，建议结合LeRobot框架提供的工具链进行数据加载与预处理，充分发挥多模态数据的协同训练优势。

背景与挑战

背景概述

door-open-7数据集是机器人领域的一项专业数据集，专注于机械臂操作任务的研究。该数据集由LeRobot团队基于Apache-2.0协议构建，采用了so101_follower型号机器人进行数据采集。数据集包含12个完整操作序列，共计2881帧数据，涵盖机械臂关节位置、夹爪状态以及多视角视觉信息。作为机器人操作学习的重要资源，该数据集为机械臂控制策略、视觉伺服系统等研究提供了高质量的实验数据。

当前挑战

该数据集主要解决机器人操作任务中的门开启动作学习问题，其核心挑战在于机械臂多自由度协同控制与视觉感知的精准匹配。数据构建过程中面临传感器同步精度、动作轨迹平滑性保持等工程难题。由于操作场景的物理约束，数据集还需克服环境光照变化、机械臂运动学限制等实际因素带来的数据采集挑战。视频数据的实时压缩与存储优化也是构建过程中需要解决的关键技术问题。

常用场景

经典使用场景

在机器人操作任务的研究中，door-open-7数据集被广泛应用于机械臂开门动作的模拟与训练。该数据集包含了机械臂在执行开门任务时的关节位置、夹爪状态以及多视角的视频数据，为研究者提供了丰富的机器人操作场景数据。通过分析这些数据，研究者可以深入理解机械臂在复杂环境中的运动规划和执行策略。

解决学术问题

door-open-7数据集解决了机器人操作任务中的多个关键学术问题，包括机械臂运动规划的优化、多模态感知数据的融合以及任务执行策略的学习。该数据集通过提供高精度的关节位置数据和多视角视频，使得研究者能够更准确地建模机械臂的运动轨迹和环境交互，从而推动机器人操作任务的智能化发展。

衍生相关工作

door-open-7数据集衍生了一系列经典研究工作，包括基于深度学习的机械臂运动规划算法、多模态感知数据的融合方法以及机器人操作任务的强化学习策略。这些研究不仅提升了机器人在复杂任务中的表现，还为机器人操作领域的进一步发展奠定了坚实的基础。