xense_bi_arx5_tie_white_shoelaces_1028

该数据集是一个机器人学领域的数据集，包含了一个名为LeRobot的机器人执行任务的视频和相关信息。数据集共有9个剧集，45441帧，1个任务，27个视频。数据集以Parquet格式存储，并且每个视频都有对应的MP4文件。数据集提供了多种特征，包括机器人的动作位置、观察状态、以及不同视角的图像信息。

原始信息汇总

Vertax/xense_bi_arx5_tie_white_shoelaces_1028 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总回合数: 9
• 总帧数: 45441
• 总视频数: 27
• 数据块数: 1
• 数据块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:9

数据结构

数据特征

• action:

  • 数据类型: float32
  • 形状: [14]
  • 关节位置控制: 左右机械臂各6个关节位置 + 左右夹爪位置

• observation.state:

  • 数据类型: float32
  • 形状: [14]
  • 关节状态观测: 左右机械臂各6个关节位置 + 左右夹爪位置

• observation.images.head:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图

• observation.images.left_wrist:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图

• observation.images.right_wrist:

  • 数据类型: 视频
  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图

元数据特征

• timestamp: 时间戳 (float32)
• frame_index: 帧索引 (int64)
• episode_index: 回合索引 (int64)
• index: 索引 (int64)
• task_index: 任务索引 (int64)

文件结构

• 数据文件: data//.parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

技术规格

• 代码库版本: v2.1
• 机器人类型: bi_arx5
• 视频属性: 30fps, 无音频

搜集汇总

数据集介绍

构建方式

在机器人技术领域，xense_bi_arx5_tie_white_shoelaces_1028数据集通过LeRobot平台系统性地采集了双ARX5机械臂执行单一任务时的多模态数据。该数据集包含9个完整操作片段，总计45441帧数据，以30帧每秒的速率记录，并以分块Parquet格式存储，确保了数据的高效组织与访问。构建过程中，机器人关节位置与夹爪状态被精确捕捉，同时整合了头部及左右腕部摄像头的高清视频流，为机器人学习任务提供了丰富的时空上下文信息。

特点

该数据集在机器人操作研究中展现出显著的多模态特性，其核心特征涵盖14维浮点型动作向量与对应观测状态，精确映射了双机械臂各关节及夹爪的动态轨迹。视觉数据方面，数据集提供了三路同步视频流，分别来自头部视角和左右腕部摄像头，每路视频均以640x480分辨率、三通道色彩格式记录，采用AV1编码保障了存储效率。时间戳与帧索引等元数据的完整嵌入，进一步强化了数据序列的可追溯性与分析潜力，为复杂任务的学习与仿真奠定了坚实基础。

使用方法

针对机器人控制算法的开发与验证，该数据集支持直接通过LeRobot框架进行加载与解析。用户可依据数据路径模板访问分块存储的Parquet文件，并利用内置特征结构提取关节动作、观测状态及多视角图像序列。训练阶段，研究者能够基于时间索引重构操作轨迹，结合视频流可视化机械臂行为，进而训练模仿学习或强化学习模型。数据集的统一格式与清晰分割为端到端机器人策略优化提供了便捷的实验基础。

背景与挑战

背景概述

在机器人操作任务研究领域，双机械臂系统的精细控制一直是学术界与工业界关注的核心议题。xense_bi_arx5_tie_white_shoelaces_1028数据集基于LeRobot开源框架构建，聚焦于双机械臂协同操作场景下的动作学习与状态感知。该数据集通过采集双ARX5机械臂执行白色鞋带系扣任务的多模态数据，记录了包括14维关节位置控制指令、三视角视觉观测及时间序列信息在内的完整交互过程，为研究双臂协调策略与感知-动作闭环提供了重要实验基础。

当前挑战

该数据集旨在解决双机械臂精细操作中的动作规划与多模态感知融合难题。构建过程中面临三大挑战：其一，双机械臂14维动作空间的时序一致性控制需要精确同步；其二，头戴式与双腕部相机视角的视觉数据对齐存在空间标定误差；其三，长达45441帧的高频数据采集对传感器同步与存储架构提出了严苛要求。这些挑战直接影响了动作模仿学习与跨模态表征建模的研究进展。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过双机械臂系统记录系白色鞋带任务的完整操作序列，为模仿学习与强化学习算法提供多模态训练数据。其包含的关节位置、夹爪状态及多视角视觉信息，使研究者能够构建从感知到动作的端到端策略模型，特别适用于复杂双手协调任务的算法验证。

解决学术问题

该数据集有效解决了机器人操作中多模态感知与精细动作控制的耦合难题。通过提供同步的关节运动轨迹与三视角视觉数据，为研究跨模态表征学习、动作序列生成等关键问题奠定基础，显著推进了具身智能在真实场景中的适应能力与泛化性能研究。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的多模态策略网络、分层强化学习框架等。其丰富的动作-观测对结构为行为克隆、元强化学习等方向提供了基准数据，持续推动着机器人操作范式的演进与优化。