xarm-n_pick

该数据集是由LeRobot创建的，包含机器人u850在执行任务时的相关数据。数据集共有70个剧集，45344帧，1个任务，210个视频，所有数据被分为1个片段，每个片段包含1000帧。数据集的帧率为20fps，仅包含训练分割。数据集的特征包括机器人的状态、左侧、右侧和手腕的图像、动作、剧集索引、帧索引、时间戳、任务完成标志和索引等。

原始信息汇总

数据集概述

基本信息

• 数据集名称: xarm-n_pick
• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 标签: LeRobot, u850

数据集描述

• 创建工具: 使用LeRobot创建。
• 主页: [无信息]
• 论文: [无信息]

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据信息

• 代码库版本: v2.0
• 机器人类型: u850
• 总集数: 70
• 总帧数: 45344
• 总任务数: 1
• 总视频数: 210
• 总块数: 1
• 块大小: 1000
• 帧率: 20 fps
• 数据分割:
  • 训练集: 0:70

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

1. observation.state

   • 数据类型: float32
   • 形状: [7]
   • 名称: joint1, joint2, joint3, joint4, joint5, joint6, gripper

2. observation.images.left

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 视频信息:
     • 编解码器: av1
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 20 fps
     • 无音频

3. observation.images.right

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 视频信息: 同left

4. observation.images.wrist

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 视频信息: 同left

5. action

   • 数据类型: float32
   • 形状: [7]
   • 名称: 同observation.state

6. 其他特征:

   • episode_index: int64, [1]
   • frame_index: int64, [1]
   • timestamp: float32, [1]
   • next.done: bool, [1]
   • index: int64, [1]
   • task_index: int64, [1]

引用

• BibTeX: [无信息]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，xarm-n_pick数据集通过LeRobot平台精心构建，采用u850型机器人进行数据采集。该数据集包含70个完整操作序列，总计45344帧数据，以20fps的采样频率记录机械臂抓取任务的全过程。数据以分块形式存储于Parquet文件中，每个数据块包含1000帧，同时配套保存了左、右、腕部三个视角的同步视频数据，采用AV1编码格式确保高效存储。

特点

该数据集最显著的特点是提供了多维度的机器人状态信息，包括7自由度机械臂的关节角度、夹爪状态等精确控制参数，以及三路高清视觉数据。所有观测数据均以严格的时序对齐方式存储，每帧数据附带精确的时间戳和索引标记。特别值得注意的是，视觉数据采用480×640分辨率RGB格式，为基于视觉的机器人控制算法研究提供了丰富的感知信息。数据组织遵循标准的强化学习范式，包含状态观测、动作执行和终止标志等关键字段。

使用方法

研究者可通过加载Parquet文件直接访问结构化数据，利用帧索引和分块机制实现高效的数据读取。数据集已预分为训练集，包含全部70个操作序列。对于视觉数据处理，建议使用配套的视频解码工具提取各视角图像序列。该数据集特别适用于机器人抓取任务的模仿学习、强化学习算法开发，研究者可结合关节状态数据与多视角视觉信息，开发跨模态的机器人控制策略。数据集的标准化字段设计也便于与主流机器人学习框架进行集成。

背景与挑战

背景概述

xarm-n_pick数据集由LeRobot团队基于u850机器人平台构建，专注于机器人抓取任务的强化学习研究。该数据集采集了70个完整操作序列，包含45344帧多视角视觉数据（左、右、手腕摄像头）和7自由度机械臂的关节状态信息，以20Hz频率同步记录动作与观测。作为Apache 2.0许可的开源项目，其结构化存储的Parquet格式和标准化的元数据规范，为机器人操作技能模仿学习与策略优化提供了高质量基准。

当前挑战

该数据集面临双重技术挑战：在领域层面，需解决多模态传感数据（特别是异构视觉流与关节控制信号）的时空对齐问题，以及稀疏奖励场景下的动作序列建模难题；在构建层面，大规模机器人操作数据的采集涉及复杂的传感器标定、硬件同步和故障恢复机制，且需确保操作任务的环境多样性与动作泛化性。当前版本尚未提供论文引用与任务分类细节，限制了学术溯源与跨数据集对比研究。

常用场景

经典使用场景

在机器人操作领域，xarm-n_pick数据集为研究多关节机械臂的抓取任务提供了丰富的实验数据。该数据集通过记录u850机械臂在70个不同抓取任务中的关节状态、视觉观察和动作数据，为研究人员提供了完整的机器人操作闭环数据。其包含的左右视角和腕部视角视频数据，尤其适合研究多模态感知在机器人控制中的应用。

衍生相关工作

围绕xarm-n_pick数据集已产生多项重要研究。在机器人模仿学习领域，有工作利用其多模态数据开发了端到端的操作策略学习框架。在视觉-运动协同控制方面，基于该数据集的研究提出了新型的注意力机制模型。此外，该数据集还被用于验证多任务学习框架在机器人操作中的有效性。

数据集最近研究

最新研究方向

在机器人操作领域，xarm-n_pick数据集以其多视角视觉数据和精细的关节状态记录，为机器人抓取任务的研究提供了丰富的实验素材。该数据集结合了LeRobot框架的高效数据采集能力，特别适用于基于深度学习的端到端机器人控制算法的开发。近期研究热点集中在利用该数据集的多模态特性，探索视觉-动作联合建模方法，以提升机器人在复杂场景下的抓取泛化能力。同时，研究者们也在尝试结合强化学习与模仿学习，从数据中提取更优的策略表示，推动机器人自主操作技术的边界。