xarm-place_bag_tray

该数据集是一个机器人学数据集，使用LeRobot创建，包含30个episodes，共14927帧，90个视频，1个任务和1个数据块。数据集的特征包括机器人各关节和夹爪的状态，以及左侧、右侧和手腕的图像。所有数据以Parquet格式存储，并提供了视频文件。数据集的许可是Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 名称: xarm-place_bag_tray
• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 标签: LeRobot, u850
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件格式: Parquet（路径：data//.parquet）
• 总任务数: 1
• 总视频数: 90
• 总帧数: 14927
• 总片段数: 1
• 片段大小: 1000
• 帧率: 20 FPS
• 训练集划分: 0:30

数据特征

观察数据（Observation）

• 状态（state）:
  • 数据类型: float32
  • 形状: [7]
  • 名称: joint1, joint2, joint3, joint4, joint5, joint6, gripper
• 图像（images）:
  • left:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: AV1编码, yuv420p格式, 无音频, 20 FPS
  • right:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: AV1编码, yuv420p格式, 无音频, 20 FPS
  • wrist:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: AV1编码, yuv420p格式, 无音频, 20 FPS

动作数据（Action）

• 数据类型: float32
• 形状: [7]
• 名称: joint1, joint2, joint3, joint4, joint5, joint6, gripper

其他数据

• episode_index: int64, 形状[1]
• frame_index: int64, 形状[1]
• timestamp: float32, 形状[1]
• next.done: bool, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，xarm-place_bag_tray数据集通过LeRobot平台精心构建而成。该数据集采用u850型机器人执行托盘放置任务，共采集30个完整操作片段，包含14,927帧数据，以20fps的采样率记录。数据以分块形式存储于Parquet文件中，每个数据块包含1000帧，同时配套保存了多视角视频数据，采用AV1编码格式确保高效存储。

特点

该数据集显著特点在于其多维度的观测数据采集能力。不仅包含7自由度机械臂的关节状态和夹爪动作信息，还同步记录了左、右及腕部三个视角的480×640分辨率RGB视频流。数据采用严格的时序对齐机制，每帧都标注了精确的时间戳和帧索引，确保动作与观测的精确匹配。特别设计的布尔型'done'标记为强化学习研究提供了天然的情节终止信号。

使用方法

研究者可通过解析Parquet文件获取结构化机器人状态数据，配合MP4格式的视频文件进行多模态分析。数据集已预分为训练集，包含全部30个操作片段。典型的应用场景包括但不限于模仿学习算法验证、机器人操作策略优化以及多传感器数据融合研究。数据加载时需注意帧率同步问题，建议采用官方提供的LeRobot工具链确保数据解析的一致性。

背景与挑战

背景概述

xarm-place_bag_tray数据集是机器人操作领域的重要资源，由LeRobot团队基于u850机器人平台构建，专注于解决复杂环境下的物品放置任务。该数据集包含30个完整操作序列，涵盖14927帧多视角视觉数据与7自由度机械臂运动轨迹，采用20fps的高频采样率记录操作过程中的关节状态、夹持器动作及三路高清视频流。作为Apache-2.0协议下的开放研究资产，其结构化存储格式与详尽的元数据标注为模仿学习与强化学习算法提供了标准化评测基准，推动了机器人灵巧操作研究的可复现性发展。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，多模态传感器数据的时空对齐要求精确到毫秒级同步，而7自由度机械臂在高维动作空间的运动规划易产生维度灾难问题；在构建过程中，需克服多路4K视频流实时压缩带来的计算负载，以及长达15000帧连续操作序列的标注一致性维护。此外，基于视觉的托盘位姿估计在遮挡场景下的鲁棒性，以及跨episode操作策略的泛化能力验证，仍是待突破的研究难点。

常用场景

经典使用场景

在机器人操作任务研究中，xarm-place_bag_tray数据集为机械臂操作任务提供了丰富的实验数据。该数据集记录了u850机械臂在放置袋子到托盘任务中的关节状态、视觉观察和动作执行情况，为机器人控制算法的开发和验证提供了标准化的测试环境。研究人员可以利用该数据集进行模仿学习、强化学习等算法的训练和评估。

衍生相关工作

围绕xarm-place_bag_tray数据集，研究者们开展了多项创新性工作。在机器人学习领域，该数据集被用于开发基于视觉的端到端控制策略。部分研究利用数据集中的多模态信息，探索了传感器融合技术在机械臂控制中的应用。此外，数据集还被用于评估不同强化学习算法在连续控制任务中的表现。

数据集最近研究

最新研究方向

在机器人操作任务领域，xarm-place_bag_tray数据集凭借其多模态传感器数据和精细的动作标注，正成为模仿学习与强化学习算法验证的重要基准。该数据集通过u850机械臂采集的关节状态、视觉观测和动作序列，为研究端到端策略学习提供了丰富素材。近期研究聚焦于如何利用其双视角视觉输入提升复杂场景下的物体定位精度，以及探索时序动作预测模型在托盘放置任务中的泛化能力。随着家庭服务机器人需求增长，此类精细操作数据集将加速抓取规划算法的实际应用落地。