Labelbox/robotics-datasets

LBX Robotics数据集是一个专注于双机械臂xArm操作的数据集，提供了两个双机械臂xArm工作站（xArm6和xArm7）的远程操作记录。数据集包含多种家庭和桌面任务，以原始MCAP文件形式共享，保留了完整的传感器和控制数据。数据集还包括机器人模型、STL网格、任务记录、话题数据（如关节状态、末端执行器状态、摄像头图像等）以及会话元数据。数据集适用于机器人操作和远程操作研究，并提供了Foxglove布局以便于可视化。数据集采用CC-BY-4.0许可证发布。The LBX Robotics Datasets focus on bimanual xArm manipulation, offering teleoperated manipulation recordings from two dual-arm xArm stations (xArm6 and xArm7). The dataset covers a variety of household and table-top tasks, shared as raw MCAP files to preserve full sensor and control fidelity. It includes robot models, STL meshes, task recordings, topic data (e.g., joint states, end-effector states, camera images), and session metadata. The dataset is suitable for robotics manipulation and teleoperation research and comes with a Foxglove layout for visualization. It is released under the CC-BY-4.0 license.

搜集汇总

数据集介绍

构建方式

该数据集由Labelbox Robotics团队通过遥操作手段在双机械臂工站上采集而成，涵盖两款UFACTORY xArm机械臂系统，分别配备6自由度和7自由度末端执行器及平行夹爪。每套工站均部署三台ZED 2i立体相机，分别位于左腕、右腕及俯视视角，以捕捉多角度视觉信息。所有操作记录均以原生MCAP格式保存，采用protobuf编码，确保传感器数据与控制信号的全保真度端到端保留。数据按照任务类型分文件夹组织，并内嵌会话元数据，包括任务标识、指令文本、操作员ID及所用URDF模型。

特点

数据集的一个显著特点在于其高度保真的原始数据格式，MCAP文件完整保留了机器人本体感知信号（约245 Hz）、末端执行器状态、逆运动学解算结果及VR控制器数据，同时提供约30 fps的四路摄像头图像流。每段记录均包含语义子任务标注，便于细粒度行为分析。数据集涵盖广泛的家庭与桌面操作任务，如折叠衣物、洗碗、放置餐具等，总计超过150个录制的演示文件。配套的Foxglove布局文件与URDF模型及STL网格文件使用户能直接在3D可视化环境中加载并分析数据。

使用方法

用户可通过Foxglove Studio直接打开.mcap文件进行可视化检查与回放，利用提供的布局文件快速配置3D机器人模型面板和多视图图像面板。对于程序化访问，推荐使用mcap Python库读取protobuf编码的消息，并结合标准foxglove及自定义lbx_robotics消息类型解析机器人状态、摄像机校准及子任务标注数据。数据集以CC-BY-4.0许可发布，支持商业与非商业用途，使用时建议引用Labelbox Robotics团队。

背景与挑战

背景概述

在机器人操作领域，高保真度的遥操作数据集是推动双臂协同操作研究的关键基础设施。由Labelbox Robotics团队于2026年发布的LBX Robotics Datasets，针对双臂xArm机械臂平台，采集了涵盖折叠衣物、洗碗、摆放餐具等多样化家居任务的原始传感器与控制信号记录。该数据集采用MCAP格式，完整保留了高达245Hz的关节状态更新率与30Hz的多视角立体视觉流，为模仿学习、动作规划及人机协作研究提供了端到端的真实物理交互数据。其开源许可进一步促进了领域内研究可复现性与基准测试的统一。

当前挑战

该数据集所面临的核心挑战包括：首先，领域问题层面，双臂协同操作任务要求模型同时理解双臂空间协调与工具使用逻辑，现有算法在此类高自由度、非结构化环境下的泛化能力仍显不足。其次，构建过程中，遥操作数据的姿态对齐、传感延迟补偿及多模态时间戳同步需要精密标定，而跨不同操作员产生的行为方差也对数据一致性和任务标签的准确性构成显著挑战。此外，有限的任务样本数与缺失的失败案例记录，限制了从错误中学习的鲁棒策略探索。

常用场景

经典使用场景

在机器人操作领域，LBX Robotics Datasets作为一项开创性的双臂操作数据集，为模仿学习和示教复现提供了宝贵的原始数据资源。该数据集通过遥操作方式，在双xArm平台上采集了涵盖折叠衣物、擦洗盘子、整理餐具等多样化家庭与桌面任务的完整传感器与控制系统信号。研究者可直接加载MCAP格式文件，借助Foxglove Studio进行可视化分析，或利用Python库提取机械臂关节状态、末端执行器位姿、多视角相机图像等关键模态信息。其丰富的高频率本体感知数据和稀疏语义标注，使得从人类示教中学习复杂操作策略成为可能，为端到端机器人学习范式构建了坚实的基础实验平台。

实际应用

在实际应用层面，LBX Robotics Datasets为智能家庭服务机器人的技能部署提供了直接的数据支撑。数据集涵盖的折叠衣物、放置餐具、收纳物品等任务，正是家庭服务机器人亟需掌握的核心操作能力。通过基于该数据集训练的模仿学习模型，机器人能够从遥操作示教中提取通用操作策略，进而部署于真实的双臂机器人系统，实现自主执行日常家务。此外，该数据集的CC-BY-4.0开源协议极大地降低了企业研发与产品迭代的门槛，加速了从实验室研究到商业化家用机器人的转化进程。

衍生相关工作

基于该数据集的原始遥操作记录，研究社区已衍生出多项引领性的学术工作。数据集中提供的高保真URDF模型和标准化MCAP格式，催生了面向双臂操作的仿真环境构建工作，研究者将其作为Sim-to-Real迁移学习的基准测试集。同时，由于提供了同步的VR控制器状态和逆运动学解算结果，该数据集被广泛用于开发基于人类示范的双手机器人行为克隆算法，并衍生出关于多模态传感器融合策略、遥操作延迟鲁棒性等方向的研究。此外，稀疏的子任务语义标注更激发了基于时间边界的分层操作规划方法探索，推动了机器人学习从简单轨迹模仿向复合技能分解的范式演进。