Dexterity-BEV

Dexterity-BEV数据集是一个真实世界灵巧双手操作数据集，专为通用机器人策略学习设计，旨在对齐3D世界与动作表示。该数据集在Agilex双手机器人平台上采集，包含两个具体操作任务：1）折叠邮件盒任务，约有1623个演示轨迹，数据量约159.8 GB；2）折叠布料任务，约有377个演示轨迹，数据量约44.4 GB。数据以文件目录形式提供，并附带记录演示列表的文本文件（如demos_list-1623.txt）。该数据集服务于机器人学习研究，特别是双手灵巧操作和策略泛化等任务，采用Apache-2.0许可证发布。The Dexterity-BEV dataset is a real-world dexterous bimanual manipulation dataset designed for general robot policy learning, aiming to align 3D world with action representations. It is collected on the Agilex bimanual robot platform and includes two specific manipulation tasks: 1) the Fold Mailer Box task, with approximately 1623 demonstration trajectories and a data volume of about 159.8 GB; and 2) the Fold Cloth task, with approximately 377 demonstration trajectories and a data volume of about 44.4 GB. The data is provided in file directory format, accompanied by text files recording demonstration lists (e.g., demos_list-1623.txt). This dataset serves robot learning research, particularly for tasks such as bimanual dexterous manipulation and policy generalization, and is released under the Apache-2.0 license.

原始信息汇总

数据集概述：Dexterity-BEV

基本信息

• 许可证：Apache-2.0
• 数据集用途：用于真实世界的灵巧双臂机器人操作实验，旨在对齐3D世界与动作，支持通用机器人策略学习。

数据集内容

该数据集包含两大任务的数据，均基于Agilex双臂机器人平台采集：

1. 任务：折叠邮件盒（Fold Mailer Box）

• 数据集名称：Agilex-FoldMailerBox
• 数据大小：约159.8 GB
• 样本列表文件：demos_list-1623.txt

2. 任务：折叠布料（Fold Cloth）

• 数据集名称：Agilex-FoldCloth
• 数据大小：约44.4 GB
• 样本列表文件：demos_list-377.txt

引用信息

若在研究中使用该数据集，请引用以下论文：

• 论文标题：Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning
• arXiv编号：2606.02274
• 论文链接：https://arxiv.org/abs/2606.02274
• 项目页面：https://hnuzhy.github.io/projects/Dex-BEV/
• 论文PDF：https://hnuzhy.github.io/projects/Dex-BEV/Dex-BEV.pdf
• 技术报告：https://dexforce.com/technical-report/#/Dexterity-BEV
• 博客文章：https://mp.weixin.qq.com/s/uBE0DO2VZzBjaHnMeQKw0A

相关链接

• 数据集页面：https://huggingface.co/datasets/HoyerChou/Dexterity-BEV
• 数据集子文件夹：
  • Agilex-FoldMailerBox
  • Agilex-FoldCloth

搜集汇总

数据集介绍

构建方式

在灵巧双臂机器人操作的研究背景下，Dexterity-BEV数据集构建于真实的双臂机器人平台上，专为提升机器人策略的泛化能力而设计。该数据集聚焦于两类典型的灵巧操作任务：折叠纸盒与折叠布料。通过Agilex双臂平台进行实物数据采集，分别收集了1623个折叠纸盒任务演示和377个折叠布料任务演示，总计超过200GB的高质量操作数据，为多任务、多场景的机器人学习提供了坚实基础。

特点

Dexterity-BEV数据集的最大特色在于其真实世界采集的高保真度与任务泛化导向的设计理念。不同于仿真数据，该数据集直接来自物理平台的操作演示，真实反映了灵巧双臂在接触、变形、对折等复杂过程中的动力学特性与交互细节。同时，数据规模庞大且任务类型多样，有效覆盖了操作变体与场景差异，为学习可迁移的3D世界与动作对齐策略提供了关键支撑。

使用方法

使用者可将Dexterity-BEV数据集直接用于训练基于视觉的机器人策略模型，尤其适用于需要3D空间理解与双臂协调的灵巧操作任务。数据以演示列表和原始传感器记录的形式提供，便于加载与预处理。建议结合论文中提出的BEV对齐方法进行策略学习，利用数据中的多视角观测与动作标签，学习从三维世界到机器人动作的端到端映射，从而提升模型在未见任务与场景中的泛化性能。

背景与挑战

背景概述

在机器人操作领域，灵巧双手任务因其涉及高自由度协调与复杂物理交互而长期面临策略泛化性不足的瓶颈。为突破这一困境，由华南理工大学等多机构研究者于2026年提出的Dexterity-BEV数据集应运而生。该数据集专注于对齐三维世界表征与机器人动作，旨在解决通用机器人策略学习中的视角差异与动作映射难题。基于松灵双臂平台，研究团队收集了折纸盒与折布料两项精细操作任务的高质量演示数据，共计逾200GB。该数据集的发布为机器人灵巧操作领域提供了标准化的训练基准，显著推动了具身智能中多模态感知与动作生成的协同发展。

当前挑战

Dexterity-BEV所应对的核心领域挑战在于，现有机器人物体操作策略大多依赖特定视角的输入，缺乏对三维世界中物体几何与动作空间的统一理解，导致策略在环境或任务变化时难以迁移。数据集构建过程中亦面临显著困难：灵巧双臂系统的高维自由度使得精确的动作标签采集极为困难，同时折纸盒与折布料这类软体变形任务产生大量非线性动态变化，增加了数据标注与策略学习的复杂度。如何高效融合多传感器数据并确保动作与三维场景的精确对齐，是当前亟需解决的关键难题。

常用场景

经典使用场景

Dexterity-BEV数据集专门用于支持双机械臂灵巧操作的机器人策略学习，其最经典的使用场景是为模仿学习和强化学习提供高保真的三维世界与动作对齐的训练数据。该数据集包含两个真实世界的双臂操作任务——折叠邮件纸盒与折叠布料，每个任务均录制了多段完整的操作演示序列，涵盖了从初始状态到目标完成的动态过程。研究者可借助这些数据训练端到端的机器人策略模型，使机器人学会在复杂环境中协调双臂进行精细操作。

实际应用

在实际应用层面，Dexterity-BEV助力工业自动化与家庭服务机器人的智能化升级。折叠盒子与布料的任务直接映射到物流包装、衣物整理等真实场景中机械臂的自动化操作。基于该数据集训练的机器人能够适应不同尺寸、材质的物体，通过视觉引导完成精准的双臂协作，显著降低对固定编程的依赖。此外，数据集中的演示数据还可用于开发人机协作系统中的安全交互策略，提升机器人在非结构化环境中的实用性与可靠性。

衍生相关工作

Dexterity-BEV衍生了多项具有影响力的研究工作，其中典型代表是与其同名的Dexterity-BEV算法框架，该框架通过鸟瞰视角的三维表示实现了世界与动作的对齐。此外，基于该数据集还衍生出关于双机械臂柔性物体操作的视觉预训练方法，以及跨任务策略泛化的对比学习模型。后续研究进一步探索了将数据集与扩散策略结合，用于生成更平滑的灵巧操作轨迹，推动了机器人基础模型在双臂场景下的应用拓展。