DexWild

DexWild数据集由卡内基梅隆大学的研究团队创建，旨在帮助机器人学习精细操作策略，使其能够泛化到新环境。该数据集包含9290个通过DexWild-System系统收集的人手互动演示，涵盖了93个不同的环境。DexWild-System是一个便携式、高保真平台，可以轻松地在各种现实世界环境中捕捉自然的人手演示。DexWild框架结合了人类和机器人演示进行联合训练，从而在未见过的环境中实现更高的成功率（68.5%），比仅使用机器人数据训练的策略高近四倍，并在跨本体泛化方面提供了5.8倍的改进。

The DexWild dataset was developed by a research team at Carnegie Mellon University, with the goal of helping robots learn dexterous manipulation policies and enabling them to generalize to novel environments. This dataset includes 9,290 human-hand interaction demonstrations collected through the DexWild-System, covering 93 distinct environments. The DexWild-System is a portable, high-fidelity platform that can easily capture natural human-hand demonstrations across diverse real-world scenarios. The DexWild framework combines human and robotic demonstrations for joint training, achieving a success rate of 68.5% in unseen environments—nearly four times higher than policies trained solely on robotic data—and delivering a 5.8-fold improvement in cross-embodiment generalization.

原始信息汇总

DexWild 数据集概述

数据集基本信息

• 名称: DexWild (Dexterous Human Interactions for In-the-Wild Robot Policies)
• 作者: Tony Tao*, Mohan Kumar Srirama*, Jason Jingzhou Liu, Kenneth Shaw, Deepak Pathak (*同等贡献)
• 机构: 卡内基梅隆大学
• 发表会议: RSS 2025

数据集规模与内容

• 总演示数: 9,290 个
• 覆盖环境数: 93 个
• 数据类型: 人类演示数据与机器人数据协同训练
• 任务类型: 包括但不限于插花、叠衣服、倒水、喷洒、玩具整理等

数据收集系统

• 系统名称: DexWild-System
• 特点:
  • 便携、高保真、与具体实现无关
  • 使用未受过训练的数据收集团队
  • 数据收集速度是远程操作的4.6倍

关键特性

• 跨实现泛化: 能够零样本转移到新的机器人手臂，少量样本转移到新的机器人手
• 环境泛化: 在完全未见过的室内外、拥挤、杂乱环境中表现良好
• 任务迁移: 能够从喷洒任务有效迁移到倒水任务，无需额外机器人数据

任务具体数据量

1. 插花任务: 人类演示1,545 | 机器人演示236
2. 叠衣服任务: 人类演示1,124 | 机器人演示290
3. 倒水任务: 人类演示621 | 机器人演示0*
4. 喷洒任务: 人类演示3,000 | 机器人演示388
5. 玩具整理任务: 人类演示3,000 | 机器人演示370

*注: 倒水任务机器人演示为0，喷洒任务机器人演示为388

性能优势

• 在新环境中成功率比纯机器人训练高4倍
• 实现转移效果比纯机器人训练好5.8倍

引用格式

bibtex @article{tao2025dexwild, title={DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies}, author={Tao, Tony and Srirama, Mohan Kumar and Liu, Jason Jingzhou and Shaw, Kenneth and Pathak, Deepak}, journal={Robotics: Science and Systems (RSS)}, year={2025}}

致谢

• 感谢多位研究人员在讨论、计算设置和机器人系统设置方面的帮助
• 感谢多位数据收集人员的贡献
• 资金支持: AFOSR FA9550-23-1-0747 和 Apple Research Award

搜集汇总

数据集介绍

构建方式

DexWild数据集通过创新的DexWild-System设备，实现了大规模、多样化的真实世界人类手部交互数据采集。该系统采用便携式设计，结合单目跟踪摄像头、电池供电的微型PC以及定制传感器手套，实现了无需校准的高保真数据捕获。数据收集过程涉及10名未经训练的用户在93种不同环境中完成9,290次演示，覆盖了室内外多种场景和光照条件。同时，研究人员还采集了1,395次机器人遥操作数据作为补充。这种人类与机器人数据的联合采集方式，通过相对状态-动作表示和视觉观察对齐等技术，有效解决了跨具身学习的核心挑战。

特点

DexWild数据集最显著的特点是实现了人类演示与机器人数据的无缝融合。其数据具有三大核心优势：环境多样性（涵盖93种真实场景）、动作精确性（通过电磁场传感手套实现毫米级手部追踪）以及具身无关性（采用标准化观察空间设计）。特别值得注意的是，数据集包含丰富的跨任务演示（如喷雾瓶使用、玩具整理等5类任务）和双手机器人协调数据。与仅包含机器人数据的传统数据集相比，DexWild通过人类自然交互引入的行为多样性，使训练出的策略在未见环境中的成功率提升至68.5%，达到纯机器人数据策略的4倍性能。

使用方法

使用DexWild数据集时，建议采用协同训练框架，以1:2的比例混合人类与机器人数据进行批次训练。训练流程首先通过预训练的ViT编码器提取视觉特征，然后采用扩散U-Net模型处理多模态动作分布。关键步骤包括动作归一化和演示过滤，以消除人类数据中的噪声。对于下游任务，可将策略部署在xArm或Franka等机器人平台上，通过Riemannian运动策略实现平滑控制。该数据集特别适合研究跨具身迁移学习，在从xArm到Franka的跨平台测试中展现出8.3倍的性能提升。为获得最佳效果，推荐使用随数据集提供的开源代码库进行模型微调。

背景与挑战

背景概述

DexWild数据集由卡内基梅隆大学的研究团队于2025年提出，旨在解决机器人灵巧操作策略在未知环境中的泛化问题。该数据集通过收集大规模真实世界的人类手部交互数据，结合少量机器人示范数据，构建了一个高效的协同训练框架。DexWild的创新之处在于开发了低成本、便携的DexWild-System数据采集设备，使得未经训练的操作者能够快速在多样环境中收集高质量示范数据。这一工作显著提升了机器人策略在新物体、新场景和新形态下的适应能力，在机器人学习领域具有重要影响力，为实现通用机器人操作提供了新的数据驱动范式。

当前挑战

DexWild面临的核心挑战包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，机器人灵巧操作需要解决跨任务泛化、跨形态适应以及在未知环境中稳定执行等复杂问题；同时需要克服人类示范与机器人执行之间的形态差异带来的动作映射难题。在构建过程中，研究团队需要解决大规模数据采集的效率问题，开发可靠的便携式追踪系统确保数据质量，设计有效的协同训练框架来平衡人类数据的多样性和机器人数据的精确性，以及处理真实环境中不可避免的遮挡和光照变化等技术挑战。

常用场景

经典使用场景

DexWild数据集在机器人灵巧操作策略的训练中展现了其经典应用场景。通过结合大规模的人类手部交互数据和少量机器人示范数据，DexWild能够训练出适应多种未知环境的机器人策略。例如，在喷水瓶任务中，机器人需要准确抓取并调整喷水瓶的方向以喷洒目标布料，这一任务不仅测试了机器人的功能性抓取能力，还验证了其对物体功能的认知。DexWild通过人类示范数据的多样性，显著提升了机器人在新环境中的适应能力。

解决学术问题

DexWild数据集解决了机器人学习领域中几个关键的学术问题。首先，它通过低成本的人类示范数据收集系统，克服了传统机器人数据收集方法的高成本和低扩展性问题。其次，DexWild通过共同训练人类和机器人数据，显著提高了策略在未知环境中的泛化能力，成功率达到68.5%，是仅使用机器人数据训练策略的近四倍。此外，DexWild还实现了跨任务和跨体现的泛化，为机器人学习提供了更加灵活和高效的解决方案。

衍生相关工作

DexWild数据集衍生了一系列相关研究工作，特别是在机器人模仿学习和跨体现泛化领域。例如，基于DexWild的数据收集系统，研究者们开发了更加高效和便携的数据采集设备，进一步降低了数据收集的成本和复杂度。此外，DexWild的共同训练框架也被应用于其他机器人学习任务中，如多机器人协作和复杂环境下的路径规划。这些工作不仅扩展了DexWild的应用范围，也为机器人学习领域提供了新的研究方向和方法。