Dex1B

Dex1B数据集是由加州大学圣地亚哥分校的研究团队创建的一个大规模、多样化且高质量的操作演示数据集。该数据集包含10亿个针对抓握和操作两个基础任务的演示，由生成模型产生。数据集的创建过程结合了优化模型和生成模型，首先通过优化方法构建了一个小规模的高质量种子数据集，然后训练生成模型并利用它高效地扩展数据生成。为了提高数据的多样性，引入了去偏机制，鼓励模型生成与现有数据集差异较大的动作。Dex1B数据集的创建为灵巧手操作领域提供了丰富的训练数据，有助于提升学习模型的性能和泛化能力。The Dex1B dataset is a large-scale, diverse, and high-quality operational demonstration dataset developed by a research team at the University of California, San Diego. It contains 1 billion demonstrations for two fundamental tasks: grasping and manipulation, all generated by generative models. The dataset's construction combines optimization models and generative models: first, a small-scale high-quality seed dataset is built via optimization methods, followed by training generative models to efficiently expand data generation. To improve data diversity, a debiasing mechanism is introduced to encourage the model to generate actions that differ significantly from those in the existing dataset. The creation of the Dex1B dataset provides abundant training data for the field of dexterous hand manipulation, helping to enhance the performance and generalization ability of learned models.

原始信息汇总

Dex1B 数据集概述

基本信息

• 数据集名称: Dex1B
• 发表会议: Robotics: Science and Systems (RSS) 2025
• 作者: Jianglong Ye*, Keyi Wang*, Chengjing Yuan, Ruihan Yang, Yiquan Li, Jiyue Zhu, Yuzhe Qin, Xueyan Zou, Xiaolong Wang

数据集特点

• 规模: 10亿条演示数据
• 任务类型: 抓取（grasping）🖐️ 和 关节操作（articulation）💻
• 生成方式: 使用生成模型（generative models）构建
• 质量: 大规模、多样化、高质量

生成模型 DexSimple

• 核心改进:
  • 集成几何约束以提高可行性（feasibility）✅
  • 引入附加条件以增强多样性（diversity）🌐
• 验证方式: 通过仿真基准测试和真实世界机器人实验验证

数据构建细节

• 抓取任务:
  • 使用 Objaverse 的物体资产构建 100 万个场景
• 关节操作任务:
  • 使用 PartNet-Mobility 的物体资产构建场景
• 扩展方法:
  • 使用优化技术构建种子数据集
  • 通过 DexSimple 扩展至 10 亿规模
• 验证工具: 所有演示均通过 ManiSkill/SAPIEN 仿真器验证

实际应用

• 零样本仿真到现实部署:
  • 使用 Ability Hand 和 XArm 进行抓取
  • 通过 RealSense 相机进行第三方视角校准
• 空间泛化性: 在不同位置成功抓取物体

数据生成流程

1. 使用优化算法生成种子数据集（Seed dataset）
2. 使用种子数据集训练 DexSimple
3. 通过 DexSimple 采样生成扩展提案数据集
4. 使用仿真验证扩展数据集
5. 通过去偏手部姿势和物体增加多样性

模型架构

• 基础模型: 条件变分自编码器（CVAE）
• 条件输入:
  • 手部参数
  • 局部物体点特征
• 监督损失:
  • 标准均方误差（MSE）和 KL 散度损失
  • 近似符号距离函数（SDF）损失以强化几何约束

引用信息

bibtex @article{ye2025dex1b, title={Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation}, author={Ye, Jianglong and Wang, Keyi and Yuan, Chengjing and Yang, Ruihan and Li, Yiquan and Zhu, Jiyue and Qin, Yuzhe and Zou, Xueyan and Wang, Xiaolong}, journal={Robotics: Science and Systems (RSS)}, year={2025} }

搜集汇总

数据集介绍

构建方式

Dex1B数据集的构建采用了创新的迭代数据生成流程，结合了优化技术与生成模型的优势。首先，通过基于优化的方法生成一个小规模的高质量种子数据集，随后利用该数据集训练生成模型DexSimple，以高效扩展数据规模。在生成过程中，通过引入几何约束条件提升样本的可行性，并采用去偏策略增强数据的多样性。最终，经过模拟器验证和优化后，形成了包含10亿条灵巧手操作演示的大规模数据集。

特点

Dex1B作为当前最大规模的灵巧操作数据集，具有三个显著特征：其规模远超现有同类数据集700倍，涵盖6,000余种物体和抓取/关节操作双任务；通过几何约束和条件采样机制，实现了物理合理性与动作多样性的平衡；采用统一的三阶段轨迹表示（预抓取-抓取-后抓取），支持从仿真到实物的直接迁移。数据分布分析显示，其关节角度值呈现均匀分布特征，突破了传统人类标注数据集的集中分布局限。

使用方法

该数据集支持多种应用范式：研究者可通过加载标准化接口直接访问10亿条时空对齐的轨迹数据，包含物体点云、手部姿态序列和任务成功标签；训练时建议采用论文配套的DexSimple模型架构，其融合SDF损失与距离损失的混合训练策略能充分挖掘数据价值；评估阶段需遵循ManiSkill仿真环境的标准协议，重点关注成功率、Q1分数和穿透深度等质量指标，以及关节熵等多样性指标。

背景与挑战

背景概述

Dex1B是由加州大学圣地亚哥分校的研究团队于2025年提出的十亿级灵巧操作演示数据集，标志着机器人灵巧操控领域的数据规模实现了数量级突破。该数据集针对多指灵巧手在抓取和关节操控两大基础任务中的动作分布建模难题，创新性地融合几何约束生成模型与优化算法，构建了包含6,000余物体、覆盖三种灵巧手的十亿级轨迹演示。作为目前规模最大、多样性最丰富的灵巧操作数据集，Dex1B通过系统化的去偏策略和迭代生成流程，显著提升了模拟到现实迁移的性能，为基于学习的灵巧操控方法提供了前所未有的训练资源。

当前挑战

在领域问题层面，Dex1B致力于解决灵巧操作中高维动作空间建模与物理可行性平衡的核心挑战：多指手的22个自由度导致动作搜索空间呈指数级膨胀，而接触力闭合、防穿透等物理约束又大幅增加了有效动作的采样难度。构建过程中的技术挑战主要体现在三方面：生成模型的可行性保障需解决33%的无效样本问题，通过几何约束注入和后续优化将成功率提升至86%；数据多样性维护需设计基于三维点关联的条件采样机制，克服生成模型对已有演示的插值倾向；仿真验证环节存在计算瓶颈，单个物体200次抓取评估需消耗2分钟GPU算力，十亿级验证需开发高效的并行化方案。

常用场景

经典使用场景

Dex1B数据集作为目前规模最大、多样性最丰富的灵巧手操作演示数据集，其经典使用场景集中于机器人灵巧抓取与物体操控任务的研究。在仿真环境中，研究者可利用其10亿条涵盖抓握（grasping）和关节操控（articulation）的演示轨迹，训练深度强化学习模型或模仿学习算法，尤其适用于解决高自由度（DoF）灵巧手在复杂接触条件下的动作规划问题。例如，通过Shadow Hand、Inspire Hand等多指手模型在6,000余种物体上的交互数据，可系统性研究跨物体类别的泛化抓取策略。

解决学术问题

该数据集有效解决了灵巧手操作领域长期存在的数据稀缺与多样性不足问题。传统方法依赖人工标注或优化生成，存在成本高（如DexYCB仅含1K演示）、覆盖范围有限（如DexGraspNet仅132万条）等缺陷。Dex1B通过融合优化方法与生成模型，在保持物理合理性的同时将数据规模提升700倍，其几何约束增强的生成管道使抓取成功率较基准提升22%（DexGraspNet对比实验），并为多指手在非结构化环境中的力闭合分析、接触点分布建模等基础研究提供了前所未有的数据支撑。

衍生相关工作

Dex1B的迭代生成范式启发了后续多个重要工作：DexGraspNet 2.0采用类似扩散模型进行大规模抓取合成；UniDexGrasp将其多任务特性扩展至通用操作策略学习；RP1M数据集则借鉴其条件生成机制构建了钢琴演奏专用数据集。在方法论层面，该数据集推动了几何约束与生成模型的融合研究，如ContactGen等后续工作进一步探索了基于物理的接触生成模型。