DexGarmentLab

DexGarmentLab是一个专门为灵巧（尤其是双手）衣物操作设计的模拟环境。该环境包括15个任务场景，每个场景都有高质量的3D资产，以及2500多件来自ClothesNet数据集的衣物。DexGarmentLab通过利用衣物结构对应关系，仅用一个专家演示自动生成具有多样化轨迹的数据集，从而显著减少了手动干预的需求。此外，该环境还引入了层次化衣物操作策略(HALO)，利用可供性（用于定位衣物操作区域）和扩散方法（基于衣物和场景生成轨迹），实现了比现有模仿学习算法更好的泛化性能。该数据集可用于研究灵巧双手操作衣物的算法，旨在解决现实世界中衣物操作的挑战。

DexGarmentLab is a simulation environment specifically designed for dexterous garment manipulation, especially dual-hand garment manipulation. This environment features 15 task scenarios, each equipped with high-quality 3D assets, and over 2500 garment items sourced from the ClothesNet dataset. DexGarmentLab leverages the structural correspondences of garments to automatically generate datasets with diverse trajectories using only a single expert demonstration, thereby significantly reducing the need for manual intervention. Additionally, this environment introduces the Hierarchical Garment Manipulation Strategy (HALO), which leverages affordances for locating garment manipulation regions and diffusion-based methods for generating trajectories conditioned on garments and the environment, achieving better generalization performance than existing imitation learning algorithms. This dataset can be used to research algorithms for dexterous dual-hand garment manipulation, aiming to address real-world garment manipulation challenges.

搜集汇总

数据集介绍

构建方式

DexGarmentLab作为首个专注于灵巧（尤其是双手）服装操作的环境，其构建过程体现了多学科交叉的精密设计。数据集通过Isaac Sim平台实现物理仿真，整合了ClothesNet提供的8个类别超过2500件高质量3D服装资产，并针对15种任务场景进行了优化配置。创新性地采用基于服装结构对应关系的自动化数据采集管道，仅需单次专家演示即可生成多样化轨迹，显著降低了传统遥操作或强化学习策略所需的人工干预。仿真环境特别引入了粘附力、摩擦力等物理参数优化，通过位置动力学（PBD）和有限元方法（FEM）的混合建模策略，分别处理大变形服装与弹性小物件的物理交互，有效缩小了仿真与现实的差距。

特点

该数据集的核心优势体现在三个维度：环境多样性方面，涵盖挂衣、折叠、穿戴等15类任务场景，每类任务均配置随机化的初始位姿和交互物体位置；物理真实性方面，通过改进的粒子间粘附缩放参数和接触力学模型，实现了服装与灵巧手之间符合直觉的抓取、拖拽等交互行为；算法兼容性方面，提供的层次化服装操作策略（HALO）整合了可迁移操作点识别与扩散轨迹生成，支持跨形状、跨变形状态的任务泛化。特别值得注意的是，所有服装资产均保留原始几何拓扑结构，使得基于类别级对应的特征匹配成为可能。

使用方法

研究者可通过分层策略框架充分利用该数据集：首先利用服装功能模型（GAM）提取点云特征匹配演示轨迹中的操作点，通过预训练的PointNet++网络实现跨实例的对应关系建模；随后采用结构感知扩散策略（SADP）生成适应服装当前状态的轨迹，其条件输入融合了服装点云、交互物体和环境特征。实验配置建议包含100次/任务的演示数据，采用余弦退火学习率调度器（初始值1e-4）训练3000个epoch。对于真实世界迁移，需注意FEM模拟的弹性物品（如手套）与PBD模拟的柔性服装存在动力学差异，建议通过域随机化提升策略鲁棒性。

背景与挑战

背景概述

DexGarmentLab是由北京大学和加州大学伯克利分校的研究团队于2025年提出的首个专注于双手灵巧服装操作（bimanual dexterous garment manipulation）的仿真环境。该数据集针对服装类别、几何形状和变形多样性带来的核心挑战，构建了包含15种任务场景、2500+高质量3D服装资产的大规模仿真平台，并创新性地通过服装结构对应性实现单演示样本的自动化轨迹生成。这项工作填补了现有仿真环境在灵巧手-服装物理交互真实性方面的空白，为可变形物体操纵领域提供了重要的基准测试平台。

当前挑战

DexGarmentLab面临三重挑战：1) 数据层面，灵巧手的高维动作空间与服装的复杂变形特性导致策略学习需要海量数据，而传统遥操作或专家强化学习策略数据采集效率低下；2) 环境层面，现有仿真器缺乏对服装-灵巧手交互的物理精确建模，难以实现真实的多物体（服装、衣架、人体等）交互仿真；3) 算法层面，服装的无限状态空间要求策略具备跨形状、变形的泛化能力，传统模仿学习在轨迹生成精度和适应性方面存在局限。构建过程中还需解决服装粒子系统稳定性、双手协调动作建模等物理仿真难题。

常用场景

经典使用场景

DexGarmentLab数据集在机器人灵巧操作领域具有广泛的应用场景，尤其在双手机器人服装操作任务中表现突出。该数据集通过提供15种不同的任务场景和2500多种服装资产，为研究人员提供了一个高度真实且多样化的仿真环境。经典使用场景包括服装折叠、悬挂、穿戴等日常家务任务，这些场景不仅模拟了人类日常生活中的常见操作，还涵盖了服装与刚性物体（如衣架、人体模型）的复杂交互过程。数据集特别强调双手机器人的协调操作能力，为研究多指协调、精确抓取和适应性操作提供了丰富的数据支持。

实际应用

在实际应用层面，DexGarmentLab数据集为家庭服务机器人的开发提供了重要支持。基于该数据集训练的算法可直接应用于衣物整理、辅助穿衣等实际场景，提高机器人在非结构化环境中的操作能力。数据集特别针对不同服装类别（如上衣、裤子、帽子等）设计了专门的操作任务，使机器人能够适应多样化的家庭需求。在医疗康复领域，该数据集还可用于开发辅助残疾人穿衣的机器人系统。此外，数据集提供的仿真环境可作为机器人操作技能的安全训练平台，大幅降低真实世界试错成本。

衍生相关工作

DexGarmentLab数据集已经衍生出多个相关研究工作。基于该数据集提出的分层服装操作策略HALO，结合了affordance感知和扩散方法，成为服装操作领域的新基准方法。数据集还推动了服装结构对应关系的研究，相关技术被应用于服装点云特征提取和密集视觉对应任务。在仿真技术方面，数据集改进的物理参数设置方法被后续研究广泛采用，用于提高服装-机器人交互的真实性。此外，数据集的自动化数据收集管道启发了新的few-shot模仿学习框架，这些工作都在服装操作领域产生了重要影响。