4D-DRESS

4D-DRESS是由苏黎世联邦理工学院计算机科学系创建的第一个真实世界4D人类服装数据集，包含64套服装和超过520个动作序列，总计78,000帧。该数据集通过高质量的4D纹理扫描捕捉，每帧包含80,000面三角网格和1,000分辨率的纹理图。数据集的创建过程中，开发了一种半自动的4D人体解析管道，结合人工和自动化方法精确标注4D扫描。4D-DRESS数据集主要用于计算机视觉和图形学中的人类服装研究，旨在解决现有算法在真实世界服装动态捕捉方面的不足，推动现实感人类服装的研究进展。

4D-DRESS is the first real-world 4D human clothing dataset created by the Department of Computer Science, ETH Zurich. It includes 64 clothing garments, more than 520 motion sequences, and a total of 78,000 frames. Captured via high-quality 4D texture scanning, each frame of this dataset contains a triangular mesh with 80,000 faces and a 1000-resolution texture map. During the development of this dataset, a semi-automatic 4D human parsing pipeline was devised, which combines manual and automated approaches to accurately annotate the 4D scans. The 4D-DRESS dataset is primarily designed for human clothing research in the fields of computer vision and graphics, aiming to address the shortcomings of existing algorithms in real-world dynamic clothing capture and promote the advancement of research on photorealistic human clothing.

搜集汇总

数据集介绍

构建方式

在数字人体建模领域，真实服装动态数据的稀缺长期制约着算法的现实应用。为填补这一空白，4D-DRESS数据集通过高端多视角容积捕捉系统，采集了32位参与者穿着64套真实服装进行的520组运动序列，共计7.8万帧高分辨率4D纹理扫描。面对海量复杂扫描数据的标注难题，研究团队创新性地开发了一套半自动化的4D人体解析流程。该流程深度融合了多视角一致性约束与时间连续性先验，通过集成二维人体解析器、光流传递模型与分割掩码生成模块，构建了多层次投票机制，并采用图割优化算法实现顶点级语义标签的精准分配。对于约3.2%的困难帧，系统引入人机协同校正机制进行微调，最终在保证标注精度的同时，显著提升了数据处理效率。

特点

4D-DRESS数据集的核心价值在于其前所未有的真实性与标注完整性。作为首个提供真实世界4D服装语义分割的数据集，它包含了高质量的4D纹理扫描、精确的顶点级语义标签、分离的服装网格以及配准的SMPL(-X)人体参数化模型。数据集涵盖了丰富的服装类别，包括30件上装、28件下装、4件连衣裙及32件外衣，并特别收录了大量具有挑战性的宽松服装动态序列。量化分析表明，其服装与人体模型间的平均距离显著高于现有合成数据集，尤其是外衣在10%最具挑战性的帧中变形距离可达20.09厘米，为模拟真实服装的大幅度非刚性变形提供了宝贵数据。这种对复杂材质与动态细节的忠实记录，使其成为连接算法仿真与真实物理世界的桥梁。

使用方法

该数据集为计算机视觉与图形学领域提供了多任务评估基准。在服装仿真任务中，研究者可利用提供的规范姿态服装模板与真实运动序列，评估物理仿真算法在模拟真实布料动力学方面的性能，并通过优化材料参数进行逆向仿真研究。在 clothed human reconstruction 任务上，数据集支持单视图人体重建、单视图服装重建以及视频驱动重建的全面评测，其提供的精确服装网格与人体模型为量化重建几何精度与细节保真度提供了可靠真值。此外，数据集还可用于人体解析模型与人体表示学习方法的评估，通过将顶点标签投影至多视角图像，可为图像级解析模型提供像素级真值。研究者可通过官方渠道获取数据，并参照论文中定义的数据划分与评估指标开展实验。

背景与挑战

背景概述

在计算机视觉与图形学领域，数字化身中的人类服装研究长期依赖于合成数据集。尽管合成数据易于采集，但其在真实感与动态捕捉方面存在显著不足，难以模拟真实世界服装的复杂形变与运动细节。为弥合这一鸿沟，苏黎世联邦理工学院的研究团队于2024年推出了4D-DRESS数据集，这是首个具备语义标注的真实世界4D人类服装数据集。该数据集通过高端多视角容积捕获系统，采集了64套真实服装在520个运动序列中的高质量4D纹理扫描，总计包含78,000帧数据。其核心研究目标在于为服装仿真、重建等任务提供具有真实感与挑战性的评估基准，推动数字化身向更高真实度迈进。

当前挑战

4D-DRESS数据集旨在解决真实世界服装动态建模与重建的领域挑战，其核心在于克服合成数据与真实服装之间的领域鸿沟，为算法提供更贴近物理现实的评估环境。在构建过程中，研究团队面临两大主要挑战：首先，对大规模、高分辨率4D扫描序列进行精确的顶点级语义标注极为困难，传统基于固定拓扑参数化人体模型的方法难以处理宽松服装（如外套、裙子）在动态运动中产生的拓扑变化与遮挡；其次，数据采集与处理成本高昂，需要专用的高端捕获设施，且后续的标注、分割与网格提取流程计算密集，并依赖专业的三维编辑知识进行人工修正，这些因素共同制约了数据集的扩展性。

常用场景

经典使用场景

在数字人体建模与服装仿真领域，4D-DRESS数据集凭借其高质量的四维纹理扫描与顶点级语义标注，成为评估服装动态模拟算法的关键基准。该数据集通过捕捉真实世界中64种不同服装在520个运动序列中的变形细节，为研究者提供了涵盖宽松外套、连衣裙等多种复杂服饰的时空演化数据，使得基于物理的服装仿真模型能够在接近真实场景的条件下进行训练与验证。

衍生相关工作

基于4D-DRESS的丰富标注数据，多项经典研究工作得以推进。例如，在服装仿真领域，HOOD等模型利用该数据集优化材料参数以提升动态模拟的真实性；在人体重建方面，PIFuHD、ICON等方法通过该数据集验证了其在复杂宽松服装下的重建鲁棒性。同时，该数据集还促进了视频驱动的人体重建、语义人体解析等方向的算法改进，为后续研究提供了可复现的基准框架。

数据集最近研究

最新研究方向

在数字人体建模领域，4D-DRESS数据集的推出标志着真实世界服装动态捕捉研究迈入新阶段。该数据集通过高精度多视角容积采集系统，捕获了64套真实服装在520个运动序列中的变形细节，提供了78k帧带有顶点级语义标注的纹理扫描网格。这一突破性资源正推动服装仿真与重建算法的前沿探索，特别是在处理宽松衣物（如外套、连衣裙）的复杂非刚性形变方面。当前研究热点集中于利用该数据集的精准标注，开发能够跨越合成与真实数据域差距的算法，例如基于物理的神经仿真方法（如HOOD）的材质参数优化，以及单视图与视频驱动的三维人体重建技术在真实服装细节恢复上的性能提升。4D-DRESS通过建立多个标准化评测基准，为服装仿真、人体解析和动态人体表示学习等任务提供了关键的真实数据支撑，有望加速数字孪生、虚拟试衣等跨产业应用的算法进步。

相关研究论文

• 4D-DRESS: A 4D Dataset of Real-world Human Clothing with Semantic Annotations

  苏黎世联邦理工学院计算机科学系 · 2024年