4D-DRESS - 包含语义注释的真实世界4D服装数据集

4D-DRESS是由苏黎世联邦理工学院和图宾根大学联合构建的首个真实世界的4D服装数据集。该数据集包含64套不同人物服装的520多个动作序列，总计78000个纹理扫描，涵盖了丰富的服装类型和动态动作。4D-DRESS通过半自动的4D人体解析流程，结合人工干预与自动化技术，精确标注了服装与人体动作的复杂细节，为服装模拟和重建等多个计算视觉和图形学领域的任务设立了新基准。该数据集的发布旨在缩小现有服装算法与现实世界人类服装之间的差距，促进数字虚拟角色服装研究的发展，为研究人员提供了宝贵的数据资源。4D-DRESS is the first real-world 4D clothing dataset jointly constructed by ETH Zurich and the University of Tübingen. This dataset includes over 520 motion sequences of 64 different human outfits, totaling 78,000 texture scans, covering a wide range of clothing types and dynamic movements. Through a semi-automated 4D human parsing process, combining manual intervention with automated technology, 4D-DRESS precisely annotates the complex details of clothing and human movements, setting a new benchmark for tasks in computational vision and graphics such as clothing simulation and reconstruction. The release of this dataset aims to bridge the gap between existing clothing algorithms and real-world human attire, promoting the development of digital virtual character clothing research and providing researchers with valuable data resources.

原始信息汇总

数据集概述

4D-DRESS 是一个专注于真实世界人类服装的4D数据集，包含64种不同的人类服装，涵盖超过520个运动序列和78,000帧扫描。每个运动序列包含以下内容：

1. 高质量的4D纹理扫描。
2. 精确的顶点级语义标签。
3. 对应的提取衣物网格和拟合的SMPL(-X)身体网格。

数据集详细记录了动态运动中的4种连衣裙、28种下装、30种上装和32种外衣。每种衣物还提供了其规范模板网格，以支持未来的人类服装研究。

数据集内容

• 4D-DRESS Dataset：包含多种人类服装的4D扫描数据。
• 4D-Human-Parsing Code：用于解析4D扫描数据的代码。

数据集结构

数据集的文件结构如下：

4D-DRESS └── < Subject ID > (00***) └── < Outfit > (Inner, Outer) └── < Sequence ID > (Take*) ├── basic_info.pkl ├── Meshes_pkl ├── SMPL ├── SMPLX ├── Semantic ├── Capture └── Useful tools for 4D-DRESS

数据集使用工具

• aitviewer：用于可视化4D-DRESS序列的工具。
• extract_garment.py：用于提取标记的衣物网格和渲染多视角像素标签的工具。

4D 人类解析方法

该方法首先将当前和前一帧扫描渲染成多视角图像和标签，然后收集多视角解析结果，并通过图割算法优化顶点标签。用户可以通过检查多视角渲染标签轻松引入手动校正标签。

数据集引用格式

@inproceedings{wang20244ddress, title={4D-DRESS: A 4D Dataset of Real-world Human Clothing with Semantic Annotations}, author={Wang, Wenbo and Ho, Hsuan-I and Guo, Chen and Rong, Boxiang and Grigorev, Artur and Song, Jie and Zarate, Juan Jose and Hilliges, Otmar}, booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2024} }

搜集汇总

数据集介绍

构建方式

4D-DRESS数据集的构建基于真实世界中的64套人类服装，涵盖了超过520个动作序列和78,000帧扫描数据。每一帧扫描数据均包含高质量的4D纹理扫描，并通过精确的顶点级语义标注，提取出对应的服装网格和拟合的SMPL(-X)身体网格。此外，数据集还提供了每件服装的规范模板网格，为未来的人类服装研究提供了丰富的素材。

特点

4D-DRESS数据集的特点在于其全面性和精细度。它不仅捕捉了4种裙子、28种下装、30种上装和32种外衣的动态运动，还提供了每件服装的规范模板网格。数据集中的每一帧扫描数据都经过精确的语义标注，使得研究人员能够深入分析服装的动态变化及其与人体运动的交互关系。此外，数据集还包含了多视角的捕捉图像和标签，为多模态研究提供了便利。

使用方法

使用4D-DRESS数据集时，首先需要下载并按照指定的目录结构放置数据。通过提供的Python脚本，用户可以可视化4D序列、提取标注的服装网格，并渲染多视角的像素标签。数据集还支持4D人体解析方法，用户可以通过运行图像解析器、光流预测器和分割模型，结合图割算法优化顶点标签。此外，用户还可以引入新的标签（如袜子、腰带等），并在其他4D人体数据集上应用相同的解析方法。

背景与挑战

背景概述

4D-DRESS数据集由苏黎世联邦理工学院（ETH Zurich）的研究团队于2024年发布，旨在为真实世界中的4D服装动态捕捉提供高质量的数据支持。该数据集包含了64套人类服装，涵盖了超过520个动作序列和78,000帧扫描数据，每帧数据均包含高精度的4D纹理扫描、顶点级语义标注以及对应的服装网格和SMPL(-X)身体模型。4D-DRESS的发布填补了4D服装数据集的空白，为服装动态建模、人体姿态估计和虚拟试衣等领域的研究提供了重要的数据基础。该数据集在CVPR 2024上被列为亮点工作，进一步推动了计算机视觉与图形学交叉领域的发展。

当前挑战

4D-DRESS数据集在构建过程中面临了多方面的挑战。首先，动态服装的捕捉需要高精度的4D扫描技术，以确保在复杂动作下服装形变的准确记录。其次，顶点级语义标注的生成依赖于多视角图像解析、光流预测和分割模型的协同工作，这一过程不仅计算量大，还需要人工干预以修正误差。此外，数据集中的服装种类繁多，包括上衣、下装和外衣等，如何在不同服装类型上实现一致的标注质量也是一个技术难点。最后，数据集的规模和应用场景的扩展性要求研究人员在数据采集、存储和处理方面进行高效优化，以支持更广泛的学术研究和工业应用。

常用场景

经典使用场景

4D-DRESS数据集在计算机视觉和图形学领域中被广泛用于研究动态服装的语义分割和重建。通过捕捉64种不同服装在520多个运动序列中的78,000帧高质量4D扫描数据，该数据集为研究人员提供了丰富的真实世界服装动态变化信息。其顶点级语义标签和提取的服装网格为服装的精确建模和动画生成提供了基础。

解决学术问题

4D-DRESS数据集解决了动态服装建模中的多个关键学术问题。首先，它提供了精确的顶点级语义标签，使得服装的语义分割更加准确。其次，通过提供SMPL(-X)身体网格和服装模板网格，该数据集支持了服装与人体之间的动态交互研究。此外，其多视角图像和标签渲染技术为4D人体解析提供了新的方法，推动了服装重建和动画生成领域的发展。

衍生相关工作

4D-DRESS数据集衍生了一系列经典研究工作，如Hi4D、X-Avatar和CloSe等。这些工作基于4D-DRESS提供的语义标签和服装网格，进一步推动了4D人体解析、服装分割和动态服装建模领域的发展。例如，Hi4D利用4D-DRESS数据集实现了近距离人体交互的实例分割，而X-Avatar则通过该数据集生成了更具表现力的人体虚拟形象。