MVHumanNet++

MVHumanNet++是一个大规模的多视角日常着装人类捕捉数据集，包含4500个人类身份、9000套日常服装、60000个动作序列和6.45亿个带有广泛注释的数据。作为MVHumanNet的扩展，MVHumanNet++新增了处理过的法线图和深度图，显著扩展了其在高级人类中心研究中的适用性和实用性。此外，还提供了增强的分割和更好的SMPLX估计。

MVHumanNet++ is a large-scale multi-view daily dressing human capture dataset, encompassing 4,500 human identities, 9,000 sets of daily attire, 60,000 action sequences, and 645 million data points with extensive annotations. As an extension of MVHumanNet, MVHumanNet++ introduces processed normal maps and depth maps, significantly enhancing its applicability and practicality in advanced human-centric research. Additionally, it provides improved segmentation and better SMPLX estimation.

原始信息汇总

MVHumanNet++ 数据集概述

数据集简介

• 名称: MVHumanNet++
• 类型: 多视角日常着装人体捕捉数据集
• 规模:
  • 4,500个不同人体身份
  • 9,000套日常服装
  • 60,000个动作序列
  • 645百万帧图像数据
• 扩展内容: 新增法线贴图和深度图处理，增强分割和SMPLX估计

主要标注内容

• 人体掩码
• 相机参数
• 2D/3D关键点
• SMPL/SMPLX参数
• 文本描述
• 法线贴图
• 深度图

数据目录结构

|-- main_data |-- train |-- [ID] (如100831) |-- images # 1024x1024分辨率 |-- cam_00 # 16个固定视角相机 |-- [帧号].jpg (每25帧采样) |-- A-pose专用图像 |-- masks # 1024x1024分辨率 |-- cameras # 相机参数 |-- openpose # 姿态数据 |-- smplx_params # SMPLX参数 |-- test # 测试数据（部分掩码未手动过滤） |-- absdepth # 绝对深度数据 |-- [ID] |-- depths |-- [相机视角] |-- [帧号].exr |-- normal # 法线贴图 |-- [ID] |-- normal |-- [相机视角] |-- [帧号].jpg

使用条款

• 授权: 仅限非商业研究和教育用途
• 获取方式:
  1. 阅读使用条款
  2. 填写申请表格(https://docs.google.com/forms/d/e/1FAIpQLSeqvmeuJzUdmdU-JQ3ocu-o58Uo1K6xfxaeNOFn-AwYOxCgzQ/viewform)

相关资源

• 项目主页: https://kevinlee09.github.io/research/MVHumanNet++/
• 论文: https://arxiv.org/abs/2505.01838
• 可视化工具: vis_smplx.py

引用格式

bibtex @inproceedings{xiong2024mvhumannet, title={MVHumanNet: A Large-scale Dataset of Multi-view Daily Dressing Human Captures}, author={Xiong, Zhangyang and Li, Chenghong and Liu, Kenkun and Liao, Hongjie and Hu, Jianqiao and Zhu, Junyi and Ning, Shuliang and Qiu, Lingteng and Wang, Chongjie and Wang, Shijie and others}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, year={2024} } @misc{li2025mvhumannetlargescaledatasetmultiview, title={MVHumanNet++: A Large-scale Dataset of Multi-view Daily Dressing Human Captures with Richer Annotations for 3D Human Digitization}, author={Chenghong Li and Hongjie Liao and Yihao Zhi and Xihe Yang and Zhengwentai Sun and Jiahao Chang and Shuguang Cui and Xiaoguang Han}, year={2025}, eprint={2505.01838}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

MVHumanNet++数据集作为MVHumanNet的扩展版本，通过精心设计的标注流程构建而成。该数据集采集了4,500个不同身份的人类样本，涵盖9,000套日常着装和60,000个动作序列。数据采集采用多视角相机阵列，每个样本包含16个固定高度的相机视角，并按照每25帧的间隔进行采样以优化存储效率。标注流程不仅包含基础的人体掩膜、相机参数和关键点信息，还新增了经过精细处理的法线贴图、深度图以及改进的SMPLX参数估计，显著提升了数据质量。

特点

MVHumanNet++数据集以其规模宏大和标注丰富著称。该数据集包含645百万条标注数据，涵盖2D/3D关键点、SMPL/SMPLX参数以及文本描述等多元信息。其独特之处在于新增的法线贴图和深度图标注，为三维人体数字化研究提供了更全面的数据支持。数据集采用1024×1024高分辨率图像，并严格筛选约7,000套服装样本，确保数据的一致性和可靠性。每个样本包含静态A-pose图像和动态序列，为人体姿态估计和三维重建任务提供了理想的研究素材。

使用方法

使用MVHumanNet++数据集需遵循非商业研究用途的许可协议。数据集采用分卷压缩格式存储，用户需合并六个主数据部分和深度图部分后进行解压。数据按训练集和测试集组织，每个身份样本包含图像、掩膜、相机参数等子目录。研究人员可通过提供的可视化脚本vis_smplx.py直观展示SMPLX参数估计结果。该数据集特别适用于多视角三维人体重建、姿态估计和数字人生成等计算机视觉任务，为算法开发和基准测试提供了标准化数据平台。

背景与挑战

背景概述

MVHumanNet++是由GAP-Lab团队于2025年推出的多视角日常着装人体捕捉大规模数据集，作为MVHumanNet的扩展版本，旨在推动三维人体数字化领域的研究。该数据集包含4,500个不同身份、9,000套日常服装、60,000个动作序列以及6.45亿条丰富标注，涵盖了人体掩码、相机参数、2D/3D关键点、SMPL/SMPLX参数及文本描述等多元信息。通过新增法线贴图、深度图以及优化的分割与SMPLX估计，MVHumanNet++显著提升了数据质量与应用广度，为人体姿态估计、三维重建等任务提供了重要基准。

当前挑战

在三维人体数字化领域，如何精准捕捉多样化着装与复杂动作下的三维形态一直是核心难题。MVHumanNet++通过多视角协同标注缓解了单视角重建的歧义性，但数据规模与多样性仍对算法泛化能力提出挑战。构建过程中，团队需处理海量视频帧的存储限制（每25帧采样）、跨视角标注一致性，以及服装褶皱、遮挡导致的SMPLX参数估计偏差。此外，测试集掩码未完全人工校验可能影响评估可靠性，而数据仅限非商业用途也制约了工业界应用。

常用场景

经典使用场景

MVHumanNet++数据集在三维人体数字化研究中具有广泛的应用价值，尤其在多视角人体捕捉和重建领域表现突出。该数据集通过提供丰富的标注信息，如人体掩码、相机参数、2D和3D关键点等，为研究人员提供了全面的数据支持。经典使用场景包括基于多视角图像的三维人体重建、姿态估计和动作分析，这些任务在虚拟现实、增强现实和人机交互等领域具有重要应用。

解决学术问题

MVHumanNet++解决了三维人体数字化研究中的多个关键问题。首先，它填补了大规模多视角日常着装人体数据集的空白，为算法训练和评估提供了高质量的数据。其次，通过提供SMPL/SMPLX参数和深度图等丰富标注，该数据集支持更精确的人体建模和姿态估计研究。此外，其多样化的服装和动作序列有助于提升模型在复杂场景下的泛化能力，推动了三维人体重建技术的进步。

衍生相关工作

MVHumanNet++数据集已经衍生出多项经典研究工作，主要集中在三维人体重建、姿态估计和动作生成等领域。例如，基于该数据集的算法在CVPR等顶级会议上发表了多篇论文，推动了多视角人体捕捉技术的发展。此外，许多研究利用该数据集的丰富标注信息，开发了更高效的SMPL/SMPLX参数估计方法，进一步提升了三维人体建模的精度和效率。