MVHumanNet++

MVHumanNet++是一个大规模的多视角日常着装人体捕获数据集，由香港中文大学（深圳）科学与工程学院的研究团队创建。该数据集包含4500个人体身份的多视角动作序列，以及9000套日常服装、60000个动作序列和6.45亿帧，并具有广泛注释，包括人体面具、相机参数、2D和3D关键点、SMPL/SMPLX参数和相应的文本描述。此外，该数据集还增强了新处理的法线贴图和深度贴图，显著扩展了其在高级人体中心研究中的应用性和实用性。该数据集旨在支持各种2D和3D视觉任务，例如动作识别、人体重建和生成等。

MVHumanNet++ is a large-scale multi-view daily clothing human capture dataset developed by the research team from the School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen. This dataset includes multi-view motion sequences for 4500 unique human identities, alongside 9000 sets of daily clothing, 60000 motion sequences, and 645 million frames. It features comprehensive annotations covering human masks, camera parameters, 2D and 3D keypoints, SMPL/SMPLX parameters, and corresponding textual descriptions. Furthermore, the dataset incorporates newly processed normal maps and depth maps, which greatly expands its applicability and practicality in advanced human-centric research. This dataset aims to support a wide range of 2D and 3D vision tasks, including action recognition, human reconstruction, and generation, among others.

原始信息汇总

MVHumanNet++ 数据集概述

基本信息

• 数据集名称: MVHumanNet++
• 描述: 一个大规模多视角日常着装人体捕捉数据集，带有丰富注释，用于3D人体数字化
• 主要特点:
  • 包含4,500个人体身份的多视角人体动作序列
  • 9,000套日常服装
  • 60,000个运动序列
  • 6.45亿帧图像
  • 广泛注释：人体掩模、相机参数、2D/3D关键点、SMPL/SMPLX参数、文本描述
  • 新增处理过的法线贴图和深度贴图

数据集规模

• 人体身份数量: 4,500
• 日常服装数量: 9,000
• 运动序列数量: 60,000
• 总帧数: 645,000,000

注释内容

• 人体掩模
• 相机参数
• 2D和3D关键点
• SMPL/SMPLX参数
• 文本描述
• 法线贴图
• 深度贴图

应用领域

• 2D和3D视觉任务
• 3D人体中心任务研究

参考文献

bibtex @inproceedings{xiong2024mvhumannet, title={Mvhumannet: A large-scale dataset of multi-view daily dressing human captures}, author={Xiong, Zhangyang and Li, Chenghong and Liu, Kenkun and Liao, Hongjie and Hu, Jianqiao and Zhu, Junyi and Ning, Shuliang and Qiu, Lingteng and Wang, Chongjie and Wang, Shijie and others}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={19801--19811}, year={2024} }

搜集汇总

数据集介绍

构建方式

MVHumanNet++数据集的构建采用了多视角同步捕捉系统，包括48台高分辨率工业相机和24台辅助相机，以360度全方位捕捉人类动作序列。数据采集过程中，邀请了4500名不同年龄、体型和着装的参与者，每人记录两种不同着装和七种不同动作序列，最终形成了包含9000种日常着装、60000个动作序列和6.45亿帧图像的庞大数据集。数据预处理阶段采用了自动化与人工标注相结合的方式，确保了数据的多样性和高质量。

使用方法

MVHumanNet++数据集可用于多种2D和3D视觉任务，包括：1) 视角一致的动作识别，利用多视角骨架数据进行训练和测试；2) 人类NeRF重建，通过大规模数据提升模型的泛化能力；3) 3D高斯泼溅重建，利用高质量SMPLX参数提升重建效果；4) 文本驱动的图像生成，结合文本描述和SMPL条件生成高质量人类图像；5) 人类生成模型训练，支持2D和3D生成模型的开发。数据集还支持从非约束图像中进行3D人类重建等前沿研究任务。

背景与挑战

背景概述

MVHumanNet++是由香港中文大学（深圳）的陈宏杰、廖鸿杰等研究人员于2025年提出的超大规模多视角人体数据集，旨在解决3D人体数字化领域缺乏高质量、多样化真实数据的关键瓶颈。该数据集通过48/24相机阵列系统捕获4500个身份、9000套日常着装和6.45亿帧图像，涵盖年龄、体型、服装材质等多元属性，并创新性地提供SMPL/SMPLX参数、法线贴图、深度图等丰富标注。作为当前规模最大的3D人体数据集，其通过标准化采集流程和高效标注系统，显著推动了神经渲染、动作识别、文本生成人体等研究方向的发展，相关成果已发表于CVPR 2024会议并持续扩展。

当前挑战

该数据集主要应对三方面挑战：在领域问题层面，需突破传统人体数据集在身份多样性（如Human3.6M仅11个身份）、服装复杂度（如DNA-Rendering受限于特殊交互场景）和运动覆盖范围（如HuMMan仅500种动作）的局限性；在构建过程中，面临多相机同步校准精度、动态服装褶皱的几何重建精度，以及海量数据标注效率等工程难题，例如使用Sapiens模型处理6.45亿帧分割需1954 GPU小时。此外，为保持数据真实性，需平衡采集效率与多样性，如设计500种日常动作协议并控制6个月内完成单被试采集。

常用场景

经典使用场景

MVHumanNet++数据集在3D人体数字化领域具有广泛的应用场景，特别是在多视角人体动作捕捉和重建方面。该数据集通过提供4500个不同身份的多视角动作序列，涵盖了9000种日常着装和60000个动作序列，为研究者提供了丰富的训练和测试数据。其多视角同步捕捉系统和高分辨率图像（最高达12MP）使得该数据集在人体姿态估计、动作识别和3D重建等任务中表现出色。

解决学术问题

MVHumanNet++解决了3D视觉领域中人体中心任务数据稀缺的问题。通过提供大规模的多视角人体数据，该数据集显著提升了人体动作识别、3D人体重建和生成模型的性能。其丰富的标注信息（如人体掩码、相机参数、2D/3D关键点、SMPL/SMPLX参数等）为研究者提供了强大的监督信号，推动了3D人体数字化技术的进步。

实际应用

在实际应用中，MVHumanNet++数据集被广泛用于虚拟现实（VR）、增强现实（AR）和3D内容生成。例如，该数据集可以用于训练生成模型，生成逼真的虚拟人物形象；也可以用于动作捕捉系统，提升动作识别的准确性。此外，其在服装设计和人体运动分析等领域也有重要应用。

数据集最近研究

最新研究方向

在3D视觉领域，MVHumanNet++数据集的推出填补了大规模多视角人体数据集的空白，为3D人体数字化研究提供了前所未有的丰富资源。该数据集不仅包含了4500个不同身份的人体动作序列，还提供了包括人体掩码、相机参数、2D/3D关键点、SMPL/SMPLX参数以及文本描述在内的详尽标注，进一步增强了其在高级人体中心研究中的适用性和实用性。MVHumanNet++的前沿研究方向主要集中在多视角一致性动作识别、基于NeRF和3D高斯泼溅的人体重建、以及文本驱动的无约束视角人体图像生成等领域。这些研究不仅推动了3D人体重建技术的发展，还为虚拟现实、增强现实等应用场景提供了强有力的数据支持。

相关研究论文

• MVHumanNet++: A Large-scale Dataset of Multi-view Daily Dressing Human Captures with Richer Annotations for 3D Human Digitization

  香港中文大学（深圳）科学与工程学院 · 2025年