HGS-1M Dataset

HGS-1M数据集是由中国科学技术大学、上海人工智能实验室、上海交通大学和卡内基梅隆大学共同构建的大型统一3D人类高斯分布数据集，包含100万个人类高斯分布，涵盖不同种族、性别、年龄段、外貌、衣着和姿势。该数据集通过多视角优化方法和合成数据扩展，支持大规模训练，并可作为3D人类数字化新测试平台。

The HGS-1M Dataset is a large-scale unified 3D human Gaussian distribution dataset jointly constructed by the University of Science and Technology of China (USTC), Shanghai AI Laboratory, Shanghai Jiao Tong University (SJTU), and Carnegie Mellon University (CMU). It comprises one million human Gaussian distributions, covering diverse ethnicities, genders, age groups, appearances, clothing and poses. The dataset is expanded using multi-view optimization techniques and synthetic data augmentation, supports large-scale training, and can serve as a novel testbed for 3D human digitization.

搜集汇总

数据集介绍

构建方式

HGS-1M数据集的构建采用了多视角优化与合成数据相结合的方法。通过整合公开的多视角人体数据集（如HuMMan、DNA-Rendering、MVHumanNet等），并利用AnimatableGaussians框架将动态人体序列优化为静态3D高斯表示。每个序列优化耗时约20小时（NVIDIA 4090 GPU），通过SMPL-X模型的骨骼先验确保姿态间几何一致性。数据集对齐至规范空间后，采用90个视角（水平30、俯仰30、俯视30）渲染每个高斯模型，并引入10万合成数据增强多样性，最终形成包含100万3D高斯资产的统一数据集。

使用方法

该数据集主要服务于3D人体生成模型的训练与评估。使用时需注意：1) 数据加载需配合SMPL-X参数解析器，以提取骨骼驱动信息；2) 推荐采用基于UV结构的VAE编码器处理多视角输入，充分利用几何上下文；3) 生成任务可采用MM-DiT架构，将条件特征（单图/文本）映射至高斯潜在空间；4) 评估时建议划分330样本的子集（各20视图）进行定量对比，指标包含PSNR、LPIPS、SSIM。数据集支持端到端训练，亦可用于优化-生成混合范式的研究。

背景与挑战

背景概述

HGS-1M Dataset是由上海人工智能实验室（Shanghai AI Lab）、中国科学技术大学（USTC）、上海交通大学（SJTU）和卡内基梅隆大学（CMU）等机构的研究团队于2025年提出的一个大规模3D人体高斯数据集。该数据集旨在解决3D人体数字化领域中的关键问题，即高质量3D人体资产的稀缺性。HGS-1M包含100万个3D高斯人体资产，涵盖了多样化的种族、性别、年龄、外观、服装和姿势，为3D人体生成和重建任务提供了丰富的训练和测试资源。该数据集的提出推动了3D人体数字化领域的发展，特别是在基于高斯表示的生成模型和大规模训练方面具有重要的影响力。

当前挑战

HGS-1M Dataset面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，3D人体数字化需要解决从单视图或多视图图像到高质量3D人体资产的映射问题，这一过程涉及复杂的几何结构和外观细节的建模，尤其是处理遮挡和不可见区域的问题。在构建过程中，研究人员需要整合多个多视图人体数据集，并通过优化方法将其转换为统一的高斯表示，这一过程计算开销巨大，每个序列的优化需要约20小时的GPU时间。此外，数据集的多样性和规模也对存储和计算资源提出了极高的要求。

常用场景

经典使用场景

HGS-1M数据集在3D人体数字化领域具有广泛的应用场景，特别是在从单视图或多视图图像生成高质量3D人体模型方面。该数据集通过提供大规模的3D高斯资产，支持了基于优化的方法和前馈方法的训练与评估。其经典使用场景包括从单张图像生成具有复杂纹理、面部细节和松散衣物变形的3D人体模型，以及从多视图图像中进行3D重建。

解决学术问题

HGS-1M数据集解决了3D人体数字化中的多个关键学术问题。首先，它通过提供大规模的3D高斯资产，缓解了现有数据稀缺的问题，支持了大规模模型的训练。其次，数据集中的多样化样本（包括不同种族、性别、年龄、外观和姿势）使得模型能够学习更广泛的几何和外观变化。此外，数据集还通过引入UV结构化的潜在表示，优化了从低维2D平面到高维3D空间的映射问题，从而提升了生成模型的质量和效率。

实际应用

HGS-1M数据集在实际应用中具有广泛的价值，特别是在游戏、增强现实（AR）和虚拟现实（VR）领域。例如，游戏开发者可以利用该数据集生成高度逼真的3D角色模型，提升游戏的视觉效果。在AR/VR应用中，数据集可以用于创建可交互的虚拟人物，增强用户体验。此外，该数据集还可用于影视特效制作，快速生成高质量的3D人体模型，减少手工建模的工作量。

数据集最近研究

最新研究方向

随着三维人体数字化技术的快速发展，HGS-1M数据集作为当前规模最大、多样性最丰富的三维高斯人体数据集，正在推动该领域的多项前沿研究。该数据集通过融合多视角优化方法与合成数据，构建了包含100万三维高斯人体资产的资源库，覆盖不同种族、年龄、服饰和姿态的多样性样本，为基于数据驱动的人体建模提供了全新基准。在生成式模型方向，研究重点集中于利用UV结构化潜在表示与DiT架构实现从单视图到三维高斯的端到端生成，解决了传统方法中低维到高维映射的模糊性问题。同时，大规模数据训练显著提升了模型在复杂纹理、面部细节和松散衣物变形等高频细节的生成质量，为游戏、AR/VR等应用提供了更真实的数字人解决方案。该数据集还促进了三维原生生成范式的发展，通过将多视图图像压缩为高斯潜在表示，实现了从优化驱动到生成驱动的范式转变。

相关研究论文

• SIGMAN:Scaling 3D Human Gaussian Generation with Millions of Assets

  中国科学技术大学, 上海人工智能实验室, 上海交通大学, 卡内基梅隆大学 · 2025年