Gen3DHF

Gen3DHF 是一个包含 2000 个 AI 生成的 3D 人脸视频的大型基准数据集，由五种不同的模型生成，并附有 4000 个来自质量和真实性维度的平均意见分数（MOS），以及 2000 个带有相应描述的失真敏感度图。该数据集旨在评估 AI 生成的 3D 人脸的质量和真实性，并为失真区域定位提供依据。

Gen3DHF is a large benchmark dataset containing 2000 AI-generated 3D human face videos produced by five distinct models. It is accompanied by 4000 mean opinion scores (MOS) evaluated on two dimensions of quality and authenticity, as well as 2000 distortion sensitivity maps with corresponding descriptions. This dataset aims to evaluate the quality and authenticity of AI-generated 3D human faces and provide a basis for distortion region localization.

搜集汇总

数据集介绍

构建方式

在3D人脸生成技术迅速发展的背景下，Gen3DHF数据集通过整合五种不同的3D人脸生成模型（包括EG3D、PanoHead等），生成了2000个多样化的3D人脸视频样本。每个样本包含512×512分辨率的RGB视频和3D网格序列，采用标准化的摄像机设置进行渲染，确保视角的一致性。此外，数据集通过24名标注者的主观评估，收集了4000个平均意见分数（MOS），覆盖质量和真实性两个维度，以及2000个失真感知显著图和对应的失真描述，确保了数据的全面性和可靠性。

特点

Gen3DHF数据集以其多样性和丰富性脱颖而出。它不仅包含了由多种先进模型生成的3D人脸视频，还通过主观实验收集了详细的质量和真实性评分。数据集的显著特点在于其失真感知显著图和失真描述的标注，这些标注不仅标识了失真区域，还提供了详细的文本描述，为研究者提供了深入分析3D人脸生成模型的能力。此外，数据集的MOS评分分布略微右偏，表明大多数样本在质量和真实性上表现良好，但也包含少量低分样本，为模型评估提供了全面的基准。

使用方法

Gen3DHF数据集的使用方法多样且灵活。研究者可以利用该数据集进行3D人脸生成模型的性能评估，通过MOS评分和失真标注分析模型在质量和真实性上的表现。此外，数据集还支持开发新的质量评估算法，如基于大型多模态模型（LMM）的评估工具LMME3DHF。具体使用时，建议将数据集分为训练集和测试集（比例为4:1），并采用交叉验证以确保结果的可靠性。数据集的失真感知显著图还可用于研究人类视觉注意力机制，进一步提升生成模型的细节表现。

背景与挑战

背景概述

Gen3DHF数据集由上海交通大学的研究团队于2025年创建，旨在解决AI生成3D人脸质量评估的关键问题。随着生成式人工智能在虚拟现实、媒体制作等领域的广泛应用，评估3D人脸的视觉质量和真实感成为重要挑战。该数据集包含2000个由五种不同模型生成的3D人脸视频，并收集了4000个主观评分和2000个失真感知显著图，为相关研究提供了全面的基准。Gen3DHF的建立填补了3D人脸生成质量评估领域的空白，对推动计算机视觉和多媒体技术的发展具有重要意义。

当前挑战

Gen3DHF数据集面临的主要挑战包括：1) 在领域问题方面，3D人脸生成存在独特的失真模式，如视角不一致、几何结构异常等，传统图像质量评估方法难以准确捕捉这些特征；2) 在构建过程中，需要处理大规模3D人脸数据的采集与标注，确保主观评分的可靠性和一致性，同时开发能够理解复杂3D人脸特征的评估模型。此外，数据集还需解决失真区域定位与描述的难题，这对评估模型的细粒度分析能力提出了更高要求。

常用场景

经典使用场景

Gen3DHF数据集在3D人脸生成与评估领域具有广泛的应用场景。该数据集通过整合多种3D人脸生成模型产生的2000个视频样本，为研究者提供了一个标准化的评估平台。在计算机视觉和多媒体领域，Gen3DHF常用于测试和比较不同3D人脸生成算法的性能，尤其是在质量与真实性两个关键维度上的表现。其丰富的标注数据，包括4000个平均意见分数（MOS）和2000个失真感知显著图，为算法优化提供了可靠的基准。

实际应用

在实际应用层面，Gen3DHF数据集为多个行业提供了重要支持。在虚拟现实和游戏开发领域，该数据集可用于优化虚拟角色的面部生成质量；在影视制作中，它帮助评估和提升数字替身的真实感；在安全领域，高质量的3D人脸生成对生物识别系统至关重要。此外，基于该数据集开发的LMME3DHF评估模型可直接集成到内容生成流程中，实现实时的质量监控和优化。

衍生相关工作

Gen3DHF数据集已经衍生出多项重要研究工作。最典型的是与其配套提出的LMME3DHF评估模型，该模型在3D人脸质量评估方面达到了最先进的性能。此外，数据集还被用于改进现有的3D生成对抗网络（如EG3D和PanoHead）的生成质量。在学术领域，该数据集促进了多模态大语言模型在计算机视觉任务中的应用研究，特别是在结合视觉与语言信息进行质量评估方面开辟了新方向。