NegFaceDiff

NegFaceDiff是一个新的采样方法，旨在通过在身份条件扩散过程中集成负面条件来增强身份分离，从而消除生成图像中不需要的特征。该方法在身份一致性方面取得了显著的改进，在多个基准测试中，使用NegFaceDiff数据集训练的人脸识别模型的表现优于未使用负面条件的数据生成的模型。

NegFaceDiff is a novel sampling method designed to enhance identity separation by integrating negative conditions into the identity consistency diffusion process, thereby eliminating unnecessary features from the generated images. This method has achieved significant improvements in identity consistency, with the facial recognition models trained on the NegFaceDiff dataset outperforming those generated without negative conditions in multiple benchmark tests.

原始信息汇总

NegFaceDiff数据集概述

数据集基本信息

• 论文标题: NegFaceDiff: The Power of Negative Context in Identity-Conditioned Diffusion for Synthetic Face Generation
• 论文状态: 已被ICCV Workshop 2025接收
• 论文链接: https://arxiv.org/abs/2508.09661
• 许可证: Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)

数据集内容

• 生成方法: 使用NegFaceDiff采样方法增强身份条件扩散模型，通过负条件引导模型远离不需要的特征，同时保持类内一致性
• 关键改进: 身份分离性显著提升（Fisher Discriminant Ratio从2.427提高到5.687）

数据集获取

• 访问方式: 需通过Google Drive申请访问
  • 下载链接: https://drive.google.com/drive/folders/1RXplM2j8cP4pyljcHweoq5I_xZFi3h_T?usp=sharing
  • 申请要求: 提供姓名、所属机构和官方邮箱
• 包含内容:
  • 使用NegFaceDiff生成的数据集（基于CASIA-WebFace预训练的扩散模型）
  • 预训练扩散模型权重
  • 基于生成数据训练的FR模型权重

相关训练数据集

• FFHQ数据集: https://github.com/NVlabs/ffhq-dataset
• CASIA-WebFace数据集: https://github.com/deepinsight/insightface/tree/master/recognition/datasets

使用方法

训练与采样

1. 预训练模型获取:

   • 从Rombach等人获取预训练autoencoder
   • 从ElasticFace官方仓库获取预训练ElasticFace-Cos模型权重

2. IDiff-Face训练: 参考官方仓库 https://github.com/fdbtrs/IDiff-Face

3. 上下文列表生成:

   • 正上下文: 使用create_sample_identity_contexts.py
   • 负上下文: 根据需求选择不同脚本生成

4. 数据采样与对齐:

   • 使用sample.py生成合成数据集
   • 使用split_identity_blocks.py分割样本
   • 使用MTCNN_alignment.py对齐样本

评估与训练

1. 使用distribution.py生成分数分布图
2. 使用train.py训练FR系统
3. 使用eval_ijbc.py进行IJB-C评估

引用格式

bibtex @misc{caldeira2025negfacediff, title={NegFaceDiff: The Power of Negative Context in Identity-Conditioned Diffusion for Synthetic Face Generation}, author={Eduarda Caldeira and Naser Damer and Fadi Boutros}, year={2025}, eprint={2508.09661}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.09661}, }

搜集汇总

数据集介绍

构建方式

NegFaceDiff数据集通过引入负条件采样机制，在身份条件扩散模型（DMs）中构建而成。该机制在生成过程中同时利用正负身份条件，通过从潜在表示中减去负条件的影响（公式3），有效引导生成样本远离非目标身份特征。具体实现基于预训练的IDiff-Face框架，采用DDPM和DDIM两种采样策略，在FFHQ和C-WF数据集上分别训练生成10万个身份各50张图像，并通过Far-Neg策略选择最远负样本以最大化类间可分性。

特点

该数据集的核心特点在于其双条件引导机制带来的身份分离增强特性。通过Fisher判别比（FDR）量化，类间可分性从基线2.427提升至5.687，等错误率（EER）降低70%。生成图像在保持类内一致性的同时，展现出更陡峭的真实-冒认分数分布分离（图3）。特别地，Far-Neg策略生成的样本在RFW基准测试中实现85.61%平均准确率，其标准差2.74为同类最低，表明该数据集在减少种族偏差方面具有显著优势。

使用方法

使用NegFaceDiff数据集时，建议采用两阶段流程：首先利用预训练FR模型提取身份特征作为条件，通过DDIM（200步）快速生成初始样本；再采用DDPM（1000步）精细生成训练数据。数据增强推荐Random Augmentation（4操作/幅度16）。在模型训练阶段，CosFace损失函数需设置边际惩罚0.35、尺度因子64，配合SGD优化器（动量0.9/权重衰减5e-4）。该数据集特别适用于跨姿态（CP-LFW）和大规模（IJB-C）人脸验证任务，在后者中使TAR@FAR=1e-5指标从23.44%提升至77.38%。

背景与挑战

背景概述

NegFaceDiff是由Fraunhofer IGD与达姆施塔特工业大学的研究团队于2025年提出的创新性人脸合成数据集，旨在解决传统人脸识别技术中面临的隐私伦理与数据合规性问题。该数据集通过身份条件扩散模型，引入负上下文采样机制，显著提升了生成人脸的身份区分度（FDR从2.427提升至5.687）。其核心突破在于将文本生成中的负提示技术迁移至人脸合成领域，通过双条件引导策略，在保持类内一致性的同时强化类间可分性，为合成数据训练的人脸识别系统设立了新基准。

当前挑战

NegFaceDiff面临双重挑战：在领域问题层面，需解决合成人脸的身份重叠问题——传统方法仅依赖正向身份条件导致生成样本存在类间特征混淆，影响识别模型性能；在构建技术层面，需精确平衡负条件引导强度（w=0.5时最优），并设计高效的负上下文选择策略（Far-Neg方案使EER降低70%）。此外，扩散模型固有的高计算成本（1000步DDPM采样）与跨种族偏差控制（RFW数据集上STD需降至2.74）也是关键技术难点。

常用场景

经典使用场景

NegFaceDiff数据集在合成人脸生成领域具有广泛的应用场景，特别是在隐私保护和法律合规性要求较高的环境中。该数据集通过负上下文条件扩散模型生成高质量、身份一致的人脸图像，适用于训练人脸识别系统。在需要大量人脸数据但受限于隐私法规的研究和商业应用中，NegFaceDiff提供了一种有效的替代方案，避免了使用真实人脸数据可能带来的法律和伦理问题。

实际应用

NegFaceDiff的实际应用场景包括但不限于人脸识别系统的训练与测试、安全认证系统的开发以及自动化边境控制等。由于生成的人脸数据具有高度可控的身份特征和多样性，NegFaceDiff特别适用于需要大规模人脸数据但受限于隐私保护法规的场景。例如，在金融安全、智能监控和虚拟身份验证等领域，NegFaceDiff提供了一种高效且合规的数据解决方案。

衍生相关工作

NegFaceDiff的提出推动了多个相关研究方向的进展，包括基于扩散模型的人脸生成技术优化、负上下文条件在生成模型中的应用以及合成数据在人脸识别中的性能提升。该数据集衍生的经典工作包括IDiff-Face、DCFace和ID3等，这些研究进一步探索了身份条件扩散模型在不同场景下的应用潜力，并为合成数据在人脸识别领域的广泛使用奠定了基础。