HairCUP

HairCUP是一个用于3D头部化身的三维一致性合成无发数据生成流程，它创建成对的训练数据集，使得面部和头发的解耦变得有效。该数据集由Codec Avatars Lab, Meta创建，用于训练一个可分解的先验模型，该模型独立表示3D无发头部和头发，允许对面部外观和发型进行显式控制。模型在未见过的捕获上进行微调，以生成具有独立控制面部和头发组件的个人化3D化身。这些功能突出了我们的方法在实际场景中的实用性，为灵活和表达性的3D化身生成铺平了道路。

HairCUP is a 3D-consistent hair-free data generation pipeline for 3D head avatars. It constructs paired training datasets to enable effective decoupling between facial features and hair. Developed by Codec Avatars Lab, Meta, this dataset is designed to train a decomposable prior model that independently represents 3D hair-free heads and hair, allowing explicit control over facial appearance and hairstyle. The model can be fine-tuned on unseen captured data to generate personalized 3D avatars with independently controllable facial and hair components. These features highlight the practical utility of our approach in real-world scenarios, paving the way for flexible and expressive 3D avatar generation.

原始信息汇总

HairCUP: Hair Compositional Universal Prior for 3D Gaussian Avatars

作者与机构

• Byungjun Kim (1, 2*)
• Shunsuke Saito (2)
• Giljoo Nam (2)
• Tomas Simon (2)
• Jason Saragih (2)
• Hanbyul Joo (1†)
• Junxuan Li (2†)

1. 首尔国立大学
2. Meta Codec Avatars实验室

• 在Meta Codec Avatars实验室实习期间完成的工作
  † 共同通讯作者

发表信息

• ICCV 2025 (Oral)
• 论文链接: arXiv

模型概述

• 模型名称: Hair -C ompositional U niversal P rior (HairCUP)
• 功能: 为可重光照的3D高斯头像生成通用的先验模型
• 特点: 分别建模头发和面部，支持头像间的无缝发型转换

核心贡献

1. 提出首个显式考虑头发组合性的3D头部头像通用先验模型
2. 开发合成无发数据创建流程，从工作室捕获数据中去除头发
3. 训练解耦的面部和头发先验模型，将组合性作为归纳偏置

关键能力

• 支持在头像间无缝转换面部和头发组件
• 可通过单目捕捉进行少样本微调，为未见过的对象创建高保真3D头像
• 支持3D面部和发型交换的灵活可控应用

数据集生成

• 使用配对的头发/无发数据集
• 基于扩散先验估计的无发几何和纹理创建合成无发数据

方法架构

1. ID条件化的面部/头发超网络
   • 从UV展开的平均反照率和几何图生成多尺度偏置图
2. 组合头像模型
   • 包含头发运动和面部表情编码器
   • 生成运动/表情代码供解码器使用

引用格式

bibtex @article{kim2025haircup, title={HairCUP: Hair Compositional Universal Prior for 3D Gaussian Avatars}, author={Kim, Byungjun and Saito, Shunsuke and Nam, Giljoo and Simon, Tomas and Saragih, Jason and Joo, Hanbyul and Li, Junxuan}, journal={arXiv preprint arXiv:2507.19481}, year={2025} }

搜集汇总

数据集介绍

构建方式

HairCUP数据集的构建采用了创新的合成无发图像生成流程，通过多视角工作室捕捉系统获取高分辨率人脸图像，并利用扩散先验技术估算无发几何与纹理，从而创建配对的带发与无发数据集。具体流程包括：注册中性表情帧的无发对应网格，通过颜色重建损失优化可见面部区域的UV纹理图，并应用分数蒸馏采样损失完成被遮挡头皮区域的纹理填充。随后通过图像合成技术，将原始带发图像的头发区域移除，并渲染无发网格至遮罩区域，生成多视角一致的无发图像。

特点

HairCUP数据集的核心特点在于其显式的头发与面部组合性建模，通过分离学习面部与头发的潜在空间，实现了高保真的3D头部化身生成。数据集包含260名受试者的多视角视频捕捉数据，分辨率达4096×2668，覆盖多样化的面部表情与光照条件。其独特优势包括：支持头发与面部的独立控制与编辑，实现跨身份的逼真发型迁移；通过高斯基元表示实现实时辐射场渲染；以及基于合成无发数据的强监督信号，有效解决了面部与头发特征解耦的难题。

使用方法

该数据集可作为通用先验模型支持多种应用场景：1) 发型迁移方面，通过组合不同身份的面部与头发超网络参数，实现跨化身的高保真发型交换；2) 少样本个性化方面，利用单目捕获视频对模型进行微调，快速生成新身份的头发组合式3D化身；3) 三维重建方面，通过分离的面部与头发高斯解码器，支持独立控制的面部表情重演与发型编辑。使用流程包括：加载预训练的组合模型，输入目标身份的几何与反照率图生成基础化身，通过调整头发运动编码或混合不同身份的头发超网络参数实现发型控制。

背景与挑战

背景概述

HairCUP是由首尔国立大学和Meta的Codec Avatars Lab的研究团队于2025年提出的一个3D高斯头像数据集，专注于解决3D头像建模中头发与面部的可组合性问题。该数据集通过构建一个显式的头发与面部解耦模型，旨在支持灵活的头发样式迁移和编辑。传统方法通常将头发和面部视为不可分割的整体，导致在数据有限的情况下难以自然解耦两者的表示，且难以支持3D面部和头发样式的灵活交换。HairCUP通过合成无头发数据并分别学习头发与面部的潜在空间，显著提升了3D头像的可控性和真实性，为虚拟现实、游戏和影视制作等领域提供了重要的技术支持。

当前挑战

HairCUP面临的挑战主要包括两个方面：领域问题挑战和构建过程挑战。在领域问题方面，3D头像建模中的头发与面部解耦是一个复杂的问题，头发具有细尺度的几何结构和复杂的光学行为，传统方法难以自然分离头发与面部的表示。此外，支持灵活的头发样式迁移需要高质量的头发和面部解耦数据，这在现实中难以获取。在构建过程方面，收集配对的带头发和无头发多视角数据极为困难，参与者通常不愿意剃光头或佩戴全头遮帽。为此，研究团队开发了合成无头发数据的流程，通过估计无头发几何和纹理来生成配对数据，但这一过程需要处理颜色不一致性和多视角一致性等挑战。

常用场景

经典使用场景

HairCUP数据集在3D头像建模领域具有广泛的应用场景，特别是在需要高保真度和可重光照的头像生成任务中。该数据集通过分离面部和头发的建模，支持无缝发型转移，使得用户可以在不同头像之间自由切换发型，而无需进行额外的缩放优化或担心不自然的头发边界伪影。这一特性使其在虚拟现实、游戏角色设计和影视特效制作中具有重要价值。

解决学术问题

HairCUP数据集解决了3D头像建模中面部和头发难以自然解耦的学术难题。传统方法通常将面部和头发作为一个整体建模，忽略了其固有的组合性，导致在数据集有限的情况下难以有效分离两者的表示。该数据集通过合成无头发数据，构建了分离的面部和头发潜在空间，从而支持灵活的3D面部和发型交换。这一创新为头像生成的可控性和表达性提供了新的研究方向。

衍生相关工作

HairCUP数据集衍生了一系列相关研究，特别是在3D高斯头像和组合式建模领域。例如，URAvatar和GaussianHair等研究基于该数据集进一步优化了头像的渲染质量和动态表现。此外，该数据集还启发了对头发和面部解耦表示的新方法，如DELTA和TECA，这些工作进一步推动了3D头像生成技术的发展，并在虚拟现实和影视制作中得到了广泛应用。