Ava256-Scan

在这个开源项目中，我们已经将Ava256数据集处理成光阶段扫描格式并公开提供。与论文中提到的NeRSemble-Scan相比，这个数据集规模更大，种族多样性更全面，并且在光照去除网络的训练上表现更好。

In this open-source project, we have processed the Ava256 dataset into the light stage scan format and made it publicly available. Compared with NeRSemble-Scan mentioned in the paper, this dataset has a larger scale, more comprehensive racial diversity, and performs better in the training of illumination removal networks.

原始信息汇总

OpenDelight 数据集概述

基本信息

• 数据集名称：Ava256-Scan
• 所属项目：OpenDelight（基于深度学习的面部外观捕获去光照先验模型）
• 发布机构：清华大学研究团队（Yuxuan Han 等）
• 对应论文：Learning a Delighting Prior for Facial Appearance Capture in the Wild（SIGGRAPH 2026）

数据集描述

Ava256-Scan 是对原始 Ava256 数据集进行处理后得到的、采用 Light Stage 扫描格式的数据集。与论文中提到的 NeRSemble-Scan 数据集相比，它具有以下优势：

• 规模更大，包含更多样本
• 种族多样性更全面，覆盖更多元的人种
• 训练效果更优，基于该数据集训练的照明去除网络性能更好

项目不再计划发布 NeRSemble-Scan 数据集，转而以该数据集作为主要训练数据源。

技术特点

• 完全开源，高性能的去光照先验模型
• 相较于商业最优模型 SwitchLight（beeble.ai），能够产生更优的结果，且显著减少阴影烘烤伪影
• 在工程层面优化了代码，降低硬件需求

硬件要求

• 训练所需 GPU：仅需 2 × NVIDIA RTX 3090（24GB 显存）
• 训练收敛时间：3–4 天
• 相比原论文所需的 48GB 显存 GPU，硬件门槛显著降低

使用文档

• 环境配置：参考 doc/ENV.md
• 训练流程：参考 doc/TRAIN.md，涵盖从合成数据集渲染到网络训练的全流程
• 测试与推理：参考 doc/TEST.md，可使用预训练模型或基于智能手机视频进行面部外观捕获
• 集成系统：计划与 WildCap 系统集成，构建全自动外观捕获管线（待实现）

联系方式

• 联系人：Yuxuan Han（[e-mail]）

引用格式

@inproceedings{han2026opendelight, author = {Han, Yuxuan and Ming, Xin and Li, Tianxiao and Shen, Zhuofan and Zhang, Qixuan and Xu, Lan and Xu, Feng}, title = {Learning a Delighting Prior for Facial Appearance Capture in the Wild}, booktitle = {SIGGRAPH}, year={2026} }

搜集汇总

数据集介绍

构建方式

Ava256-Scan数据集是基于Ava256数据集，通过将其处理为Light Stage扫描格式而构建的公开数据集。该数据集由OpenDelight项目团队精心打造，旨在为面部外观捕捉任务提供更优质的数据支撑。与论文原始版本采用的NeRSemble-Scan数据集相比，Ava256-Scan在规模上更为庞大，并涵盖更广泛的种族多样性，从而显著提升了基于其训练的照明去除网络的性能表现。团队放弃了原计划发布的NeRSemble-Scan数据集，转而将Ava256-Scan作为主要数据资源，以确保数据集在面部外观捕捉研究中的实用性和前沿性。

特点

Ava256-Scan数据集的核心特点体现在其大规模、高多样性和卓越的训练效果上。该数据集不仅样本数量丰富，还注重种族和肤色分布的全面覆盖，使得基于它训练的照明先验模型能够更好地适应复杂多变的人脸外观场景。相较于同类数据集，Ava256-Scan在处理阴影烘焙伪影方面表现优异，有助于生成更真实、更自然的面部渲染结果。此外，该数据集与OpenDelight框架紧密集成，降低了硬件门槛，仅需两张24GB显存的GPU即可高效完成网络训练，极大提升了研究者的使用便利性。

使用方法

使用Ava256-Scan数据集时，研究者需首先按照OpenDelight项目文档配置实验环境，具体步骤可参考doc/ENV.md文件。若希望复现OpenDelight的训练流程，可依据doc/TRAIN.md中的指引，该文档详细描述了从合成数据集渲染到网络训练的全过程，使用两张RTX 3090 GPU即可在3至4天内完成训练。对于仅需测试预训练模型或采用OpenDelight进行面部外观捕捉的用户，可直接跳至doc/TEST.md文档，其中提供了从智能手机视频输入到结果生成的完整操作指南。未来，该数据集还将集成到WildCap系统中，实现全自动化的外观捕捉流程。

背景与挑战

背景概述

Ava256-Scan数据集由清华大学徐枫教授团队联合研究者Yuxuan Han等人于2026年创建，作为SIGGRAPH论文《Learning a Delighting Prior for Facial Appearance Capture in the Wild》的核心开放资源。该数据集将原有的Ava256数据集处理为光舞台扫描格式，旨在解决非受控环境下人脸外观捕捉中的光照解耦问题。与同类数据集相比，Ava256-Scan具备更大规模、更优秀的种族多样性，使得基于其训练的照明去除网络性能显著提升。该数据集的开源推动了人脸外观捕捉领域从实验室封闭系统向开放、可复现研究范式的转变，为后续研究提供了高质量基准。

当前挑战

Ava256-Scan面临的主要挑战包括：在光照解耦领域，非受控环境下的人脸图像常混合复杂阴影与高光，现有模型如SwitchLight虽性能优异但存在阴影烘焙伪影，如何从单一图像中精准分离固有肤色、几何与光照成分仍属难题。在构建过程中，需将非标准采集的Ava256图像统一转换为光舞台扫描格式，面临数据对齐、标定精度和光照一致性等工程挑战；同时，为确保种族多样性覆盖，需平衡不同人种样本数量，并应对基于合成数据训练的通用性局限，以增强模型在真实世界场景中的泛化能力。

常用场景

经典使用场景

在数字人重建与外观捕获领域，Ava256-Scan数据集常被用作训练去光照（delighting）先验模型的基准数据。该数据集将Ava256中的海量人脸图像处理为光舞台（Light Stage）扫描格式，提供了丰富的光照变化标注与高保真几何信息。研究者通过在此数据集上训练神经网络，能够学习从复杂环境光中分离出纯净的面部反射属性，进而实现从任意自然光照图像中恢复纹理、法线和反照率。这种端到端的学习范式极大地简化了野外环境下面部外观捕获的流程，使得传统依赖受控采集的方法得以向无约束场景迁移。

解决学术问题

该数据集解决了学术研究中两个关键难题：一是缺乏大规模、高多样性且带光照标注的人脸训练数据，导致去光照模型在复杂光照下泛化能力不足；二是传统Light Stage数据采集成本高昂，难以覆盖不同肤色与种族特征。Ava256-Scan通过公开提供量级更大、种族更全面的标注数据，显著提升了光照去除网络在跨场景、跨人群条件下的鲁棒性。其研究者证明，基于此数据集训练的网络性能超越了此前最优的商业模型SwitchLight，同时大幅减少了伪影问题，为人脸外观捕获领域的公平性与可复现性奠定了基石。

衍生相关工作

基于Ava256-Scan数据集，衍生出多项具有影响力的研究工作。原始论文提出的OpenDelight模型是首个全开源的高性能去光照先验，其性能在定性和定量上均超越商业方案SwitchLight。此外，该数据集被直接用于替换原论文中依赖的NeRSemble-Scan，展现了更优的跨种族泛化性能。研究团队还计划将本数据集作为核心模块无缝嵌入WildCap系统，构建全自动的外观捕获管线。这些工作共同构建了一套从数据、模型到系统的开源生态，为人脸颜色与光照分离方向提供了可复现的基准测试平台，并启发了后续在面部重光照与反向渲染等方向的研究探索。