BecomingLit Dataset

BecomingLit数据集包含在光照舞台下，在均匀和一次一个光源（OLAT）照明条件下录制的面部表演多视角视频。

The BecomingLit Dataset contains multi-view videos of facial performances recorded on a lit stage under two illumination conditions: uniform lighting and one-light-at-a-time (OLAT).

原始信息汇总

BecomingLit数据集概述

数据集基本信息

• 数据集名称: BecomingLit Dataset
• 论文来源: NeurIPS 2025论文《BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading》
• 数据内容: 在光照舞台中录制的面部表演多视角数据，包含均匀光照和逐光源照明(OLAT)条件下的数据
• 数据总量: 超过1.5 TB

数据获取与设置

访问申请

• 申请链接: https://forms.gle/twwZCWDahDnjFzaTA
• 批准后将通过邮件收到下载链接和解压密码

安装配置

1. 安装数据包: pip install git+https://github.com/jonathsch/becominglit-dataset.git
2. 配置下载URL: 在~/.config/becominglit_data/.env文件中设置BECOMINGLIT_DATA_URL

下载工具使用

命令概览

• 列出所有参与者ID: bl-data list
• 列出参与者所有序列: bl-data list $ID
• 下载数据: bl-data download ${becominglit_folder}
• 解压数据: bl-data unzip ${becominglit_folder} --password "<<<PASSWORD>>>"

筛选下载选项

• --participant: 选择特定参与者
• --sequence: 选择特定序列
• --camera: 选择特定相机
• --n_workers: 指定并行下载数量

数据结构

BECOMINGLIT_DATASET/ ├─ PARTICIPANT_ID/ │ ├─ calibration/ │ │ ├─ camera_calibration.json # 相机外参和内参 │ │ ├─ color_calibration.json # 颜色校正矩阵 │ │ └─ light_pattern_metadata.json # 光源位置和模式定义 │ └─ sequences/
│ ├─ SEQUENCE_NAME/
│ │ ├─ light_pattern_per_frame.json # 帧到光照模式的映射 │ │ └─ images/ │ │ ├─ cam_CAM_ID/
│ │ │ ├─ image_FRAME_ID.avif
│ │ │ └─ ... │ │ └─ ... │ └─ ... └─ ...

校准数据说明

相机参数

• 外参格式: world_to_cam (OpenCV坐标系)
• 内参: 基于完整图像分辨率(3208 x 2200)，所有16个相机共享

颜色校正

• 每个相机包含3x3颜色校正矩阵
• 在线性RGB空间中对齐相机RGB值

光照校准

• 包含40个光源的世界空间位置
• 光照模式定义: 每个模式包含激活的光源索引和持续时间(微秒)
• 序列文件夹中的light_pattern_per_frame.json指定每帧的光照模式索引

引用要求

bibtex @inproceedings{ schmidt2025becominglit, title={BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading}, author={Jonathan Schmidt and Simon Giebenhain and Matthias Niessner}, booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems}, year={2025}, }

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，高质量的面部表演数据集对于推动可重光照数字人技术至关重要。BecomingLit数据集通过专业的光照舞台采集系统构建，涵盖了多位参与者在均匀光照和逐光源照明条件下的多视角面部表演记录。数据采集过程涉及16台高分辨率相机同步捕捉，并采用40个独立光源的精确控制，确保每个序列的光照模式可追溯。该数据集还提供了详尽的校准文件，包括相机内外参数、色彩校正矩阵以及光源位置与激活模式的元数据，为后续研究奠定了可靠的数据基础。

特点

BecomingLit数据集以其精细的光照控制和全面的多视角记录而著称。数据集包含丰富的面部表演序列，如情感表达和实验性动作，每个序列均配备了逐帧的光照模式索引，便于研究者精确分析不同光照条件下的面部反射特性。所有图像均以AVIF格式存储，分辨率高达3208×2200，确保了视觉数据的清晰度与色彩保真度。此外，数据集提供了完整的相机校准与色彩校正信息，支持在OpenCV坐标系下进行三维重建与渲染，为可重光照高斯化身的研究提供了高度一致且可复现的实验环境。

使用方法

研究者可通过官方申请流程获取BecomingLit数据集的访问权限，随后利用提供的Python工具包进行数据下载与管理。下载脚本支持按参与者、序列或相机维度灵活选择子集，以适应不同的存储与计算需求。数据解压后，用户可按照标准的目录结构访问校准文件与图像序列，其中光照模式与帧的映射关系通过JSON文件明确记录。该数据集适用于训练与评估可重光照数字人模型，用户可结合相机参数与光照元数据，实现高质量的面部重建与动态光照模拟，推动神经渲染技术的进一步发展。

背景与挑战

背景概述

BecomingLit数据集作为神经信息处理系统大会2025年收录的前沿成果，由慕尼黑工业大学Jonathan Schmidt等学者联合构建，聚焦于三维人脸重建与动态光照建模的交叉领域。该数据集通过高精度光学捕捉系统，采集了多视角人脸表演在均匀光照及逐光源照明模式下的完整数据，为可重光照高斯化身技术提供了关键实验基础。其创新性地融合了混合神经着色方法，显著推动了数字人类建模在真实感渲染与动态光照交互方面的研究进程。

当前挑战

在三维数字人领域，精确解耦材质反射与光照变化始终是核心难题，BecomingLit需解决复杂光照条件下皮肤次表面散射与高光反射的物理建模挑战。数据集构建过程中面临多相机同步标定、40组光源的时序控制，以及超1.5TB原始数据的压缩存储等技术瓶颈，同时需保持16台相机在3208×2200分辨率下色彩响应的一致性，这对光学标定与数据管线的鲁棒性提出了极高要求。

常用场景

经典使用场景

在计算机视觉与图形学领域，BecomingLit数据集为构建可重光照的3D人脸化身提供了关键支撑。其多视角采集系统结合均匀照明与单光源激活模式，能够精确捕捉面部在不同光照条件下的反射特性与几何细节。这一设计使得研究者能够基于高斯分布与神经渲染技术，重建出具备动态光影响应能力的高保真数字人脸模型。

衍生相关工作

该数据集已催生多项基于高斯溅射与神经渲染的创新研究。例如结合隐式神经表示的工作提升了动态场景下的材质编辑精度，而跨模态生成方法则利用其光照数据实现了2D照片到3D化身的转换。这些衍生研究进一步拓展了可驱动数字人在元宇宙、医疗仿真等领域的应用边界。

数据集最近研究

最新研究方向

在计算机视觉与图形学领域，BecomingLit数据集作为首个融合多视角面部捕捉与混合神经着色的高精度资源，正推动可重光照数字人技术的前沿探索。该数据集通过光阶系统采集的均匀照明与逐光源激活模式，为神经辐射场与高斯溅射方法的结合提供了关键实验基础。当前研究聚焦于动态面部表情的实时重光照、跨视角一致性建模以及光照传输的物理准确性，这些突破将直接赋能虚拟现实、影视特效和元宇宙中真实感数字人的生成。随着NeurIPS 2025相关研究的发布，该数据集已成为连接传统图形学与深度学习范式的重要桥梁，其校准数据的完备性更为材质反照率分解与动态光影合成提供了新的基准。