HumanOLAT

HumanOLAT数据集是首个公开可用的，包含多视角下全身人类OLAT捕获的大型数据集。该数据集包括在多种光照条件下（如白光、环境地图、颜色渐变和细粒度OLAT光照）的HDR RGB帧。数据集包含21位不同个体，每位个体在三种不同姿势下进行捕获，提供了超过40个视角和340种光照条件下的图像，总计约85万帧。该数据集为人体重照明和新视角合成的研究提供了宝贵的资源，有助于促进未来在人体重照明和新视角合成方面的研究。

The HumanOLAT dataset is the first publicly available large-scale dataset for full-body human OLAT captures across multiple viewpoints. It includes HDR RGB frames captured under various lighting conditions, such as white light, environment maps, color gradients, and fine-grained OLAT lighting. The dataset contains 21 distinct individuals, each captured in three different poses, providing images from over 40 viewpoints and 340 lighting conditions, totaling approximately 850,000 frames. This dataset serves as a valuable resource for research on human relighting and novel view synthesis, and facilitates the advancement of future studies in these fields.

原始信息汇总

HumanOLAT: A Large-Scale Dataset for Full-Body Human Relighting and Novel-View Synthesis

作者信息

• Timo Teufel1,†
• Pulkit Gera1,†
• Xilong Zhou1
• Umar Iqbal2
• Pramod Rao1
• Jan Kautz2
• Vladislav Golyanik1
• Christian Theobalt1

所属机构

1. Max Planck Institute for Informatics, SIC
2. NVIDIA

†共享第一作者。

数据集概述

HumanOLAT是首个公开的大规模多视角单光源（OLAT）全身人体捕捉数据集，旨在解决全身人体重光照和新视角合成的挑战。数据集包含以下内容：

• 高动态范围（HDR）RGB帧
• 多种光照条件下的数据：
  • 白光
  • 环境贴图
  • 颜色渐变
  • 细粒度OLAT光照

应用与价值

• 促进数字人体表示的重光照和新视角渲染研究
• 为最先进的重光照和新视角合成方法提供基准测试
• 推动人体特定和通用的重光照与渲染技术进步

引用信息

bibtex @inproceedings{teufelgera2025HumanOLAT, title = {HumanOLAT: A Large-Scale Dataset for Full-Body Human Relighting and Novel-View Synthesis}, author = {Timo Teufel and Pulkit Gera and Xilong Zhou and Umar Iqbal and Pramod Rao and Jan Kautz and Vladislav Golyanik and Christian Theobalt}, year = {2025}, journal={International Conference on Computer Vision (ICCV)} }

相关链接

• 论文：https://vcai.mpi-inf.mpg.de/projects/HumanOLAT/
• GitHub：https://vcai.mpi-inf.mpg.de/projects/HumanOLAT/
• 数据：https://vcai.mpi-inf.mpg.de/projects/HumanOLAT/

搜集汇总

数据集介绍

构建方式

HumanOLAT数据集构建于一个球形穹顶捕获系统，该系统配备了40台RED Komodo 6K相机和331个独立可控的LED灯，能够发射红、绿、蓝、琥珀和白光（RGBAW）。数据集包含21名不同受试者，每位受试者在三种静态姿势下进行捕获，每种姿势下采集40个不同视角的图像。捕获的照明条件包括白光、两种颜色梯度照明、十种环境地图照明和331种OLAT照明。通过精确的相机和照明校准，数据集提供了高动态范围（HDR）RGB帧，适用于各种重光照任务。

使用方法

HumanOLAT数据集可用于多种评估场景，包括静态全身新型视图合成、静态全身重光照以及联合新型视图合成和光照。研究人员可以利用数据集提供的OLAT照明数据进行图像级重光照，通过线性组合不同光照条件下的图像来模拟任意目标光照效果。此外，数据集还支持基于环境地图的重光照方法，为算法开发和基准测试提供了全面的数据支持。

背景与挑战

背景概述

HumanOLAT数据集由马克斯·普朗克信息学研究所和NVIDIA的研究团队于2025年联合发布，旨在解决计算机视觉与图形学领域中数字人体重光照与新视角合成的核心问题。作为首个公开的大规模全身多视角单光源时序（OLAT）捕捉数据集，其通过精密的光照舞台系统采集了21位受试者在三种静态姿势下的高动态范围（HDR）RGB帧数据，涵盖环境光、色彩梯度及331种精细OLAT光照条件。该数据集填补了全身人体重光照研究领域高质量公开数据的空白，为虚拟制片、增强现实等应用提供了物理精确的基准数据，推动了基于神经渲染的重光照技术发展。

当前挑战

该数据集面临的挑战主要体现在两方面：在领域问题层面，人体复杂的几何结构、多样化的材质属性（如皮肤、毛发、衣物）及次表面散射等光学现象，导致现有重光照方法难以实现高保真度的光照效果重建，尤其在处理动态阴影和镜面高光时表现局限；在构建过程层面，需克服受试者微动导致的运动模糊问题，通过光流补偿技术确保OLAT序列的时空对齐，同时需协调40台5K分辨率相机与331组可编程LED的同步控制，其硬件系统的校准复杂度与数据规模（约85万帧）对存储和计算提出极高要求。此外，松散衣物的几何重建精度与光照传输的线性建模亦是技术难点。

常用场景

经典使用场景

HumanOLAT数据集在计算机视觉和图形学领域具有广泛的应用价值，特别是在数字人体表示的光照重定向和新视角合成任务中。该数据集通过多视角、多光照条件下的高质量捕捉，为研究人员提供了丰富的实验材料。其经典使用场景包括静态全身光照重定向、静态全身新视角合成以及两者的联合任务。这些场景在电影制作、游戏开发和虚拟现实等领域具有重要的实际意义。

解决学术问题

HumanOLAT数据集解决了计算机视觉和图形学领域中的多个关键学术问题。首先，它填补了公开可用的全身人体OLAT捕捉数据的空白，为光照重定向研究提供了高质量的基准数据。其次，数据集通过提供精确的光照和相机校准，解决了复杂人体外观建模中的光照歧义性问题。此外，数据集还支持对复杂光照效应（如次表面散射和自阴影）的研究，推动了人体特定渲染技术的进步。

实际应用

HumanOLAT数据集在实际应用中展现出广泛的价值。在电影和游戏产业中，该数据集可用于创建高度逼真的数字角色，提升视觉体验。在虚拟现实和增强现实领域，数据集支持开发能够实时调整光照的虚拟人物，增强沉浸感。此外，数据集还可用于虚拟试衣间和数字孪生等商业应用，为用户提供更真实的交互体验。

数据集最近研究

最新研究方向

在计算机视觉与图形学领域，HumanOLAT数据集的发布为全身人体重光照与新视角合成研究开辟了新的前沿方向。该数据集通过提供多视角OLAT（逐光源采集）照明条件下的高动态范围图像，解决了该领域长期存在的公开高质量数据缺失问题。当前研究热点集中在基于神经渲染的物理精确重光照技术，特别是结合3D高斯泼溅（3DGS）与双向反射分布函数分解的方法，如GS3和BiGS等框架在复杂人体材质建模中展现出潜力。与此同时，光照协调技术正探索如何将扩散模型与显式光传输约束相结合，以实现真实感前景与任意背景的光照融合。数据集的应用还推动了可驱动数字人资产的研究，通过结合SMPLX参数与OLAT数据，为虚拟制作和元宇宙应用提供高保真动态人体模型。这些进展显著提升了在复杂材质交互和次表面散射等挑战性场景下的渲染质量，为电影制作、虚拟现实等工业应用提供了新的技术基准。

相关研究论文

• HumanOLAT: A Large-Scale Dataset for Full-Body Human Relighting and Novel-View Synthesis

  马克斯·普朗克计算机科学研究所,英伟达 · 2025年