OLATverse

OLATverse是一个大规模的真实世界物体数据集，包含约9M张765个物体的图像，这些图像是从多个视角在不同精确控制的光照条件下捕获的。该数据集旨在解决当前物体中心逆渲染、新视角合成和重新照明技术主要依赖合成数据集训练和小型真实世界数据集进行基准测试的问题，这些方法在现实世界场景中的现实性和泛化能力有限。OLATverse提供了两个关键优势：大规模的真实物体覆盖和高保真度外观，每个物体都使用35台校准的DSLR相机和331个独立控制的光源进行捕获，能够模拟各种照明条件。此外，还为每个物体提供了校准的相机参数、精确的对象掩码、光度表面法线和漫反射反照率作为辅助资源。我们相信OLATverse代表了将下一代逆渲染和重新照明方法与真实世界数据相结合的重要一步。

OLATverse is a large-scale real-world object dataset containing approximately 9 million images of 765 distinct objects, captured from multiple viewpoints under precisely controlled varying lighting conditions. This dataset addresses a critical limitation in current object-centric inverse rendering, novel view synthesis, and relighting techniques, which primarily rely on synthetic datasets for training and small-scale real-world datasets for benchmarking, resulting in limited realism and generalization performance in real-world scenarios. OLATverse offers two key advantages: large-scale coverage of real-world objects and high-fidelity appearance. Each object is captured using 35 calibrated DSLR cameras and 331 independently controlled light sources, enabling the simulation of diverse lighting conditions. Additionally, calibrated camera parameters, accurate object masks, photometric surface normals, and diffuse albedo are provided as auxiliary resources for each object. We believe OLATverse represents a significant step toward integrating next-generation inverse rendering and relighting methods with real-world data.

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，高保真实世界对象数据集的构建一直是推动逆渲染与重光照技术发展的关键。OLATverse数据集的构建依托于精密的光照舞台系统，该系统配备了35台经过严格校准的DSLR相机与331个独立可控的LED光源，能够模拟包括均匀光照、单光源照明、环境光照及梯度光照在内的多样化照明条件。每个对象在多个视角下被同步捕获，通过半自动掩码处理流程提取高质量对象分割结果，并利用偏振梯度照明技术恢复表面法线与漫反射反照率，最终形成包含约900万张高分辨率图像的大规模数据集。

特点

OLATverse数据集在真实对象捕获领域具有显著优势，其覆盖了765个真实世界对象，涵盖木材、金属、陶瓷等13种材料类别，并包含18.5%的LVIS对象类别，从常见到罕见对象均有所涉及。每个对象在35个视角下被捕获，支持331种单光源照明条件，能够精确模拟复杂的光传输现象。此外，数据集还提供了相机参数、对象掩码、表面法线及漫反射反照率等多模态辅助数据，为逆渲染、法线估计等任务提供了全面的真实世界基准。

使用方法

该数据集的应用广泛覆盖计算机视觉与图形学的多个核心任务。基于光传输的线性特性，用户可通过组合单光源图像合成任意新照明条件下的重光照结果，为生成式先验提供大规模训练数据。在评估方面，数据集包含42个对象的验证子集，支持逆渲染、视图合成及法线估计等任务的基准测试。研究者可利用提供的相机参数与照明条件，对多视角图像进行三维重建与材质分析，推动数据驱动方法与真实世界数据的深度融合。

背景与挑战

背景概述

计算机视觉与图形学领域长期致力于通过逆向渲染与重光照技术，从多视角图像中恢复物体的几何与材质属性。然而，现有方法多依赖合成数据或小规模真实数据集，限制了模型在真实场景中的泛化能力。为此，马克斯·普朗克信息学研究所与南京大学于2025年联合发布了OLATverse数据集，涵盖765个真实物体在精确光照控制下采集的约900万张图像。该数据集通过光舞台系统实现多视角与单光源独立照明，为核心研究问题——如物体逆向渲染、新视角合成与材质分析——提供了大规模高保真数据支持，显著推动了真实场景下三维视觉技术的发展。

当前挑战

OLATverse致力于解决真实物体逆向渲染与重光照任务中的核心挑战：一是合成数据与真实场景间的领域差异导致模型泛化能力不足，二是缺乏兼具大规模与高精度光照控制的真实数据集。在构建过程中，团队面临多重技术难题：大规模物体采集需克服相机参数校准的稳定性问题，针对不同材质与尺寸的物体需设计自适应光照策略；此外，高精度物体分割与表面法向提取需融合多种分割算法并应对非朗伯体表面的反射干扰，这些挑战均通过半自动流程与偏振梯度光照技术得以系统化解决。

常用场景

经典使用场景

在计算机视觉与图形学领域，OLATverse数据集凭借其精确的光照控制和多视角采集特性，成为逆向渲染研究的理想基准平台。该数据集通过331个独立控制光源和35个相机视角，构建了真实物体在可控光照下的完整外观表征，为分析光线与物体表面的复杂交互提供了前所未有的实验条件。研究人员可利用其OLAT（逐光源采集）模式，系统研究不同材质在特定光照条件下的反射特性，推动基于物理的渲染技术向真实世界场景的深度拓展。

解决学术问题

OLATverse有效解决了计算机视觉领域长期存在的真实数据匮乏与合成数据域差异问题。传统方法因缺乏大规模真实世界标注数据，难以准确评估逆向渲染算法在真实场景中的性能。该数据集通过提供精确的相机参数、物体掩码、表面法线和漫反射率等辅助数据，为材质属性估计、光照分解等核心问题建立了可靠的监督信号。其涵盖13种材质类别和765个真实物体的规模优势，显著提升了算法在复杂材质和几何结构上的泛化能力。

衍生相关工作

基于OLATverse的基准特性，已催生多项创新性研究工作的涌现。在逆向渲染方向，GS³方法通过三重高斯溅射实现了高效重光照，在数据集验证中展现出优越的镜面反射捕捉能力。扩散模型相关研究如StableNormal和GeoWizard利用数据集提供的法线监督，推动了单图像几何估计技术的进步。同时，Neural Gaffer等生成式重光照方法通过微调预训练模型，展示了将先验知识与真实数据融合的潜力，为下一代视觉内容创作工具的开发奠定了基础。