Display Inverse Rendering Dataset

本数据集是首个用于显示逆向渲染的真实世界数据集，由POSTECH机构的研究人员构建和校准了一个包含LCD显示和立体偏振相机的成像系统，用于捕获具有不同几何形状和反射特性的物体，每个物体都伴随着通过结构光扫描获得的真实几何形状。数据集支持合成重新照明和噪声模拟，允许研究人员生成新的照明条件。此外，还介绍了一种简单而有效的显示逆向渲染基线方法，该方法能够有效地解决相关挑战，并优于以前的方法。该数据集的创建旨在推动基于显示的逆向渲染方法的发展和评估。This is the first real-world dataset dedicated to display inverse rendering. Researchers from POSTECH constructed and calibrated an imaging system consisting of an LCD display and a stereo polarimetric camera, which was used to capture objects with diverse geometries and reflective properties. Each captured object is paired with its ground-truth geometry acquired via structured-light scanning. The dataset supports synthetic relighting and noise simulation, enabling researchers to generate novel lighting conditions. Additionally, a simple yet effective baseline method for display inverse rendering is introduced, which effectively addresses the associated challenges and outperforms prior state-of-the-art approaches. This dataset was developed to advance the development and evaluation of display-based inverse rendering methods.

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，逆渲染技术致力于从图像中重建物体的几何形状与反射属性。Display Inverse Rendering Dataset通过构建包含LCD显示屏与立体偏振相机的成像系统，实现了对显示像素的精确校准与空间变化背光建模。数据采集采用逐点照明模式，将显示屏划分为16×9的超像素阵列，每个超像素包含240×240显示像素，通过立体偏振相机同步捕获0°、45°、90°、135°四个偏振角度的图像。系统经过几何标定与辐射度校准，建立了包含背光效应与非线性的完整成像模型，最终获取了16类不同材质物体的多视角偏振图像序列。

特点

该数据集在显示-相机逆渲染领域具有开创性价值，其核心特征体现在多维度数据完整性。数据集涵盖树脂、陶瓷、金属漆等16类具有不同反射特性的真实物体，每个样本均配备通过结构光扫描获得的高精度几何真值，包括深度图、法线图与物体掩码。独特的偏振成像技术实现了漫反射与镜面反射分量的光学分离，为材质分析提供了物理基础。数据集支持任意显示模式的图像合成，通过线性组合逐点照明图像可模拟复杂光照条件，并允许调整高斯噪声水平以评估算法鲁棒性。这种设计使得数据集能够全面评估近场光照、有限角度采样等显示逆渲染特有的挑战。

使用方法

该数据集为显示逆渲染研究提供了标准化评估框架。研究者可通过加载逐点照明图像序列与几何真值数据，训练或测试逆渲染算法在近场光照条件下的性能。数据集支持两种典型使用模式：基于144个逐点照明图像的完整重建，或采用多路复用显示模式的高效捕获。利用提供的图像形成模型，可合成任意显示模式下的渲染结果，并通过调整噪声参数验证算法稳定性。评估流程包含法线重建精度、重光照质量等指标计算，配套的基线方法展示了基于基函数BRDF表示的有效优化策略，为后续研究提供了可复现的参照基准。

背景与挑战

背景概述

显示逆向渲染数据集由浦项科技大学与Meta研究团队于2025年联合发布，标志着首个面向显示-相机系统的真实世界逆向渲染基准。该数据集通过构建包含LCD显示屏与立体偏振相机的精密成像系统，针对几何与反射率重建这一计算机视觉核心问题，采集了涵盖陶瓷、金属、木材等16类材质的物体在单光源序列照明模式下的多视角数据。其创新性在于利用显示屏像素级可编程光源特性与液晶偏振发光优势，填补了传统光场设备与显示系统间的数据空白，为近场光照条件下的材质建模研究提供了关键支撑。

当前挑战

该数据集致力于解决显示逆向渲染中几何与反射率联合重建的复杂性问题，核心挑战包括近场光照引起的辐射度衰减建模、有限光视角采样导致的反射函数欠约束优化，以及显示屏背光非线性与空间变异性的校准难题。构建过程中需克服液晶显示偏振特性与相机响应的跨设备标定、高精度结构光扫描与图像对齐的误差控制，以及在低信噪比条件下保持漫反射-镜面反射分离数据质量的工程挑战。

常用场景

经典使用场景

在计算机视觉与图形学领域，逆渲染技术致力于从图像中恢复物体的几何结构与反射属性。Display Inverse Rendering Dataset作为首个基于显示-相机系统的真实世界数据集，其经典应用场景集中于评估和开发显示环境下的逆渲染方法。该数据集通过液晶显示器作为可编程点光源，结合立体偏振相机捕获多物体在单光源时序照明模式下的图像，为研究复杂材质表面的光照交互提供了标准化实验平台。

实际应用

在工业设计与数字内容创作领域，该数据集为高保真物体数字化提供了实用工具。其显示的偏振成像能力可应用于电子产品表面质检，通过分离漫反射与镜面反射成分精准检测涂层缺陷。在文化遗产数字化中，能够对青铜、陶瓷等非朗伯体文物进行几何与材质联合重建，而近场光照模拟功能则为虚拟试妆、电商商品三维展示等应用提供了真实的光照一致性保障。

衍生相关工作

该数据集催生了多项显示逆渲染领域的创新研究。基于其提供的多模式数据，学者们开发了针对显示背光补偿的微分渲染基线方法，显著提升了SDM-UniPS等光度立体算法的重建精度。后续工作进一步探索了复用显示模式优化策略，推动DDPS等学习型照明模式生成技术的发展。这些衍生研究共同构建了显示-相机系统逆渲染的理论框架与工具链。