π-Light Dataset

π-Light数据集由南洋理工大学S实验室与腾讯联合构建，专为全图像重光照任务设计，包含从Objaverse筛选的10,000个具有BRDF材质属性的3D对象，每个对象在10种视角和10种光照条件下渲染，总计生成百万级图像。数据通过BlenderProc工具生成，采用Poly Haven的700余种HDRI环境贴图进行光照模拟，并创新性地使用前半球灰球表示光照条件以提升控制精度。该数据集支持物理逆向渲染与神经前向渲染的联合训练，解决了传统方法在材质一致性、光照控制及跨场景泛化方面的瓶颈，为影视特效、增强现实等领域的可控重光照研究提供了关键基准资源。π-Light Dataset is co-developed by the S-Lab at Nanyang Technological University (NTU) and Tencent, specifically designed for the full-image relighting task. It contains 10,000 3D objects with BRDF material properties selected from Objaverse. Each object is rendered under 10 viewing perspectives and 10 lighting conditions, generating a total of millions of images. The dataset is generated using the BlenderProc toolkit, adopts over 700 HDRI environment maps from Poly Haven for lighting simulation, and innovatively uses the front-hemisphere gray sphere to represent lighting conditions to improve control accuracy. This dataset supports joint training of physics-based inverse rendering and neural forward rendering, addressing the bottlenecks of traditional methods in material consistency, lighting control and cross-scene generalization, providing a critical benchmark resource for controllable relighting research in fields such as visual effects and augmented reality.

原始信息汇总

PI-Light 数据集概述

基本信息

• 数据集名称：PI-Light: Physics-Inspired Diffusion for Full-Image Relighting
• 相关论文状态：已接受至ICLR 2026
• 论文预印本：https://arxiv.org/abs/2601.22135
• 代码发布状态：代码将于三月发布

作者与机构

• 作者：Zhexin Liang (第一作者), Zhaoxi Chen, Yongwei Chen, Tianyi Wei, Tengfei Wang, Xingang Pan
• 所属机构：
  • S-Lab, Nanyang Technological University
  • Tencent

核心内容

• 研究主题：基于物理启发的扩散模型，用于全图像重照明任务。

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，高质量数据集的构建是推动图像重光照技术发展的基石。π-Light数据集的构建过程体现了对物理真实性与多样性的双重追求。该数据集通过精心筛选来自Objaverse的超过10,000个具有BRDF材质属性的三维物体，以及从BlenderKit中手工整理的300个室内外场景，确保了数据在物体与场景层面的丰富性。利用Blender渲染引擎，每个物体在10种不同视角与10种可控光照条件下进行渲染，生成对应的RGB图像及其本征属性（反照率、法线、粗糙度、金属度）真值。特别地，光照条件采用前半球灰度球的环境映射表示，有效避免了自发光物体与内置光源的干扰，为模型提供了精确且直观的光照控制信号。

特点

π-Light数据集的核心特点在于其深度融合了物理启发式建模与大规模多样化数据。数据集不仅涵盖了广泛的材质类型与场景构成，还通过基于物理的渲染流程确保了光照传输的物理合理性。其独特的光照表示方法——仅使用前半球环境映射，使得光照控制更为精准，同时保持了背景的一致性。此外，数据集提供了详尽的物体与场景掩码，标识了非Principled BRDF渲染区域，为训练过程中的损失计算提供了可靠的监督信息。这些特性共同赋予了数据集强大的泛化能力，能够支持模型在真实世界图像编辑任务中实现物理一致的高质量重光照效果。

使用方法

π-Light数据集的设计旨在支持两阶段扩散模型框架的训练与评估。在第一阶段，即逆向神经渲染阶段，数据集提供的RGB图像与本征属性真值可用于训练模型，使其能够从单张图像中同时分解出反照率、法线、粗糙度与金属度等多个物理属性。在第二阶段，即神经前向渲染阶段，数据集的光照条件与本征属性作为输入，引导模型根据目标光照生成重光照图像及其对应的漫反射与高光分量。研究人员可通过加载预训练的扩散模型权重，并利用该数据集进行微调，以实现在多样化物体与场景上的全图像重光照。此外，数据集的测试划分（如Object50与Scene200）为下游任务的性能评估提供了标准化基准。

背景与挑战

背景概述

π-Light数据集由新加坡南洋理工大学S-Lab与腾讯的研究团队于2026年提出，旨在解决全图像重光照这一计算机视觉与图形学领域的核心难题。该数据集围绕物理启发的扩散模型构建，通过精心构建的物体与场景数据，支持从图像内在分解到神经前向渲染的两阶段框架。其核心研究问题在于克服数据驱动方法在物理合理性与泛化能力上的局限，为可控、逼真的全场景光照编辑提供基准。该数据集的发布显著推动了神经渲染与图像编辑技术的发展，为电影制作、增强现实等应用提供了关键数据支撑。

当前挑战

π-Light数据集致力于解决全图像重光照任务的多重挑战。在领域问题层面，主要挑战包括：获取多样化且复杂照明条件下的高质量配对数据极为困难；确保生成结果符合光传输物理原理，避免违反基本光照约束；以及克服数据驱动先验的局限性，提升模型对未知材料、光照条件与真实场景构成的泛化能力。在构建过程中，挑战体现在：需从Objaverse和BlenderKit等源中筛选并渲染具有丰富材质信息的物体与场景；为透明或半透明材料准确提取本质属性面临技术障碍；设计仅利用前半球灰度球的光照表示以消除自发光物体干扰，同时保持背景一致性。

常用场景

经典使用场景

在计算机视觉与图形学领域，π-Light数据集为全图像重光照任务提供了关键支持。该数据集通过精心构建的物体与场景样本，在受控光照条件下捕获了丰富的材质与照明变化，为基于物理的渲染研究奠定了数据基础。其经典使用场景集中于训练和评估扩散模型驱动的神经渲染框架，通过两阶段流程实现图像内在分解与神经前向渲染，从而生成物理可信的重光照结果。数据集中的多样化样本使得模型能够学习复杂的光照传输规律，并在合成与真实场景之间实现优异的泛化性能。

解决学术问题

π-Light数据集有效应对了全图像重光照研究中的三大核心挑战：大规模配对数据稀缺、物理合理性难以保证以及数据驱动先验的泛化局限。通过提供包含多种物体与场景、在受控光照下渲染的高质量数据，该数据集支持监督学习与系统评估，为基于物理的逆渲染与正向渲染任务提供了可靠基准。其引入的物理启发损失与光照表示方法，促进了模型对光传输原理的遵循，显著提升了重光照结果的精确性与可控性，推动了神经渲染技术向物理可解释方向的发展。

衍生相关工作

π-Light数据集衍生了一系列经典研究工作，尤其在神经渲染与图像重光照方向产生了深远影响。其两阶段框架设计启发了后续对扩散模型在物理渲染中应用的探索，如基于注意力机制的批量感知预测与物理引导的神经渲染模块。相关研究进一步拓展了光照表示方法、材质估计精度以及跨域泛化能力，推动了如RGB↔X、Neural Gaffer等方法的发展。这些工作共同深化了对图像内在分解与可控重光照的理解，形成了该领域持续演进的技术脉络。