PBR-Rooms

PBR-Rooms 是一个大规模合成的室内基准数据集，旨在基于物理渲染（PBR）的真实数据评估多通道逆向渲染。数据集包含1,000个程序生成的室内场景，涵盖五种房间类型：浴室、卧室、餐厅、厨房和客厅。共提供39,000张分辨率为1280×720的渲染RGB图像，其中24,000张为视角变化图像，15,000张为光照变化图像。每张RGB图像均配有像素对齐的真实通道：深度、表面法线、反照率、粗糙度、金属度和语义分割。PBR-Rooms 主要用于评估专用逆向渲染模型与通用视觉语言或图像生成模型的性能，支持在相机视角和光照变化下的受控分析。数据集采用CC BY-NC 4.0许可，适用于学术研究和非商业基准测试。

原始信息汇总

数据集名称

PBR-Rooms

数据集概述

PBR-Rooms 是一个大规模合成室内场景基准数据集，专为评估基于物理渲染（PBR）的逆渲染任务而设计。它包含 1,000 个程序化生成的室内场景，涵盖 5 个房间类别：浴室、卧室、餐厅、厨房和客厅。完整版本提供 39,000 张 1280×720 分辨率的 RGB 图像，其中包括 24,000 张视角变化图像和 15,000 张光照变化图像。

每张 RGB 图像都配有多通道像素对齐的真实标注，包括深度、表面法线、反照率、粗糙度、金属度和语义分割。数据集特别强调了 PBR 完整监督和可靠的材质标注，尤其关注金属度预测。

核心用途

• 逆渲染评估：主要作为评估数据集，用于比较专用逆渲染模型与通用视觉语言或图像生成模型。
• 任务支持：支持 RGB 到深度、表面法线、反照率、粗糙度、金属度的单通道预测，以及多通道联合逆渲染任务。
• 可控分析：支持在可控的视角和光照变化下分析模型预测的鲁棒性。

数据集构成

属性	数值
场景数量	1,000
渲染 RGB 图像	39,000
分辨率	1280 × 720
房间类别	5 类（每类 200 场景，7,800 图像）
视角变化图像	24,000
光照变化图像	15,000
标注通道	RGB、深度、表面法线、反照率、粗糙度、金属度、语义分割

模态详情

模态	描述	可用性
RGB	渲染的室内图像	100%
深度	以米为单位的度量深度	100%
表面法线	相机空间表面法线	100%
反照率	固有基色 / 漫反射率	100%
粗糙度	PBR 粗糙度，范围 [0, 1]	100%
金属度	PBR 金属度，范围 [0, 1]	100%
语义分割	语义分割图	100%

金属度统计

• 平均金属度值：0.0229
• 金属度 > 0.05 像素比率：4.94%
• 金属度 > 0.50 像素比率：0.83%
• 厨房类别的金属覆盖率最高（金属度 > 0.05 像素占 11.12%，成像覆盖率 > 1% 的图像占 33.31%）

基准测试划分与采样

• 主测试集（mainaxis）：每类 8 个场景，共 40 个场景，960 张图像（每场景 24 个视角）。
• 压力测试集（stresstest）：每类 5 个场景，共 25 个场景，450 张图像（每场景 3 个相机 × 6 种光照）。
• 总计：65 个场景，1,410 张图像。

评估指标

• 深度：AbsRel-AI, RMSE-AI, MAE-AI, δ1-AI, δ2-AI, Boundary F1
• 表面法线：平均角度误差、中位数角度误差、Acc@11.25°、Acc@22.5°、Acc@30°
• 反照率：MAE, PSNR, SSIM, LPIPS
• 粗糙度：RMSE, MAE, SSIM, PSNR
• 金属度：MAE, PSNR, SSIM, LPIPS

数据集结构

• 组织方式：按房间类别 → 场景实例 → 渲染条件 → 模态 → 相机分层存放。
• 文件格式：官方数值型标注优先使用 .exr 或 .npy，PNG 仅用于可视化。
• 提供 review_sample/ 目录用于快速检查小样本。
• 基准测试划分文件位于 splits/scene_anonymous.csv。

使用方式

• 下载：通过 Hugging Face CLI 下载，支持按类别筛选。
• 加载示例：使用 imageio 和 numpy 读取 RGB 和 EXR 格式的深度/金属度文件。

许可证

• 数据集：CC BY-NC 4.0（学术研究与非商业用途）。
• 评估代码：MIT 许可证（单独发布）。

搜集汇总

数据集介绍

构建方式

PBR-Rooms是一个基于程序化室内场景生成与渲染管线构建的大规模合成室内基准数据集。其构建流程依托于Infinigen框架，通过算法自动生成涵盖浴室、卧室、餐厅、厨房和客厅五种类型的1000个室内场景，并为每个场景赋予符合物理规律的PBR材质属性。随后，管线在1280×720分辨率下渲染出39000张RGB图像，其中包含24000张视角变化图像与15000张光照变化图像，并同步导出与RGB图像像素级对齐的深度、表面法向、反照率、粗糙度、金属度及语义分割等多通道真值数据。场景经过有效性过滤与通道完整性检查，剔除了无效场景，确保用于基准测试的数据质量可靠。

使用方法

使用PBR-Rooms时，首先需通过Hugging Face CLI下载数据集，可按类别选择性下载压缩包并解压。加载时，使用imageio库读取指定场景目录下的各通道文件，其中深度、法向、反照率、粗糙度和金属度等数值型真值推荐采用EXR或NPY格式，以保留完整的浮点精度，而PNG格式主要用于可视化预览。评估时，所有预测结果需统一缩放到1280×720分辨率，并依据评估代码实现像素匹配与度量计算。深度评估采用仿射不变性对齐协议，法向评估需转换为相机空间约定，粗糙度与金属度则需将输出归一化至[0,1]区间。最终，按照推荐的标准场景划分与图像列表进行评测，确保结果的可比性与复现性。

背景与挑战

背景概述

PBR-Rooms是由匿名研究团队面向NeurIPS Evaluations & Datasets会议提交的合成室内场景基准数据集，创建于2024年。该数据集基于Infinigen程序化生成管线构建，包含1000个覆盖浴室、卧室、餐厅、厨房和客厅五类场景的室内环境，共渲染出39,000张1280×720高分辨率RGB图像。每张图像均伴随像素级对齐的深度、表面法向、反照率、粗糙度、金属度和语义分割等多通道物理真实感渲染（PBR）真值。其核心研究问题在于评估逆渲染模型能否从RGB图像中同时恢复场景几何与PBR材质属性，尤其针对金属度预测这一稀疏且具有挑战性的任务。PBR-Rooms提供了可控的视角与光照变化子集，可系统分析模型在不同条件下的鲁棒性，填补了现有室内逆向渲染基准在PBR完整标注和金属度监督方面的不足。

当前挑战

PBR-Rooms所应对的领域核心挑战在于逆渲染任务的多通道联合恢复：传统室内基准往往仅提供几何或部分材质信息，缺乏对PBR属性（特别是金属度）的完整标注，导致模型在区分电介质与金属材质时表现欠佳。数据构建同样面临多重挑战：程序化生成场景需确保材质分配的真实性与多样性，金属区域在室内场景中天然稀疏（平均金属度仅0.0229，超过0.5的像素占比不足1%），需要精细的场景设计以提供足量的非平凡金属监督；渲染管线需保证几何、材质与语义标注的像素级严格对齐；此外，1,000个场景的过滤筛选与有效性验证对计算资源与质量控制提出了极高要求。

常用场景

经典使用场景

PBR-Rooms作为面向物理真实感渲染的室内场景逆渲染评估基准，其最经典的使用场景在于为多通道逆渲染模型提供全监督的定量评测平台。研究者可基于该数据集开展RGB图像到几何与材质属性的联合解码任务，具体涵盖深度估计、表面法向预测、反照率恢复、粗糙度与金属度反演等核心子任务。数据集通过程序化生成涵盖浴室、卧室、餐厅、厨房及客厅五种典型室内场景，共1000个独立场景与39000张1280×720分辨率的高质量渲染图像，每一帧均配准了深度、法向、反照率、粗糙度、金属度及语义分割六类像素级真值标注，为评估模型在可控光照与视角变化下对物理材质属性的解耦能力提供了不可或缺的标准化测试平台。

解决学术问题

该数据集着力解决了当前逆渲染学术研究中两大关键瓶颈：一是缺乏同时提供完整PBR材质参数与几何标注的大规模室内场景基准，二是现有合成数据集在金属材质标注上普遍存在稀疏性与模糊性问题。PBR-Rooms通过高保真的物理渲染管线输出逐像素准确的粗糙度与金属度数值，尤其强化了厨房等高金属覆盖率场景的标注质量，为验证模型能否从单张RGB图像中可靠解译出材质固有属性与几何结构提供了量化依据。数据集所引入的仿射不变深度评估协议与多通道联合评价体系，有效推动了算法在室内场景几何与材质联合反演任务上的发展，为衡量大模型在底层视觉任务中的物理感知能力奠定了坚实的评测基础。

实际应用

在实际应用层面，PBR-Rooms为智能家居空间理解、增强现实场景重建、以及影视级虚拟内容创作等下游任务提供了算法验证的黄金标准。室内场景的材质属性精确恢复直接关系到虚拟物体在真实环境中的光照一致性渲染，该数据集能够有效筛选出具备物理合理预测能力的逆渲染模型，从而赋能AR设备实现更为逼真的光照估计与材质替换效果。此外，PBR-Rooms在机器人自主导航中的环境感知环节也具有潜在价值，通过支持对表面粗糙度与金属度的预测，有助于机器人系统更准确地识别反射性表面与光滑材质的物理边界，提升避障与抓取操作的安全性与鲁棒性。

数据集最近研究

最新研究方向

PBR-Rooms作为首个面向物理渲染完备室内场景的逆渲染评估基准，当前研究前沿聚焦于其在多通道逆渲染任务中的评测能力。该数据集通过提供像素级对齐的深度、表面法向、反照率、粗糙度及金属度等PBR材料属性真值，为难解金属区域预测这一长期痛点提供了可靠监督。研究热点在于利用其39,000张高分辨率图像与可控的视点及光照变化，系统性评估通用视觉语言模型与图像生成模型是否能输出具备物理意义的几何与材质分解结果。其影响在于填补了现有室内逆渲染基准中PBR材料标注稀疏或歧义的缺口，为比较专用逆渲染模型与多模态基础模型在材质理解上的进展建立了标准化测试平台，推动合成数据向真实场景泛化研究的纵深发展。