abo

ABO material-intrinsics WebDataset 是一个基于 Amazon Berkeley Objects (ABO) 数据集构建的、专注于材质本征属性估计的多视角多光照图像数据集。该数据集旨在为图像到图像任务提供支持，特别是本征图像分解和材质估计（如反照率、粗糙度、金属度等）。数据来源于 ABO 数据集，并转换为与 IDArb 兼容的格式。数据集采用 WebDataset 格式组织，每个样本是一个压缩的 NPZ 文件，包含以下字段：RGB 图像 (`rgb`)、反照率 (`albedo`)、粗糙度 (`roughness`)、金属度 (`metallic`)、法线贴图 (`normal`)、对象掩码 (`mask`)、深度图 (`depth`) 以及包含元数据的 JSON (`meta_json`)。在转换过程中，源数据中的材质通道、相机约定、法线轴、掩码和背景合成已进行归一化处理。初步发布的烟雾测试分片 (`smoke/shard-000000.tar`) 包含 10 个完整对象，每个对象具有 91 个视角和 3 种环境光照条件，作为验证工件。完整生产版本计划包含 500 个独立对象（除余数外），相关清单和校验记录保存在 `manifests/` 目录下。数据集遵循 CC BY 4.0 许可证，使用时需注明数据来自 Amazon.com 并引用 ABO 的 CVPR 2022 论文。ABO material-intrinsics WebDataset is a multi-view, multi-lighting image dataset developed based on the Amazon Berkeley Objects (ABO) dataset, with a focus on material intrinsic property estimation. This dataset is designed to facilitate image-to-image tasks, particularly intrinsic image decomposition and material estimation (e.g., albedo, roughness, metallic, etc.). The data is sourced from the original ABO dataset and converted to a format compatible with IDArb. The dataset is structured in WebDataset format, where each sample is a compressed NPZ file containing the following fields: RGB image (`rgb`), albedo (`albedo`), roughness (`roughness`), metallic (`metallic`), normal map (`normal`), object mask (`mask`), depth map (`depth`), and a JSON file holding metadata (`meta_json`). During the conversion pipeline, the material channels, camera coordinate conventions, normal axis orientations, masks, and background compositing from the source data have been normalized. The initially released smoke test shard (`smoke/shard-000000.tar`) includes 10 complete objects, each with 91 viewpoints and 3 environmental lighting conditions, acting as a validation artifact. The full production release is scheduled to contain 500 independent objects (excluding residual portions), with relevant manifests and checksum records stored in the `manifests/` directory. This dataset is licensed under CC BY 4.0, and users must acknowledge that the data originates from Amazon.com and cite the CVPR 2022 paper associated with the ABO dataset.

原始信息汇总

数据集概述：ABO material-intrinsics WebDataset

• 许可协议：CC BY 4.0
• 任务类别：图像到图像（image-to-image）
• 标签：WebDataset、内在图像分解、材质估计、多视角、多光照

数据集内容

• 初步发布版（smoke shard）包含 10 个完整物体，每个物体有 91 个视角 和 3 种环境光照。
• 每个 tar 成员为一个压缩的 NPZ 文件，包含以下通道：
  • rgb（彩色图像）
  • albedo（反照率）
  • roughness（粗糙度）
  • metallic（金属度）
  • normal（法线）
  • mask（掩码）
  • depth（深度）
  • meta_json（元数据 JSON）

数据来源与处理

• 原始数据来源：Amazon Berkeley Objects (ABO)
• 转换过程中对以下方面进行了标准化：
  • 材质通道
  • 相机约定
  • 法线轴向
  • 掩码
  • 背景合成

使用与引用

• 使用数据时需注明亚马逊公司（Amazon.com）的版权。
• 引用时需引用 ABO 的 CVPR 2022 论文。

文件结构

• 生产版发布正在推进中。
• 根目录下的 shard-*.tar 文件除最后一个剩余文件外，每个包含 500 个唯一物体。
• 对应的溯源和 SHA-256 记录位于 manifests/ 目录。
• smoke/shard-000000.tar 是独立验证的验证工件。

搜集汇总

数据集介绍

构建方式

ABO material-intrinsics WebDataset 基于 Amazon Berkeley Objects 数据集构建，采用 IDArb 兼容的渲染管线对原始三维物体进行多视角与多光照环境的材质渲染转换。每个物体包含 91 个视图和三种环境光照明，数据以 WebDataset 格式打包为 tar 文件，每个 tar 成员存储为压缩的 NPZ 文件，内含 RGB、albedo、roughness、metallic、normal、mask、depth 及 meta_json 等通道。为确保一致性，构建过程对源材质通道、相机约定、法线轴向、掩码及背景合成进行了归一化处理。

特点

该数据集的核心特点在于提供了高质量的材质内在属性分解数据，涵盖完整的多视角与多光照环境下的一致性渲染结果。每个样本包含丰富的物理材质通道，支持金属度、粗糙度、法线等属性的估计与验证。数据集组织为标准的 WebDataset 格式，便于大规模分布式加载与训练，且附带 SHA-256 校验清单，确保数据完整性与可追溯性。此外，smoke 子集包含 10 个完整物体，可作为独立验证的基准。

使用方法

使用时，可通过 WebDataset 库直接读取 tar 文件中的 NPZ 压缩数据，解压后得到各材质通道数组。数据集的根目录包含 smoke 子集用于快速测试与验证，以及 root 子集包含完整 500 个物体的分片 tar 文件，可通过 manifests 目录下的校验清单定位并验证数据来源。建议在图像到图像转换、内在图像分解、材质估计等任务中，基于多视角与多光照数据训练模型，并引用原始的 ABO CVPR 2022 论文以遵循 CC BY 4.0 许可要求。

背景与挑战

背景概述

Amazon Berkeley Objects（ABO）数据集由Amazon.com在CVPR 2022上首次提出，旨在为多视图、多光照条件下的材质估计与内在图像分解研究提供标准化资源。该数据集涵盖数千个真实物体的高精度三维扫描与渲染数据，包括RGB图像、反照率、粗糙度、金属度、法线、深度及掩膜等关键通道。通过统一的材质管线转换与规范化处理，ABO显著推动了计算机视觉领域在材质感知、光照鲁棒性及逆向渲染等方面的进展，成为评估内在图像分解算法的重要基准。其开放共享的CC BY 4.0许可协议进一步促进了学术与工业界的广泛协作。

当前挑战

ABO数据集面临的主要挑战包括：首先，从真实物体扫描中提取的材质属性常存在多义性，如反照率与阴影的分离、非朗伯表面的建模等，这要求算法具备物理启发的光照与几何解耦能力。其次，构建过程中需处理不同传感器与渲染引擎间的色彩空间、法线轴向及背景合成等差异，保证数据一致性需复杂的归一化流程。此外，多视图下视点与光照条件的变化加剧了材质估计的歧义性，现有模型往往难以泛化至未见光照或纹理分布，限制了其在开放场景中的鲁棒应用。

常用场景

经典使用场景

ABO（Amazon Berkeley Objects）数据集在计算机视觉领域中被广泛用于材质估计与内在图像分解任务。该数据集提供了多视角、多光照条件下的高保真渲染图像，包含RGB、反照率、粗糙度、金属度、法线、遮罩、深度及元数据等完整通道信息，为从单张或少量图像中分离材质属性与几何结构提供了理想基准。研究人员常利用其规范化的相机坐标系与光照环境，训练和评估模型在复杂光照和视角变化下的泛化能力，推动了无监督或半监督分解方法的进步。

解决学术问题

ABO数据集有效解决了真实世界中材质标注稀缺、多模态数据难以对齐的学术难题。传统内在图像分解研究多依赖合成数据，缺乏真实感与多样性，而ABO基于真实物体扫描，提供了精确的材质本征属性与多视图一致性。它促进了算法在去除光照影响后的反照率恢复、金属与非金属材质区分、粗糙度估计等细分方向的定量评估，并为联合学习深度、法线与材质提供了标尺。这一数据集的开放，显著降低了社区在数据准备上的重复劳动，加速了可复现性研究。

衍生相关工作

基于ABO数据集，学术界涌现了一批经典工作，如IntrinsicDiffusion利用扩散模型在ABO上实现了高保真的内在图像分解，显著提升了粗糙度与金属度的预测精度；多视图材质恢复网络（MV-MR）借助ABO的多视角特性，提出了跨视角材质特征融合架构。此外，ABO还被作为Intrinsic-3D Challenge的基准数据集，催生了如Deep Inverse Rendering与MaterialGAN等代表性方法。这些工作不仅验证了ABO在标准化评估中的价值，更推动了材质估计社区从实验室场景走向真实世界泛化能力的突破。