data

OmniSR 数据集是一个大规模合成图像数据集，专门用于研究在直接和间接光照条件下的阴影去除任务。该数据集包含超过 30,000 对图像，每对图像包括一张带有直接和间接光照阴影的图像和一张对应的无阴影地面真实图像。数据集使用 3D-Front 和 Objaverse 3D 模型库渲染生成，涵盖了多种室内场景、物体类型和光照条件。数据组织为三个图像文件：direct_shadow.png（直接光照阴影）、indirect_shadow.png（间接光照阴影）和 shadow_free.png（无阴影地面真实图像）。数据集的主要用途是训练和评估图像阴影去除模型，特别是处理复杂光照场景的模型。由于数据集是纯合成的，模型可能需要额外的微调或领域适应技术才能很好地泛化到真实世界的照片。数据集完全由合成虚拟场景组成，不包含任何肖像、个人信息或真实世界的敏感数据。

The OmniSR dataset is a large-scale synthetic image dataset specifically designed for research on shadow removal tasks under both direct and indirect illumination conditions. This dataset contains over 30,000 image pairs, where each pair consists of an image with shadows cast by both direct and indirect illumination and a corresponding shadow-free ground-truth image. The dataset is rendered using the 3D-Front and Objaverse 3D model libraries, covering a wide range of indoor scenes, object categories, and illumination scenarios. The dataset is organized into three image files: direct_shadow.png (direct illumination shadow), indirect_shadow.png (indirect illumination shadow), and shadow_free.png (shadow-free ground-truth image). The primary purpose of this dataset is to train and evaluate image shadow removal models, especially those designed to handle complex illumination scenarios. As the dataset is purely synthetic, models may require additional fine-tuning or domain adaptation techniques to achieve good generalization to real-world photographs. The entire dataset consists of synthetic virtual scenes and does not contain any portraits, personal information, or real-world sensitive data.

原始信息汇总

OmniSR: Shadow Removal under Direct and Indirect Lighting 数据集概述

数据集基本信息

• 数据集名称： OmniSR: Shadow Removal under Direct and Indirect Lighting
• 发布日期： AAAI 2025
• 维护者： Jiamin Xu, Zelong Li, Yuxin Zheng, Chenyu Huang, Renshu Gu, Gang Xu (Hangzhou Dianzi University); Weiwei Xu (Zhejiang University)
• 许可协议： CC-BY-4.0
• 语言： 不适用（图像数据集）
• 规模： 10K<n<100K
• 标签： image-to-image, shadow-removal, synthetic-dataset, 3dfront, objaverse, aaai-2025
• 任务类别： 图像到图像

数据集摘要

本数据集是论文 “OmniSR: Shadow Removal under Direct and Indirect Lighting” (AAAI 2025) 的官方数据集。它是一个大规模合成图像数据集，专门设计用于研究在直接和间接照明条件下的阴影去除。

数据集包含超过 30,000对 图像。每对图像包含：

1. 一张包含由直接照明和间接照明造成阴影的图像。
2. 一张对应的无阴影的真实图像。

数据集使用 3D-Front 和 Objaverse 3D模型库渲染而成，涵盖了多种室内场景、物体类型和照明条件。

主要用途

• 直接用途： 主要用于训练和评估图像阴影去除模型，特别是那些旨在处理涉及直接和间接阴影的复杂照明场景的模型。
• 范围外用途： 作为一个纯合成数据集，仅在其上训练的模型可能无法完美泛化到真实世界的照片，除非采用额外的微调或领域适应技术。

数据结构

数据实例

数据按文件夹组织。一个典型的数据实例包含三个图像文件：

• direct_shadow.png
• indirect_shadow.png
• shadow_free.png

数据字段

• direct_shadow：包含直接光照阴影的图像文件路径。
• indirect_shadow：包含间接光照（例如，光线从表面反射）阴影的图像文件路径。
• shadow_free：对应的无阴影真实图像文件路径。

数据划分

完整数据集包含超过30,000对图像。有关训练、验证和测试划分的具体细节，请参阅原始论文或数据集发布中包含的划分文件。

数据集创建

数据来源

数据集通过自定义渲染流程生成，使用了两个主要的3D资产来源：

• 3D-Front (https://tianchi.aliyun.com/specials/promotion/3dfront)： 用于生成室内场景布局。
• Objaverse (https://objaverse.allenai.org/)： 用于在场景中填充多样化的3D物体。

标注信息

数据是自动生成的。阴影状态（存在/不存在）由渲染引擎的照明设置控制，因此不涉及人工手动标注。

个人与敏感信息

该数据集完全由合成的虚拟场景组成。不包含任何肖像、个人信息或现实世界的敏感数据。

偏差、风险与局限性

• 合成领域差距： 主要局限性在于其合成性质。模型可能需要适应才能在真实世界图像上表现良好。
• 场景与物体偏差： 数据集内容来源于3D-Front和Objaverse，可能无法代表真实世界物体、场景和照明条件的全部多样性。在使用数据集时应考虑这种潜在分布偏差。

使用建议

建议用户：

1. 注意合成到真实的领域差距。
2. 如果目标应用是真实世界的照片，请将该数据集与真实世界的阴影去除数据结合使用。
3. 在多样化的测试集上评估模型，以了解其泛化能力。

引用

如果在研究中使用此数据集，请引用以下论文： bibtex @inproceedings{xu2024omnisr, title={OmniSR: Shadow Removal under Direct and Indirect Lighting}, author={Xu, Jiamin and Li, Zelong and Zheng, Yuxin and Huang, Chenyu and Gu, Renshu and Xu, Weiwei and Xu, Gang}, booktitle={Proceedings of the AAAI Conference on Artificial Intelligence}, year={2025} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，阴影去除任务常受限于真实数据标注的复杂性。OmniSR数据集通过精心设计的合成渲染流程构建，其核心在于利用3D-Front库生成多样化的室内场景布局，并结合Objaverse库中丰富的三维物体模型进行场景填充。通过精确控制渲染引擎的光照设置，自动化生成了包含直接光照阴影、间接光照阴影及对应无阴影真值的三通道图像对，总计超过三万组，整个过程无需人工标注，确保了数据规模与标注精度。

使用方法

OmniSR数据集主要用于训练与评估图像阴影去除模型，尤其适用于处理包含直接与间接阴影的复杂光照场景。数据以文件路径形式组织，用户可直接加载`direct_shadow.png`、`indirect_shadow.png`及`shadow_free.png`图像对进行模型训练或性能测试。为缓解合成数据的域适应问题，建议研究者将本数据集与真实世界阴影去除数据结合使用，或在跨域测试集上验证模型的泛化能力，以推动阴影去除技术向实际应用场景的迁移。

背景与挑战

背景概述

在计算机视觉领域，阴影去除是一项旨在恢复图像中因光照遮挡而失真的区域的关键任务，对于提升场景理解与图像编辑的准确性具有深远意义。OmniSR数据集由杭州电子科技大学与浙江大学的研究团队于2025年创建，作为AAAI会议论文的配套数据资源，专注于探索在直接与间接光照复合条件下的阴影消除问题。该数据集通过整合3D-Front与Objaverse两大三维模型库，渲染生成超过三万组包含阴影及对应无阴影真值的图像对，为复杂光照场景下的模型训练与评估提供了大规模合成基准，推动了阴影去除技术向更逼真、更鲁棒的方向演进。

当前挑战

该数据集致力于解决图像阴影去除领域在复杂光照环境下的核心挑战，即如何有效区分并消除由直接光照与间接光照共同作用产生的阴影，这些阴影往往具有不同的强度、边界与颜色失真特性，增加了模型学习的难度。在构建过程中，研究团队面临合成数据与真实世界图像之间的领域鸿沟挑战，尽管利用三维渲染技术实现了精确的阴影控制，但数据集的内容受限于3D-Front与Objaverse的模型分布，可能无法完全覆盖真实场景中物体、布局与光照的多样性，导致模型泛化能力受限，需通过领域适应技术加以弥补。

常用场景

经典使用场景

在计算机视觉与图像处理领域，阴影去除技术致力于恢复图像中被阴影遮蔽区域的真实光照与纹理信息。OmniSR数据集专为研究直接与间接光照条件下的阴影去除而构建，其经典使用场景在于为深度学习模型提供大规模、高质量的合成训练数据。通过包含超过三万对带有阴影的图像及其对应的无阴影真实图像，该数据集使研究人员能够系统性地训练和评估模型在复杂光照环境下的性能，特别是在处理由间接光照（如表面反射光）产生的二次阴影时，展现出独特的价值。

解决学术问题

阴影去除研究长期面临真实标注数据稀缺且获取成本高昂的挑战，同时，间接光照产生的阴影往往被现有数据集忽略。OmniSR数据集通过基于3D-Front和Objaverse的合成渲染流程，高效生成了涵盖多样室内场景与光照条件的数据，为解决这一瓶颈提供了关键资源。它直接助力于探索更具鲁棒性的阴影去除算法，推动了对于混合光照条件下阴影形成与消除机理的建模研究，缩小了合成数据与真实场景之间的表征差距，为领域发展奠定了新的数据基础。

实际应用

在实际应用层面，高质量的阴影去除是提升计算机视觉系统性能的关键预处理步骤。基于OmniSR数据集训练的模型，可广泛应用于增强现实、虚拟试衣、自动驾驶的环境感知以及数字内容创作等领域。例如，在电子商务中，去除产品图片的阴影能显著改善视觉一致性，提升用户体验；在监控与遥感图像分析中，有效的阴影抑制有助于更准确地识别目标物体与理解场景结构，从而提高下游视觉任务的可靠性与精度。

数据集最近研究

最新研究方向

在计算机视觉领域，阴影去除技术正从单一光照条件向复杂混合照明环境演进。OmniSR数据集作为AAAI 2025的最新成果，通过融合3D-Front室内场景与Objaverse物体库，构建了包含直接与间接照明的合成图像对，为模型应对真实世界复杂光交互提供了基准。当前研究聚焦于跨域泛化能力，探索合成数据与真实图像的域适应方法，以缓解渲染数据与自然场景间的分布差异。该数据集推动了阴影建模从表象处理向物理光照理解深化，为自动驾驶、增强现实等需要精确光照感知的应用提供关键技术支撑。