WeatherSynthetic

合成数据集可在Hugging Face上下载：[GilgameshYX/WeatherSynthetic](https://huggingface.co/datasets/GilgameshYX/WeatherSynthetic)。数据集包含多种天气类型，如晴天、雨天、雾天、雪天、阴天、夜晚、清晨、暴雨、沙尘暴等。文件结构包括场景名称、图像路径、提示信息以及不同城市的图像和属性文件。

The synthetic dataset can be downloaded from Hugging Face: [GilgameshYX/WeatherSynthetic](https://huggingface.co/datasets/GilgameshYX/WeatherSynthetic). The dataset includes a wide range of weather types, such as sunny days, rainy days, foggy days, snowy days, overcast days, nighttime, early morning, heavy rain, sandstorms, and so on. Its file structure covers scene names, image paths, prompt information, as well as image and attribute files for different cities.

原始信息汇总

IntrinsicWeather 数据集概述

数据集基本信息

• 数据集名称：WeatherSynthetic
• 数据集地址：https://huggingface.co/datasets/GilgameshYX/WeatherSynthetic
• 数据集类型：合成数据集

数据集内容与结构

数据内容

• 包含多种天气条件下的合成场景图像及其对应的本征属性图。
• 天气类型：包括 sunny（晴朗）、rainy（雨天）、foggy（雾天）、snowy（雪天）、overcast（阴天）、night（夜晚）、early_morning（清晨）、rain_storm（暴雨）、sand_storm（沙尘暴）等。

目录结构

数据集下载后的本地目录结构如下（假设本地目录名为 WeatherSynthetic_dataset）：

WeatherSynthetic_dataset/ ├── scene.txt # 每行一个场景名称 ├── prompt.json # 图像路径到文本提示的映射（部分工作流可选） ├── Modern_city/ # 现代城市场景 │ ├── image/{weather}/ # 存放特定天气的图像文件：{id}_image.exr, {id}_irradiance.exr │ └── property/ # 存放场景属性图：反照率（albedo）、法线（normal）、粗糙度（roughness）、金属度（metallic） ├── Small_city/ # 小城市场景 └── ... # 其他场景

数据处理与使用

下载方式

可通过以下命令从 Hugging Face 下载数据集： bash hf download --repo-type dataset GilgameshYX/WeatherSynthetic --local-dir WeatherSynthetic_dataset

可视化工具

提供辅助脚本用于加载和可视化 RGB 图像及本征属性图： bash python -m data.WeatherSynthetic

相关模型

本数据集用于支持 IntrinsicWeather 项目中的逆向渲染与正向渲染任务，相关预训练模型检查点同样托管于 Hugging Face。

逆向渲染模型

模型名称	链接
InverseRenderer-512	https://huggingface.co/GilgameshYX/InverseRenderer-512
InverseRenderer-1024	https://huggingface.co/GilgameshYX/InverseRenderer-1024

正向渲染模型

模型名称	链接
ForwardRenderer	https://huggingface.co/GilgameshYX/ForwardRenderer

基准测试

提供 test_inverse.py 脚本，可在 WeatherSynthetic 数据集上运行，评估逆向渲染模型的性能（PSNR / SSIM / LPIPS 指标），并将预测结果、指标和真实值保存至输出目录。

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，高质量的合成数据集对于推动可控天气编辑研究至关重要。WeatherSynthetic数据集通过程序化生成方式构建，其核心流程基于多种城市场景（如现代都市、小型城镇）的三维建模与物理渲染。数据集涵盖了晴朗、雨天、雾天、雪天、阴天、夜晚、清晨、暴雨、沙尘暴等多种天气类型，每种场景均生成了高动态范围图像（EXR格式）及对应的本征属性图，包括反照率、法线、粗糙度与金属度。数据生成过程严格遵循物理渲染管线，确保了光照与材质属性在各类天气条件下的真实性与一致性，为后续的逆向渲染与可控编辑提供了精准的基准数据。

特点

该数据集在天气编辑与场景理解研究中展现出显著优势。其核心特征在于提供了大规模、多样化的合成场景，每个场景均配备了完整的本征分解图像与对应的天气标签。数据集不仅包含常规天气条件，还涵盖了极端气象现象如沙尘暴与暴雨，极大地扩展了研究边界。所有图像均以高动态范围格式存储，保留了丰富的亮度与色彩信息，同时附带的材质属性图（如法线与粗糙度）为深度理解场景物理属性提供了结构化支持。这种多层次、多模态的数据组织方式，使得数据集能够同时服务于图像生成、逆向渲染、天气迁移等多个前沿研究方向。

使用方法

研究人员可通过Hugging Face平台直接下载WeatherSynthetic数据集，并利用提供的可视化工具快速加载与预览RGB图像及本征图谱。数据集主要用于训练与评估逆向渲染模型，例如通过附带的测试脚本可计算PSNR、SSIM、LPIPS等客观指标以量化重建质量。同时，数据集与项目中的Gradio演示工具深度集成，用户能够交互式地体验基于本征空间的天气编辑流程。在实际应用中，建议将数据集与预训练的Stable Diffusion 3.5 Medium及DINOv2模型结合，构建完整的训练与推理管道，以实现对复杂天气现象的高保真、可控合成与编辑。

背景与挑战

背景概述

在计算机视觉与图形学领域，可控天气编辑技术对于自动驾驶仿真、影视特效及环境感知研究具有重要价值。WeatherSynthetic数据集作为CVPR 2026 Highlight论文《IntrinsicWeather: Controllable Weather Editing in Intrinsic Space》的核心组成部分，由Yixin Zhu、Zuo-Liang Zhu、Jian Yang等研究人员于2025年构建并发布。该数据集旨在通过合成场景的本征属性数据，如反照率、法线、粗糙度与金属度，结合多样化天气条件（包括晴天、雨天、雾天、雪天等），为基于本征空间的天气编辑模型提供高质量训练与评估基准。其创新性在于将物理渲染属性与生成式模型相结合，推动了可控视觉内容生成领域的发展。

当前挑战

WeatherSynthetic数据集致力于解决可控天气编辑中的核心挑战：如何在复杂场景中实现高保真、多样化的天气效果合成，同时保持场景本征属性的一致性。具体挑战包括：其一，在领域问题层面，需要克服不同天气条件下光照、材质与几何交互的建模难题，例如雨雪天气的反射特性与雾天的大气散射效应；其二，在构建过程中，生成大规模、物理准确的合成数据需协调多类本征图的对齐，并确保不同天气类型间的语义连贯性与视觉真实性，这对渲染管线与数据标注流程提出了较高要求。

常用场景

经典使用场景

在计算机视觉与图形学领域，天气合成数据集WeatherSynthetic为可控天气编辑研究提供了关键支持。该数据集通过合成多种天气条件下的场景图像及其对应的本征属性图，如反照率、法线、粗糙度等，为模型训练与评估奠定了数据基础。研究人员能够利用这些结构化数据，开发先进的逆渲染与正向渲染算法，实现对场景天气状态的精准控制与逼真生成，从而推动视觉内容创作与场景理解技术的进步。

解决学术问题

WeatherSynthetic数据集有效解决了视觉计算中天气条件可控编辑的若干核心学术问题。传统方法往往受限于真实天气数据的采集难度与多样性不足，难以实现高保真度的天气变换。该数据集通过提供大规模、多天气类型的合成数据，支持了对场景本征属性的解耦研究，促进了逆渲染技术对光照、材质等内在因素的准确估计。这不仅提升了天气编辑模型的泛化能力与真实性，也为跨域视觉任务如自动驾驶仿真、虚拟环境构建提供了理论依据与技术验证平台。

衍生相关工作

围绕WeatherSynthetic数据集，已衍生出一系列具有影响力的经典研究工作。例如，基于该数据集训练的逆渲染模型InverseRenderer，能够从单张图像中准确提取场景的本征属性，为后续编辑提供基础。同时，正向渲染模型ForwardRenderer则实现了从本征属性到多天气图像的生成，拓展了可控内容创作的边界。这些工作不仅深化了对天气编辑机理的理解，还催生了如IntrinsicWeather等系统性框架，将逆渲染与扩散模型相结合，推动了整个领域向更高层次的可控性与真实性发展。