mini-weather dataset

WeatherGen是一个用于生成多样天气LiDAR数据的统一框架，由南京理工大学PCA实验室提出。该框架包括一个基于地图的数据生成器MDP，能够提供用于模型预训练的多样天气LiDAR数据。WeatherGen通过设计一种新的生成器——蜘蛛曼巴生成器SMG，有效保持了LiDAR数据的物理结构。此外，通过对比学习机制，设计了一个控制器CLC，用于生成具有紧凑语义知识的控制信号。利用WeatherGen构建的mini-weather数据集，应用于三维目标检测任务，证明了生成数据可以促进在恶劣天气条件下的下游任务性能。WeatherGen is a unified framework for generating diverse weather LiDAR data, proposed by the PCA Laboratory of Nanjing University of Science and Technology. This framework incorporates a map-based data generator (MDP) that can provide diverse weather LiDAR data for model pre-training. WeatherGen designs a novel generator, the Spider Mamba Generator (SMG), which effectively preserves the physical structure of LiDAR data. Additionally, leveraging contrastive learning mechanisms, a Contrastive Learning Controller (CLC) is designed to generate control signals with compact semantic knowledge. The mini-weather dataset constructed using WeatherGen is applied to 3D object detection tasks, and the results verify that the generated data can enhance the performance of downstream tasks under adverse weather conditions.

搜集汇总

数据集介绍

构建方式

在自动驾驶与三维场景感知领域，恶劣天气条件下的激光雷达数据采集面临巨大挑战。为解决这一难题，WeatherGen框架创新性地采用地图到地图的生成范式构建mini-weather数据集。该框架首先通过可学习的基于地图数据生成器（MDP）模拟雨、雪、雾等复杂天气的激光雷达点云，其核心在于引入伯努利分布函数实现随机点丢弃，并结合自适应掩膜动态调整光学传播参数。随后采用预训练-微调策略，利用扩散去噪模型逐步恢复受干扰的点云结构，其中蜘蛛曼巴生成器（SMG）通过沿激光雷达光束环和中心射线扫描的特征建模方式，显著提升了生成数据的物理保真度。

特点

作为首个统一的多天气激光雷达生成数据集，mini-weather展现出三大核心特征：其一，通过潜在特征对齐器（LFA）实现生成数据与真实天气分布的隐空间对齐，突破传统仿真方法领域偏移的局限；其二，数据集包含256帧/天气的精细化标注样本，覆盖雪天随机噪声点、雾天长距离衰减、雨天地面反射等典型光学现象；其三，基于对比学习的控制器（CLC）赋予天气控制信号紧凑语义知识，支持用户通过文本提示精确控制生成特定天气条件下的点云数据。这种物理精确性与语义可控性的结合，使其在恶劣天气场景的算法测试中具有独特优势。

使用方法

该数据集主要服务于自动驾驶系统的鲁棒性验证与算法开发。研究者可通过加载预训练的WeatherGen模型，输入清晰天气的激光雷达范围图，生成指定强度的雨雪雾干扰点云。对于下游任务应用，建议采用两阶段流程：先使用mini-weather进行域适应训练，再在真实数据上微调。在3D目标检测任务中，实验表明仅替换7.4%的训练数据即可显著提升模型在恶劣天气下的平均精度。此外，用户可通过修改文本提示词（如'heavy snow'或'light fog'）调整生成天气的强度参数，实现不同能见度条件下的场景模拟。

背景与挑战

背景概述

mini-weather dataset是由南京理工大学、东南大学和南京大学的研究团队于2025年提出的一个多样化天气条件下的LiDAR点云数据集。该数据集基于WeatherGen框架构建，旨在解决自动驾驶领域中3D场景感知在恶劣天气条件下数据稀缺的问题。随着大规模自动驾驶数据集的出现，3D感知任务在晴朗天气下已取得显著进展，但在雨雪雾等恶劣天气下的研究仍受限于真实数据采集的高成本与高风险。传统LiDAR模拟器通常只能针对单一天气条件进行模拟，且生成数据的真实度有限。mini-weather dataset的诞生填补了这一空白，为多样化天气条件下的LiDAR数据生成与下游任务性能提升提供了重要支持。

当前挑战

该数据集面临的核心挑战主要体现在两个方面：领域问题方面，恶劣天气会导致激光散射和衍射，造成点云噪声和丢失，严重影响3D感知模型的可靠性。传统方法难以在统一框架下生成多样化天气的高保真LiDAR数据。构建过程方面，研究人员需要解决三大难题：1)高质量数据生产问题，恶劣天气条件下的LiDAR数据稀缺，难以满足生成模型的高保真训练需求；2)高保真生成问题，多样化天气条件下的LiDAR数据具有噪声和点丢失特性，对生成模型提出严峻挑战；3)高判别性控制问题，缺乏有效获取具有紧凑语义知识的控制信号的方法，导致统一生成框架下多样化LiDAR数据的生成出现错配。

常用场景

经典使用场景

在自动驾驶和三维场景感知领域，恶劣天气条件下的LiDAR数据采集成本高昂且难度大，mini-weather dataset通过生成高保真度的多样化天气LiDAR数据，为研究者提供了一个经济高效的解决方案。该数据集特别适用于训练和验证在雨、雪、雾等复杂气象条件下的三维物体检测算法，弥补了真实数据稀缺的短板。

实际应用

在实际应用中，mini-weather dataset可直接用于自动驾驶系统的安全测试与优化。汽车厂商和研究机构可利用该数据集模拟暴雨、浓雾等极端天气场景，验证感知算法的可靠性，大幅降低实地数据采集的成本和风险。同时，生成的数据还可用于增强现有自动驾驶数据集的多样性，提升系统在真实复杂环境中的表现。

衍生相关工作

基于该数据集衍生的经典工作包括LiDAR数据生成领域的多项突破性研究，如WeatherGen框架中提出的蜘蛛曼巴生成器（SMG）和潜在特征对齐器（LFA）。这些创新方法不仅推动了恶劣天气下点云生成技术的发展，还启发了后续研究如Text2LiDAR等文本引导生成模型，为多模态LiDAR数据处理开辟了新方向。