REHEARSE-3D

REHEARSE-3D 是一个大规模的多模态模拟雨数据集，用于推动 3D 点云去雨研究。与现有数据集相比，REHEARSE-3D 在多个方面具有独特性，包括拥有最大的点标注数量和唯一的高分辨率 LiDAR 数据。此外，REHEARSE-3D 还包含 4D 雷达点云，记录了在白天和夜间条件下的受控天气环境。REHEARSE-3D 包含每个 LiDAR 和雷达点的语义信息，以促进自动驾驶应用中的 3D 点云去雨研究。此外，REHEARSE-3D 还提供了降水特征信息，包括雨强、雨滴大小分布、风速和风向以及能见度。这些信息对于传感器噪声建模和分析天气对点级别的影响具有重要意义。

REHEARSE-3D is a large-scale multi-modal simulated rain dataset designed to advance 3D point cloud deraining research. Compared with existing datasets, REHEARSE-3D is distinctive in multiple aspects, featuring the largest number of point annotations and the only high-resolution LiDAR data available. Furthermore, REHEARSE-3D also includes 4D radar point clouds that record controlled weather environments under both daytime and nighttime conditions. REHEARSE-3D contains semantic information for each LiDAR and radar point to facilitate 3D point cloud deraining research in autonomous driving applications. Additionally, REHEARSE-3D provides precipitation feature information, including rainfall intensity, raindrop size distribution, wind speed and direction, as well as visibility. This information is of great significance for sensor noise modeling and analyzing the impact of weather on point-level data.

原始信息汇总

REHEARSE-3D: 多模态模拟降雨数据集（3D点云去雨）

作者

• Abu Mohammed Raisuddin (哈尔姆斯塔德大学)
• Jesper Holmblad (哈尔姆斯塔德大学)
• Hamed Haghighi (华威大学)
• Yuri Poledna (英戈尔施塔特技术大学)
• Maikol Funk Drechsler (英戈尔施塔特技术大学)
• Valentina Donzella (华威大学)
• Eren Erdal Aksoy (哈尔姆斯塔德大学)

机构

1. 哈尔姆斯塔德大学
2. 华威大学
3. 英戈尔施塔特技术大学

数据下载

即将发布

保存模型

即将发布

超参数

即将发布

应用

• 3D-OutDet和SalsaNext的雨滴去除技术

搜集汇总

数据集介绍

构建方式

REHEARSE-3D数据集构建于受控的户外降雨设施中，通过移动洒水装置模拟三种降雨强度（10 mm/h、25 mm/h和50 mm/h），覆盖白天和夜间条件。数据采集采用高分辨率LiDAR-256和4D雷达点云，并辅以RGB和热成像摄像头。通过自动标注框架，对LiDAR和雷达点云进行点级语义标注，涵盖8个语义类别，包括雨滴、车辆、行人等。数据标注过程包括道路平面估计、目标边界框生成以及雨滴标记等步骤，确保了标注的精确性和一致性。

特点

REHEARSE-3D是目前最大的点级标注多模态降雨数据集，其独特之处在于结合了高分辨率LiDAR-256和4D雷达点云，并提供了详细的降雨特性信息（如雨强、滴径分布和风速）。数据集覆盖多种降雨强度和昼夜条件，标注了9.2亿个点，为传感器噪声建模和天气影响分析提供了丰富的数据支持。此外，数据集还包含模拟雨数据的对应版本，便于跨域比较研究。

使用方法

REHEARSE-3D可用于3D点云去雨算法的开发和评估。研究者可通过加载数据集中的LiDAR和雷达点云，结合语义标签和降雨特性信息，训练或测试去雨模型。数据集已划分为训练、验证和测试集，支持监督和无监督学习方法。使用示例包括基于深度学习的语义分割模型（如SalsaNext）或统计滤波方法（如DSOR）进行雨滴检测与去除。此外，模拟数据可用于验证算法在合成环境中的泛化性能。

背景与挑战

背景概述

REHEARSE-3D是由欧洲联盟资助，由瑞典哈尔姆斯塔大学、英国华威大学和德国英戈尔施塔特技术大学的研究团队共同开发的多模态仿真降雨数据集，旨在推动自动驾驶领域在恶劣天气条件下的3D点云去雨研究。该数据集于2024年发布，是目前唯一包含高分辨率LiDAR-256扫描和4D雷达点云的多模态数据集，同时提供了白天和夜间降雨条件下的数据。REHEARSE-3D通过精确标注的语义信息（如雨滴、车辆、行人等8类对象）和降雨特性数据（如雨强、风速等），为传感器噪声建模和天气影响分析提供了重要支持。其创新性在于首次在受控环境中实现了高密度点云的逐点标注，填补了现有数据集中在分辨率和多模态融合上的空白。

当前挑战

REHEARSE-3D面临的挑战主要体现在两方面：领域问题层面，现有去雨算法对高密度点云中雨噪点的识别精度不足，尤其在动态半径统计滤波（如DSOR）等无监督方法中，召回率与F1分数存在显著差距（如DSOR在测试集F1仅33.82%）；构建过程层面，受控环境中的仿真降雨与真实降雨存在分布差异，尽管通过洒水器模拟三种雨强（10/25/50mm/h），但风力等因素导致雨强空间分布不均（80米外强度衰减至2mm/h），需额外设计算法校正。此外，9.2亿点云的逐标注需结合RANSAC道路估计与半自动边界框修正，处理流程复杂度显著高于传统LiDAR-64数据集。

常用场景

经典使用场景

REHEARSE-3D数据集在自动驾驶领域的高精度感知研究中具有重要应用价值，特别是在恶劣天气条件下的点云去雨任务中。该数据集通过高分辨率LiDAR-256和4D雷达点云的融合，为研究人员提供了丰富的多模态数据，用于开发和分析去雨算法。其独特的点级语义标注和多样化的降雨强度设置，使得该数据集成为评估和比较不同去雨方法的理想基准。

解决学术问题

REHEARSE-3D数据集解决了自动驾驶研究中因降雨导致的传感器性能下降问题。通过提供详细的点级语义标注和降雨特性信息，该数据集为研究降雨对LiDAR和雷达点云的影响提供了可靠的数据支持。此外，其多模态特性为跨传感器融合算法的开发提供了可能，进一步推动了恶劣天气条件下自动驾驶感知技术的发展。

衍生相关工作

REHEARSE-3D数据集已经催生了一系列相关研究，特别是在点云去雨和恶劣天气感知领域。基于该数据集，研究人员开发了多种去雨算法，如3D-OutDet和SalsaNext，并在点云去雨任务中取得了显著效果。此外，该数据集还为跨模态融合、传感器噪声建模和仿真到现实的迁移学习等研究方向提供了新的数据支持。