Light Snowfall (DENSE)

多模态传感器流（例如摄像头、激光雷达和雷达测量）的融合在自动驾驶汽车的目标检测中发挥着关键作用，自动驾驶汽车的决策基于这些输入。虽然现有方法在良好的环境条件下利用冗余信息，但在感觉流可能不对称扭曲的恶劣天气中却失败了。这些罕见的“边缘情况”场景没有在可用的数据集中表示，现有的融合架构也不是为了处理它们而设计的。为了应对这一挑战，我们提出了一个在北欧超过 10,000 公里的驾驶中获得的新型多模式数据集。尽管该数据集是恶劣天气下的第一个大型多模态数据集，有 10 万个用于激光雷达、摄像头、雷达和门控 NIR 传感器的标签，但由于极端天气很少见，因此它不利于训练。为此，我们提出了一个用于鲁棒融合的深度融合网络，而无需覆盖所有不对称失真的大量标记训练数据。从提案级融合出发，我们提出了一个单次模型，该模型在测量熵的驱动下自适应地融合特征。
我们引入了一个对象检测数据集，用于在雾室受控天气条件下覆盖现实世界驾驶场景中的恶劣天气条件。该数据集涵盖了雾、雪和雨等多种天气条件，是在北欧超过 10,000 公里的驾驶中获得的。捕获路线和传感器设置如上所示。总共有 100k 个对象用准确的 2D 和 3D 边界框标记。以下是恶劣天气下的示例视频。