WaterScenes

WaterScenes数据集是专为水面自动驾驶设计的，结合了4D雷达和单目相机技术，以实现全天候的目标信息识别，包括颜色、形状、纹理、范围、速度、方位和高度。数据集关注水面上的典型静态和动态物体，对相机图像进行像素级标注，对雷达点云进行点级标注。除了基本的感知任务，如物体检测、实例分割和语义分割，还提供了自由空间分割和水线分割的标注。通过多任务和多模态数据，数据集支持对雷达和相机单一模态以及融合模态的基准实验。实验结果表明，4D雷达-相机融合能显著提高水面感知的准确性和鲁棒性，尤其是在恶劣光照和天气条件下。The WaterScenes dataset is specifically designed for autonomous driving on water surfaces. It integrates 4D radar and monocular camera technologies to enable all-weather target information recognition, covering attributes including color, shape, texture, range, speed, azimuth and height. The dataset focuses on typical static and dynamic objects on water surfaces, with pixel-level annotations provided for camera images and point-level annotations for radar point clouds. In addition to basic perception tasks such as object detection, instance segmentation and semantic segmentation, it also supplies annotations for free space segmentation and waterline segmentation. Leveraging multi-task and multi-modal data, the dataset supports benchmark experiments for single-modal (radar-only, camera-only) and multi-modal fusion-based approaches. Experimental results show that 4D radar-camera fusion can significantly improve the accuracy and robustness of water surface perception, especially under adverse lighting and weather conditions.

搜集汇总

数据集介绍

构建方式

WaterScenes数据集通过配备4D雷达和单目摄像头的无人水面艇（USV）进行数据采集，覆盖了多种水域环境（如河流、湖泊、运河等）以及不同的时间、光照和天气条件。数据采集过程中，USV通过预设路径和远程控制两种方式获取数据，确保数据的多样性和全面性。采集的数据包括静态物体（如码头、浮标）和动态物体（如船只、船员）。数据经过同步处理后，图像和雷达点云分别进行像素级和点级标注，涵盖目标检测、实例分割、语义分割、自由空间分割和水线分割等多任务。

特点

WaterScenes数据集是首个面向水面自动驾驶的多任务4D雷达-相机融合数据集，具有全天候感知能力。数据集包含54,120帧RGB图像、雷达点云、GPS和IMU数据，标注了超过20万个物体。其独特之处在于涵盖了多种复杂的水面场景，包括不同的光照条件（正常、昏暗、强光）和天气条件（晴天、阴天、雨天、雪天）。此外，数据集还提供了雷达点云的物理属性（如反射功率、多普勒速度、仰角等），为多模态感知提供了丰富的信息。

使用方法

WaterScenes数据集可用于多种感知任务的基准测试，包括目标检测、雷达点云分割、图像分割和全景感知。研究人员可以通过数据集提供的工具包进行数据预处理、标注、投影和可视化。数据集支持单模态（仅雷达或相机）和多模态（雷达-相机融合）实验，尤其适用于恶劣光照和天气条件下的感知任务。通过融合雷达和相机的优势，数据集能够显著提升水面感知的准确性和鲁棒性，为水面自动驾驶算法的开发提供了强有力的支持。

背景与挑战

背景概述

WaterScenes数据集是首个面向水面自动驾驶的多任务4D雷达-相机融合数据集，由利物浦大学、西交利物浦大学等机构的研究团队于2023年发布。该数据集旨在解决水面自动驾驶中的感知问题，特别是在恶劣天气和光照条件下的目标检测、实例分割、语义分割等任务。数据集通过配备4D雷达和单目相机的无人水面艇（USV）采集，涵盖了多种水域环境（如河流、湖泊、运河等）以及不同时间、光照和天气条件下的数据。WaterScenes的发布填补了水面自动驾驶领域多模态数据集的空白，为相关研究提供了重要的基准数据。

当前挑战

WaterScenes数据集面临的挑战主要包括两个方面：首先，水面环境的复杂性使得感知任务尤为困难，如水面反射、波浪干扰、漂浮物等都会影响传感器的数据质量；其次，构建过程中需要解决多模态数据的同步与融合问题，尤其是雷达点云与相机图像的精确对齐与标注。此外，水面环境中的动态目标（如船只、漂浮物）和静态目标（如码头、浮标）的多样性也增加了数据标注的难度。这些挑战要求研究者在算法设计和数据处理上具备更高的精度和鲁棒性。

常用场景

经典使用场景

WaterScenes数据集主要用于水面自动驾驶领域的研究，特别是在多任务感知和4D雷达-相机融合方面。该数据集通过配备4D雷达和单目相机的无人水面车辆（USV），提供了全天候的水面物体检测、实例分割、语义分割、自由空间分割和水线分割等多任务数据。其经典使用场景包括在复杂的水面环境中进行物体检测与跟踪，尤其是在恶劣的光照和天气条件下，4D雷达与相机的融合显著提升了感知的准确性和鲁棒性。

衍生相关工作

WaterScenes数据集的发布推动了水面自动驾驶领域的多项相关研究。基于该数据集，研究者开发了多种多模态融合算法，如雷达-相机融合的物体检测和语义分割模型。此外，数据集还被用于评估现有的感知算法在水面环境中的性能，并提出了新的优化方法，如低光照增强和水滴去除技术。这些衍生工作不仅提升了水面自动驾驶的感知能力，还为未来的研究提供了重要的参考和基准。

数据集最近研究

最新研究方向

近年来，随着自动驾驶技术的快速发展，水面无人驾驶车辆（USV）在海洋监测、环境监控、救援任务等领域的应用日益广泛。然而，水面环境的复杂性和不可预测性为感知系统带来了巨大挑战。WaterScenes数据集的推出填补了水面多模态感知数据的空白，特别是4D雷达与相机的融合数据。该数据集不仅涵盖了多种天气和光照条件下的水面场景，还提供了像素级和点级的标注，支持目标检测、实例分割、语义分割、自由空间分割和水线分割等多任务感知。通过基准实验，研究表明4D雷达与相机的融合显著提升了水面感知的精度和鲁棒性，尤其是在恶劣光照和天气条件下。WaterScenes的发布为水面自动驾驶领域的研究提供了重要的数据支持，推动了多模态感知技术的发展。

相关研究论文

• WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmark for Autonomous Driving on Water Surfaces

  苏州西交利物浦大学高级技术学院 · 2023年