USVTrack

USVTrack是一个专门为水上自动驾驶系统设计的基于无人水面艇的4D雷达-相机跟踪数据集。它包含了来自4D雷达、单目相机、GPS和IMU四个传感器的综合数据。该数据集在多样化的水路、光照、天气和季节条件下，提供了丰富的数据样本，包括宽河、窄河、湖泊、运河、护城河和码头等不同类型的水域。数据集共包含60段视频剪辑，68,822帧图像，85,229个目标对象和98个跟踪ID。数据集分为训练集和测试集，以确保训练和评估的平衡性和代表性。该数据集旨在帮助研究人员开发更加鲁棒和通用的自动驾驶算法，以应对水上环境中的复杂挑战。USVTrack is a USV-based 4D radar-camera tracking dataset specifically designed for autonomous surface vehicle systems. It integrates comprehensive multimodal data from four sensors: 4D radar, monocular camera, GPS, and IMU. The dataset is collected under diverse waterway, lighting, weather, and seasonal conditions, covering various aquatic environments including wide rivers, narrow rivers, lakes, canals, moats, and docks. In total, it contains 60 video clips, 68,822 image frames, 85,229 target objects, and 98 tracking IDs. The dataset is split into training and test sets to ensure balanced and representative training and evaluation workflows. This dataset aims to assist researchers in developing more robust and generalizable autonomous driving algorithms to address the complex challenges in aquatic environments.

原始信息汇总

USVTrack数据集概述

数据集基本信息

• 名称: USVTrack
• 类型: 4D雷达-摄像头跟踪数据集
• 应用领域: 内河航道自动驾驶
• 机构:
  • 盐城工学院
  • 香港科技大学(广州)
  • 西交利物浦大学
  • 武汉理工大学
• GitHub地址: https://github.com/USVTrack/USVTrack

主要贡献

1. 首个内河航道4D雷达-摄像头跟踪数据集:

   • 包含4D雷达、单目摄像头、GPS和IMU多传感器数据

2. 数据多样性:

   • 水域类型: 宽窄河流、运河、护城河、码头
   • 时间条件: 白天、黄昏、夜晚
   • 天气条件: 晴天、阴天、雨天、雪天
   • 光照条件: 正常、昏暗、强烈

3. 标注与工具:

   • 提供带跟踪ID的2D边界框标注
   • 提供数据处理、分析和训练工具包

4. 基准测试:

   • 建立目标检测和跟踪任务的基准
   • 评估流行算法性能

传感器配置

传感器	详细参数
雷达	Oculii EAGLE 77GHz点云雷达，200m检测范围，0.43m距离分辨率，0.27m/s速度分辨率，<1°方位角分辨率，<1°仰角分辨率，110°水平视场角，45°垂直视场角，15Hz采集频率
摄像头	SONY IMX317 CMOS传感器，RGB色彩，1920×1080分辨率，100°水平视场角，60°垂直视场角，30Hz采集频率
GPS	提供经纬度和海拔坐标，<2.5m位置精度，<0.1m/s速度精度，10Hz更新率
IMU	10轴惯性导航ARHS(3轴陀螺仪+3轴加速度计+3轴磁力计+气压计)，0.5°航向精度，0.1°横滚/俯仰精度，50Hz更新率

搜集汇总

数据集介绍

构建方式

USVTrack数据集通过搭载4D雷达、单目摄像头、GPS和IMU传感器的无人水面艇(USV)在内陆水道环境中采集多模态数据。数据采集过程覆盖了河流、湖泊、运河等多种水道类型，并考虑了不同时段(白天、黄昏、黑夜)、多种天气(晴天、阴天、雨雪)和光照条件的变化。传感器数据经过严格的时间同步和空间标定，确保了多模态数据的一致性。数据集构建过程中采用了DBSCAN算法对雷达点云进行聚类处理，有效减少了噪声干扰并提高了目标检测的可靠性。

特点

USVTrack作为首个面向新一代水上交通系统的4D雷达-摄像头跟踪数据集，具有显著的多模态特性与场景多样性。数据集包含68,822帧高清图像和45,091帧雷达点云数据，标注了85,229个目标实例，涵盖船舶、船只和容器三类主要水上交通工具。其独特价值在于捕捉了复杂水上环境中的典型挑战，包括相机镜头水雾遮挡、目标摇摆运动等场景。通过融合4D雷达提供的距离、多普勒速度和反射功率等多维信息，该数据集为研究水上环境中的目标跟踪提供了丰富的感知线索。

使用方法

该数据集支持端到端的水上目标检测与跟踪研究，研究者可通过多模态数据融合提升算法性能。具体使用时，建议采用提出的雷达-摄像头匹配(RCM)方法，该方法通过归一化马氏距离和IoU的加权组合，有效解决了复杂场景下的目标关联问题。数据集已按MOT20标准划分为训练集和测试集，研究者可利用YOLOv9等先进检测器提取目标特征，再结合RCM模块进行跨模态关联。实验表明，该策略在HOTA、MOTA等指标上均有显著提升，特别适用于存在遮挡和恶劣天气的水上跟踪场景。

背景与挑战

背景概述

USVTrack数据集由Shanliang Yao等研究人员于2025年提出，是首个专注于内河航道自动驾驶的4D雷达-相机多模态追踪数据集。该数据集由搭载4D雷达、单目相机、GPS和IMU的无人水面艇(USV)采集，旨在解决复杂水域环境下目标追踪的核心问题。作为新一代水上交通系统的关键基础设施，USVTrack填补了水域多模态感知数据空白，其创新性体现在三个方面：覆盖宽窄河道、湖泊、运河等多类水域场景；包含昼夜交替、雨雪雾等复杂气象条件；提供85,229个精细标注的船舶目标实例。该数据集通过融合毫米波雷达的全天候探测优势与相机的空间分辨能力，为提升内河自动驾驶系统的环境感知鲁棒性提供了重要研究基础。

当前挑战

USVTrack数据集面临双重技术挑战。在领域问题层面，内河航道目标追踪需克服水面反光、镜头水雾遮挡、目标剧烈晃动等特殊干扰，传统纯视觉方法在强光或雾霾场景下追踪失败率高达42.7%。数据集构建过程中，研究团队需解决多模态时空对齐难题——4D雷达15Hz采样率与相机30Hz帧率的异源数据同步误差需控制在3ms内；针对雷达点云稀疏性问题，开发了基于DBSCAN的聚类算法将离散反射点聚合为有效目标；此外，狭窄航道场景下GPS信号多径效应导致定位漂移，需结合IMU数据进行卡尔曼滤波校正。这些挑战使得该数据集成为检验多模态融合算法鲁棒性的高标准测试平台。

常用场景

经典使用场景

USVTrack数据集在内陆水道自动驾驶研究中具有重要应用价值，其经典使用场景包括多模态传感器融合下的目标跟踪任务。该数据集通过4D雷达与单目相机的协同采集，为复杂水域环境下的船舶、船只等目标提供了丰富的时空轨迹信息。研究者可利用该数据集验证不同跟踪算法在动态水面环境中的鲁棒性，特别是在应对相机遮挡、目标摇摆等挑战性场景时的性能表现。

解决学术问题

该数据集有效解决了内陆水道自动驾驶领域的关键学术问题：首先突破了传统视觉跟踪在雨雾天气下的性能瓶颈，通过4D雷达数据弥补了光学传感器的物理局限；其次建立了跨模态关联的基准方法，为雷达-相机时空对齐提供了标准化评估体系；最重要的是填补了水域多目标跟踪数据集的空白，为新一代水上交通系统的感知算法研发奠定了基础。

衍生相关工作

基于USVTrack数据集已衍生出多个经典研究方向：RCMatch跨模态匹配方法开创了雷达-相机数据关联的新范式；Waterscenes数据集扩展了水域多任务感知的研究维度；SAF-FCOS等融合检测算法进一步提升了小目标检测精度。这些工作共同推动了《IEEE Transactions on Intelligent Transportation Systems》等顶级期刊关于水域自动驾驶的专题研究。