Dual Radar

Dual Radar数据集由清华大学汽车安全与能源国家重点实验室创建，包含151个连续序列，共10,007个精心同步和标注的帧。该数据集首次同时采用两种4D雷达，旨在解决自动驾驶中复杂环境感知的问题。数据集涵盖多种挑战性驾驶场景，包括城市和隧道道路条件、晴天、阴天和雨天等不同天气条件，以及白天和夜晚不同光照强度和时段。通过提供GPS信息，支持时间同步，适用于3D物体检测和跟踪，以及多模态任务研究。

The Dual Radar Dataset was created by the State Key Laboratory of Automotive Safety and Energy at Tsinghua University. It consists of 151 continuous sequences, totaling 10,007 meticulously synchronized and annotated frames. This dataset is the first to simultaneously adopt two types of 4D radars, aiming to address the challenges of complex environment perception in autonomous driving. The dataset covers a variety of challenging driving scenarios, including urban and tunnel road conditions, different weather conditions such as sunny, cloudy and rainy days, as well as different light intensities and time periods during daytime and nighttime. By providing GPS information to support time synchronization, it is suitable for 3D object detection and tracking, as well as multimodal task research.

搜集汇总

数据集介绍

构建方式

在自动驾驶环境感知领域，雷达相较于广泛应用的相机与激光雷达展现出更强的恶劣场景适应能力。Dual Radar数据集通过搭载高分辨率相机、80线机械激光雷达以及两种不同类型的4D雷达（Arbe Phoenix与ARS548 RDI）的自主车辆平台构建而成。数据采集过程涵盖城市道路、隧道等多种路况，以及晴天、阴天、雨天等不同天气条件，同时包含白天、黄昏、夜间等光照强度各异的时段。所有传感器均经过精密的时间同步与离线标定，采用精密时间协议（PTP）对齐时间戳，并利用角反射器与标定板完成相机-激光雷达及相机-4D雷达的联合标定，确保了多模态数据在时空维度上的一致性。

使用方法

该数据集支持单模态与多模态感知算法的研究。在单模态任务中，研究者可分别利用两种4D雷达的点云数据，评估其在目标检测与跟踪中的性能差异，特别是在雨、雾、夜间等恶劣条件下的鲁棒性。在多模态融合研究中，可将4D雷达点云与高分辨率图像、高密度激光雷达点云进行融合，探索跨模态特征互补机制，以提升复杂环境下的感知精度。数据集已划分为训练集、验证集与测试集，并提供了KITTI格式的数据，便于直接接入现有算法框架进行模型训练与性能评估。

背景与挑战

背景概述

随着自动驾驶环境感知技术的演进，雷达传感器因其在恶劣天气下的鲁棒性而备受关注。2023年，清华大学联合多家研究机构发布了Dual Radar数据集，这是首个同时搭载两种4D雷达的大规模多模态数据集。该数据集旨在解决自动驾驶领域4D雷达感知算法的比较与优化问题，通过同步采集Arbe Phoenix与ARS548RDI两种雷达的点云数据，为研究不同噪声水平和点云密度的雷达性能提供了基准平台。其包含151个连续序列、超过1万帧精确标注的数据，涵盖城市道路、隧道、昼夜及多种天气条件，显著推动了复杂场景下多模态感知算法的研究进程。

当前挑战

在自动驾驶三维目标检测领域，4D雷达面临点云稀疏性与噪声干扰的核心挑战。现有算法难以平衡高密度点云伴随的误检风险与低噪声点云导致的目标漏检问题。数据集构建过程中，需克服多传感器时空同步的精度难题，包括相机、激光雷达与两种4D雷达的联合标定。同时，在雨雾、夜间低照度等极端场景下，需确保标注质量与数据一致性，这对大规模连续帧序列的标注流程提出了严苛要求。此外，如何设计普适性算法以适配不同工作模式的雷达数据，仍是该领域亟待突破的技术瓶颈。

常用场景

经典使用场景

在自动驾驶环境感知领域，Dual Radar数据集通过同时采集两种不同特性的4D雷达点云，为多模态感知算法的开发与评估提供了独特平台。该数据集最经典的应用场景在于对比分析高密度高噪声与低密度低噪声两种4D雷达在相同驾驶环境下的感知性能差异。研究者可利用该数据集探究点云密度与噪声水平对三维目标检测精度的影响机制，特别是在城市道路、隧道、昼夜交替及雨雾天气等复杂场景下，系统评估不同雷达配置的适应性与局限性。

解决学术问题

该数据集有效解决了4D雷达感知研究中长期存在的单一传感器对比缺失问题。传统数据集仅采用单一类型4D雷达，难以量化不同滤波策略对深度学习算法的影响。Dual Radar通过同步采集Arbe Phoenix与ARS548 RDI两种雷达数据，为研究社区提供了直接比较不同点云密度与噪声水平的基准平台。这使研究者能够深入探究雷达点云稀疏性、噪声特性与目标检测性能之间的内在关联，推动了面向多类型4D雷达的通用感知算法发展。

实际应用

在实际自动驾驶系统中，Dual Radar数据集为传感器选型与融合策略优化提供了实证依据。汽车制造商可依据该数据集揭示的规律，针对不同驾驶场景（如城市拥堵路段、高速公路、恶劣天气）选择最优的雷达配置方案。工程团队能够利用该数据集开发鲁棒的多模态融合算法，特别是在摄像头与激光雷达性能受限的夜间、雨雾等极端条件下，验证4D雷达的补充感知能力。数据集涵盖的连续帧序列还支持实际系统中的目标跟踪算法开发与验证。

数据集最近研究

最新研究方向

在自动驾驶环境感知领域，Dual Radar数据集凭借其独特的双4D雷达配置，为前沿研究开辟了新的方向。该数据集首次同步采集了Arbe Phoenix和ARS548 RDI两种4D雷达的点云数据，使得研究者能够在同一场景下对比分析不同点云密度与噪声水平的雷达性能。这一特性直接推动了针对4D雷达的深度学习感知算法优化，特别是在恶劣天气、低光照等复杂驾驶场景下的鲁棒性研究。当前热点聚焦于多模态融合策略，如何有效结合高密度但含噪的Arbe Phoenix点云与稀疏但精确的ARS548 RDI点云，以提升三维目标检测与跟踪的精度。此外，数据集涵盖的连续帧序列支持时序建模，为动态场景理解提供了重要基础。其影响在于填补了现有数据集中4D雷达类型单一的空白，为自动驾驶系统在极端条件下的可靠感知奠定了数据基石，加速了全天气、全天候自动驾驶技术的实用化进程。

相关研究论文

• Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autonomous Driving

  清华大学汽车安全与能源国家重点实验室 · 2023年