The Oxford Radar RobotCar Dataset

The Oxford Radar RobotCar Dataset是由牛津机器人研究所创建的一个大型数据集，专注于使用毫米波FMCW扫描雷达数据进行场景理解研究。该数据集包含超过240,000次Navtech CTS350-X雷达扫描和240万次Velodyne HDL-32E 3D LIDAR扫描，总计4.7TB，适用于自动驾驶车辆在各种环境条件下的感知研究。数据集于2019年1月通过32次穿越牛津市中心路线的行驶收集，总行驶距离达280公里。该数据集不仅提供了丰富的传感器数据，还包括精确的雷达里程计地面实况，旨在推动雷达在移动机器人和自动驾驶车辆领域的研究和应用。

The Oxford Radar RobotCar Dataset was developed by the Oxford Robotics Institute. It is a large-scale dataset dedicated to scene understanding research using millimeter-wave FMCW scanning radar data. The dataset contains over 240,000 Navtech CTS350-X radar scans and 2.4 million Velodyne HDL-32E 3D LIDAR scans, with a total data volume of 4.7 TB, and is applicable to perception research of autonomous vehicles under various environmental conditions. Collected in January 2019 through 32 drives along a route traversing central Oxford, the dataset has a total driving distance of 280 kilometers. In addition to abundant sensor data, it also provides accurate radar odometry ground truth, aiming to promote the research and application of radar in the fields of mobile robotics and autonomous vehicles.

搜集汇总

数据集介绍

构建方式

在自动驾驶研究领域，多模态传感器融合已成为提升环境感知鲁棒性的关键路径。牛津雷达机器人汽车数据集作为牛津机器人汽车数据集的雷达扩展，其构建过程体现了对复杂城市驾驶场景的系统性采集。该数据集于2019年1月在英国牛津市中心一条固定路线上进行了32次遍历，累计行驶里程达280公里，覆盖了多样化的天气、交通与光照条件。数据采集平台基于一辆经过改装的日产聆风自动驾驶车辆，搭载了纳维达克CTS350-X毫米波调频连续波扫描雷达、两台Velodyne HDL-32E三维激光雷达，并保留了原有的六台相机、两台二维激光雷达以及GPS/INS接收器。所有传感器数据经过精确的时间同步与外部校准，确保了多源信息在时空上的一致性，最终形成规模达4.7TB的原始与处理数据集合。

特点

该数据集的核心特征在于其首次大规模引入了毫米波调频连续波雷达数据，为自动驾驶在恶劣环境下的感知研究提供了独特视角。雷达传感器具备163米探测范围与4.38厘米距离分辨率，能够在雨、雪、雾及强光等传统视觉与激光雷达易失效的条件下保持稳定观测。数据集同时提供高分辨率的三维激光雷达点云、立体与单目视觉图像，以及经过优化的雷达里程计真值轨迹，构成了多模态、跨条件的对比研究基础。数据采集路线固定但包含实际驾驶中的轻微路径变化，增强了场景的真实性与挑战性。此外，数据集附带的MATLAB与Python开发工具简化了雷达极坐标至笛卡尔坐标的转换、点云生成等预处理步骤，降低了研究门槛。

使用方法

研究者可通过数据集官方网站下载完整的遍历数据包，每个数据包按传感器类型与时间戳组织为结构化目录。雷达数据以PNG格式存储极坐标功率矩阵，并嵌入时间戳、扫描计数器等元数据；三维激光雷达则提供原始编码格式与二进制点云两种形式。利用配套的软件开发工具包，用户可以便捷地加载雷达与激光雷达扫描，执行坐标转换，并可视化传感器数据。数据集中提供的优化雷达里程计真值可用于雷达SLAM、定位与建图算法的评估与训练。多模态数据的时空对齐特性支持跨传感器融合研究，例如雷达-视觉-激光雷达的联合标定、恶劣天气下的环境理解等。该数据集为探索毫米波雷达在自动驾驶中的感知、状态估计与语义理解等任务提供了丰富且可靠的实验基准。

背景与挑战

背景概述

毫米波调频连续波雷达作为一种新兴的感知模态，在自动驾驶领域展现出对恶劣环境条件的高度鲁棒性。牛津雷达机器人汽车数据集由牛津机器人研究所于2019年1月发布，旨在推动基于雷达的场景理解研究。该数据集在原有牛津机器人汽车数据集基础上扩展，引入了Navtech CTS350-X毫米波雷达与双Velodyne HDL-32E激光雷达，覆盖了牛津市中心280公里城市道路的32次遍历，囊括多样化的天气、交通与光照条件。其核心研究问题聚焦于利用雷达数据实现复杂环境下的稳健感知与定位，为自动驾驶系统在雨雪、雾霾等挑战性场景中的可靠性提供了关键数据支撑，显著促进了多模态融合与雷达感知算法的发展。

当前挑战

该数据集致力于解决自动驾驶在恶劣天气条件下的环境感知挑战，传统视觉与激光雷达在雨雪、雾霾或强光干扰下性能受限，而毫米波雷达能够提供稳定的传感数据。构建过程中的挑战主要体现在多传感器时空同步与校准的复杂性，需确保雷达、激光雷达、相机及惯性导航系统数据的高精度对齐；同时，大规模雷达数据的采集与处理涉及海量存储与高效解析，需开发专用工具实现极坐标至笛卡尔坐标的转换与点云生成；此外，在动态城市环境中保持行驶路线的一致性，并应对交通流变化与天气突变，也对数据采集的规范性与完整性提出了较高要求。

常用场景

经典使用场景

在自动驾驶研究领域，传感器在恶劣天气下的鲁棒性一直是核心挑战。牛津雷达机器人汽车数据集通过融合毫米波调频连续波雷达与多种传感器数据，为复杂环境下的场景理解提供了经典研究平台。该数据集最典型的应用场景在于开发与验证全天候的同步定位与建图算法，尤其在雨、雪、雾及强光等视觉与激光雷达易失效的条件下，雷达数据为车辆提供了稳定可靠的环境感知能力，支撑着高精度定位与地图构建的研究。

解决学术问题

该数据集有效应对了自动驾驶研究中多传感器融合与恶劣环境感知的关键学术难题。传统视觉与激光雷达在雨雾等天气下性能显著下降，而毫米波雷达具备穿透性强、抗干扰能力卓越的特性。数据集通过提供大规模、多条件、时间同步的雷达、激光雷达与视觉数据，使得研究者能够深入探索跨模态感知、鲁棒状态估计以及长期场景理解等前沿问题，推动了传感器互补理论与全天候自主导航算法的发展。

衍生相关工作

基于该数据集，学术界衍生出一系列聚焦于雷达感知的经典研究工作。例如，在雷达里程计方面，研究者利用其数据开发了基于图优化的精确运动估计算法；在跨模态学习领域，出现了利用雷达与视觉数据互补特性进行鲁棒场景分割与目标识别的方法；此外，数据集也催生了针对雷达点云特征提取、雷达与激光雷达/相机的外参标定以及端到端雷达SLAM等方向的新兴研究，显著丰富了毫米波雷达在机器人学中的应用生态。