RadarRGBD

RadarRGBD数据集是一个包含RGB-D数据和毫米波雷达数据的新的多传感器融合数据集，旨在为深度估计和环境感知任务提供丰富的测试平台。该数据集包括超过2700帧的室内和室外场景样本，涵盖了从复杂的实验室环境、走廊、办公室区域到街道和室外停车场的各种场景。数据集包含毫米波雷达ADC数据、雷达点云和RGB-D图像，为深度估计和3D重建等任务提供了可靠的数据支持。此外，该数据集还包括经过校准的传感器数据，以及用于深度估计任务的深度补全方法和多场景深度估计基准平台。The RadarRGBD dataset is a novel multi-sensor fusion dataset integrating RGB-D data and millimeter-wave radar data, aiming to provide a rich testbed for depth estimation and environmental perception tasks. This dataset contains over 2700 frames of indoor and outdoor scene samples, covering various scenarios ranging from complex laboratory environments, corridors, office areas to streets and outdoor parking lots. It includes millimeter-wave radar ADC data, radar point clouds and RGB-D images, offering reliable data support for tasks such as depth estimation and 3D reconstruction. Additionally, the dataset provides calibrated sensor data, as well as depth completion methods and a multi-scene depth estimation benchmark platform for depth estimation tasks.

原始信息汇总

RadarRGBD数据集概述

数据集基本信息

• 数据集名称：RadarRGBD
• 访问方式：通过百度网盘下载
• 下载链接：https://pan.baidu.com/s/181cYsbxw-vdmk46KSI6CcQ?pwd=z7jc
• 提取码：z7jc

数据集示例

• 提供示例图片展示（文件路径：./example/example.png）

搜集汇总

数据集介绍

构建方式

RadarRGBD数据集通过整合高分辨率毫米波雷达与RGB-D传感器，构建了一个多模态感知数据集。数据采集平台采用Texas Instruments MMWCAS-RF-EVM毫米波雷达（12发16收天线配置）和Kinect V2深度相机，在室内实验室、走廊、室外停车场及街道等多样化场景中进行同步采集。通过严格的传感器标定流程（包括相机内参标定、雷达-相机外参标定及雷达天线通道校准），确保时空同步精度。数据集包含2700帧样本，每帧提供原始雷达ADC矩阵（128×86×64复数阵列）、点云数据、1920×1080分辨率RGB图像及512×424深度图，所有数据均采用标准化文件结构存储并附带时间戳文件。

使用方法

研究者可通过GitHub仓库获取数据集后，按模态分类的文件夹结构快速定位所需数据。对于雷达信号处理，可直接加载Radar Cube格式的原始ADC数据进行距离-多普勒分析或DOA估计；RGB-D数据支持OpenCV等标准库读取。数据集配套提供传感器标定参数（包括内外参），便于进行跨模态数据融合。针对深度图补全任务，建议参考论文提出的两阶段训练策略：先利用DepthAnythingV2生成相对深度先验，再结合绝对深度监督进行微调。实验表明该方案能有效修复Kinect V2的深度缺失区域，RMSE指标达0.122米。数据集还可用于3D目标检测、跨模态配准等任务，相关baseline代码已随数据集开源。

背景与挑战

背景概述

RadarRGBD数据集由Tieshuai Song等人于近年提出，旨在填补多传感器融合领域高质量毫米波雷达数据的空白。该数据集由Kinect V2深度相机与TI AWR2243高分辨率毫米波雷达同步采集，包含2700帧覆盖室内外场景及低光照条件的RGB-D图像、雷达点云和原始雷达矩阵数据。作为自动驾驶与机器人感知研究的重要基础设施，其创新性地提供了86虚拟通道的原始雷达信号，为毫米波雷达与视觉传感器的深度融合研究奠定了数据基础。相较于KITTI、nuScenes等传统数据集，RadarRGBD通过异构传感器时空标定与高精度数据同步，显著提升了复杂环境下的三维场景重建与深度估计精度。

当前挑战

该数据集主要面临三方面挑战：在领域问题层面，毫米波雷达点云稀疏性与RGB-D传感器在遮挡、低光照条件下的深度缺失形成互补难题，需开发新型融合算法以实现鲁棒的环境感知；在构建过程中，多模态传感器时空标定涉及毫米波雷达天线阵列相位校准、Kinect V2深度图与雷达点云的跨模态配准等关键技术挑战；数据处理方面，Kinect V2深度图的噪声与孔洞修复需结合雷达点云信息，通过微调DepthAnythingV2等深度估计模型实现绝对深度与相对深度的联合监督。此外，原始雷达ADC信号的处理与点云生成算法对计算资源与专业知识的较高要求，也增加了数据利用门槛。

常用场景

经典使用场景

RadarRGBD数据集在环境感知任务中展现了其独特的价值，尤其是在复杂光照条件和恶劣天气下的多传感器融合研究中。该数据集通过结合毫米波雷达点云与RGB-D数据，为室内外场景的三维重建、目标检测和导航任务提供了丰富的数据支持。其高分辨率的毫米波雷达数据弥补了现有数据集在此类传感器数据质量上的不足，成为多模态感知研究的重要基准。

解决学术问题

该数据集有效解决了多传感器融合研究中毫米波雷达数据稀缺且质量不足的学术瓶颈。通过提供原始雷达矩阵和高精度点云数据，研究者能够深入探索雷达与视觉传感器的融合算法，提升在遮挡、低光照等挑战性场景下的感知鲁棒性。此外，针对Kinect深度图的缺失区域问题，数据集衍生的深度补全方法为稀疏深度监督学习提供了新范式。

实际应用

在自动驾驶和机器人导航领域，RadarRGBD数据集为系统在真实复杂环境中的测试验证提供了关键数据支撑。其涵盖的室内实验室、户外停车场等多场景数据，可优化无人系统在极端光照或天气条件下的障碍物识别与路径规划能力。工业界已利用该数据集开发更可靠的毫米波雷达-视觉融合感知模块，应用于物流机器人和智能车辆。

数据集最近研究

最新研究方向

随着自动驾驶和机器人导航技术的快速发展，多传感器融合技术在环境感知任务中展现出巨大潜力。RadarRGBD数据集作为一项创新性研究，填补了现有数据集中高质量毫米波雷达数据的空白，为毫米波雷达与视觉传感器的融合研究提供了重要基础。该数据集不仅包含RGB-D数据和高分辨率毫米波雷达点云，还提供了原始雷达矩阵数据，覆盖了室内外多种场景及低光环境，为复杂环境下的感知任务提供了丰富的数据支持。近年来，基于RadarRGBD数据集的研究主要集中在深度补全、多模态数据融合和环境感知优化等方向。特别是在低光条件和恶劣天气环境下，毫米波雷达与RGB-D传感器的结合展现出显著优势，为自动驾驶和机器人导航系统的鲁棒性提升提供了新的解决方案。此外，该数据集还推动了深度估计算法的创新，通过结合绝对深度和相对深度监督，有效解决了Kinect V2深度图中的缺失区域问题，为3D物体检测和场景重建等应用提供了可靠的数据和技术支持。

相关研究论文

• RadarRGBD A Multi-Sensor Fusion Dataset for Perception with RGB-D and mmWave Radar

  中国科学院大学 · 2025年