NTU4DRadLM

NTU4DRadLM是由南洋理工大学电气与电子工程学院创建的多模态数据集，专注于定位与地图构建。该数据集包含6种传感器：4D雷达、热像仪、IMU、3D激光雷达、视觉相机和RTK GPS，适用于低速机器人和高速无人车辆。数据集覆盖了结构化、非结构化和半结构化环境，总长度约17.6公里，大小为50GB。创建过程中，数据集通过两种平台（手推车和汽车）在不同环境中收集，确保了数据的多样性和实用性。该数据集旨在解决在恶劣条件下（如雨、雪、烟雾和雾等）的SLAM问题，推动基于4D雷达、热像仪和IMU的SLAM研究。NTU4DRadLM is a multimodal dataset developed by the School of Electrical and Electronic Engineering, Nanyang Technological University, focusing on simultaneous localization and mapping (SLAM). This dataset integrates six types of sensors, including 4D radar, thermal imager, IMU, 3D LiDAR, visual camera, and RTK GPS, and is suitable for both low-speed robots and high-speed unmanned ground vehicles. It covers structured, unstructured and semi-structured environments, with a total traversal distance of approximately 17.6 kilometers and a total file size of 50 GB. During the data collection phase, the dataset was gathered across diverse environments using two platforms: a mobile cart and a passenger car, which ensures the diversity and practicality of the collected data. This dataset is intended to address SLAM challenges under harsh conditions such as rain, snow, smoke and fog, and to promote SLAM research based on 4D radar, thermal imagers and IMUs.

搜集汇总

数据集介绍

构建方式

NTU4DRadLM数据集的构建基于多传感器融合技术，集成了六种异构传感器：4D雷达、热成像相机、IMU、3D LiDAR、视觉相机和RTK GPS。数据采集过程中，使用了两种平台：低速的手推车和高速的多用途车辆，以覆盖不同速度和环境的需求。数据集的构建不仅包括传感器的原始数据采集，还涉及了复杂的传感器校准过程，确保各传感器数据的时间同步和空间对齐。此外，数据集还提供了经过精细调整的地面真值里程计和有意设计的闭环轨迹，以支持SLAM任务的研究。

特点

NTU4DRadLM数据集的显著特点在于其多传感器融合的设计，涵盖了从低速机器人到高速无人车的多种应用场景。数据集不仅包括结构化、非结构化和半结构化环境的数据，还覆盖了从中等规模到大规模的户外环境，轨迹长度从246米到6.95公里不等。此外，数据集的构建考虑了恶劣环境下的鲁棒性，通过结合4D雷达、热成像相机和IMU，确保了在雨、雪、烟雾等不利条件下的有效性。数据集还提供了全面的校准参数和详细的实验评估，为研究人员提供了丰富的资源。

使用方法

NTU4DRadLM数据集的使用方法主要包括数据下载、传感器校准参数的加载以及SLAM算法的实现与评估。研究人员可以通过提供的链接下载数据集，并使用包含的校准参数文件进行传感器数据的预处理。数据集支持多种SLAM算法的实验，包括纯4D雷达SLAM、4D雷达-IMU SLAM和4D雷达-热成像相机SLAM。通过使用数据集中的地面真值里程计和闭环轨迹，研究人员可以对不同算法的性能进行定量和定性分析，从而推动基于4D雷达的SLAM技术的发展。

背景与挑战

背景概述

随着自主移动机器人和无人驾驶车辆的发展，同时定位与地图构建（SLAM）技术逐渐成为关键技术之一。然而，传统的基于激光雷达和视觉的SLAM在恶劣天气条件下（如雨、雪、烟雾等）表现不佳。为此，NTU4DRadLM数据集应运而生，该数据集由南洋理工大学电气与电子工程学院的研究团队于2023年创建，旨在提供一个包含4D雷达、热成像相机、惯性测量单元（IMU）、3D激光雷达、视觉相机和RTK GPS的多模态数据集，以支持在恶劣环境下的SLAM研究。该数据集不仅涵盖了多种传感器，还特别设计了用于SLAM任务的精细调整的地面真实里程计和有意形成的闭环，以促进相关领域的研究。

当前挑战

NTU4DRadLM数据集在构建过程中面临多项挑战。首先，4D雷达作为一种新型传感器，其成本较高，且数据处理复杂。其次，热成像相机的特征提取难度较大，尤其是在低对比度环境下。此外，多传感器间的时空同步和校准也是一个技术难题。在应用层面，该数据集旨在解决恶劣环境下的SLAM问题，但现有算法在处理4D雷达点云时仍存在噪声和稀疏性问题，导致定位精度受限。因此，如何有效融合多传感器数据，提升SLAM在恶劣条件下的鲁棒性和精度，是该数据集面临的主要挑战。

常用场景

经典使用场景

NTU4DRadLM数据集的经典使用场景主要集中在同时定位与地图构建（SLAM）任务中。该数据集通过集成4D雷达、热成像相机、惯性测量单元（IMU）、3D激光雷达、视觉相机和RTK GPS六种传感器，为SLAM算法提供了丰富的多模态数据。这些数据特别适用于在恶劣天气条件下（如雨、雪、烟雾和雾）进行鲁棒的SLAM研究，弥补了传统LiDAR和视觉SLAM在这些条件下的不足。

衍生相关工作

NTU4DRadLM数据集的发布催生了一系列相关研究工作。例如，基于该数据集的研究已经开发了多种SLAM算法，包括纯4D雷达SLAM、4D雷达-IMU SLAM和4D雷达-热成像相机SLAM。这些算法在数据集上的评估结果展示了多传感器融合在提升SLAM系统鲁棒性方面的潜力。此外，数据集的开放还促进了传感器校准和数据融合技术的研究，推动了多模态数据处理领域的发展。

数据集最近研究

最新研究方向

在自动驾驶和机器人导航领域，NTU4DRadLM数据集的推出标志着多模态传感器融合技术在SLAM（同步定位与地图构建）中的应用迈出了重要一步。该数据集不仅整合了4D雷达、热成像相机、IMU、3D LiDAR、视觉相机和RTK GPS六种传感器，还特别针对SLAM任务进行了优化，提供了精细调校的地面真实里程计和有意设计的闭环检测。这一创新为在恶劣环境条件下（如雨、雪、烟雾等）实现鲁棒的SLAM提供了宝贵的资源。NTU4DRadLM数据集的发布，极大地推动了基于4D雷达和热成像相机的SLAM算法研究，尤其是在低速机器人平台和高速无人车平台上的应用，覆盖了从结构化到非结构化的多种环境，为中大型户外环境的SLAM研究提供了全面的支持。

相关研究论文

• NTU4DRadLM: 4D Radar-centric Multi-Modal Dataset for Localization and Mapping

  南洋理工大学电气与电子工程学院 · 2023年