MCD (Multi-Campus Dataset)

MCD数据集是由南洋理工大学电气与电子工程学院等多个研究机构合作创建的，旨在为机器人感知提供一个多样化的大型多校区数据集。该数据集包含多种传感模式，如CCS和NRE激光雷达、高质量的IMU、摄像头和UWB传感器，并提供了高精度的地面实况数据。数据集覆盖了三个欧亚大学校区的多样化挑战性环境，包含18个序列，超过20万次激光雷达扫描和150万次摄像头帧。此外，数据集还包含了29个类别的语义标注，覆盖了59,000次稀疏NRE激光雷达扫描，为现有的语义分割研究提供了新的挑战。MCD数据集的应用领域广泛，旨在解决机器人感知中的多种问题，推动下一代成本效益高的机器人、人工智能和AR/VR系统的发展。

The MCD Dataset was collaboratively developed by multiple research institutions including the School of Electrical and Electronic Engineering of Nanyang Technological University, with the goal of providing a diverse, large-scale multi-campus dataset for robotic perception. This dataset integrates various sensing modalities, including CCS and NRE LiDARs, high-quality IMUs, cameras, and UWB sensors, and provides high-precision ground truth data. It covers diverse and challenging environments across three university campuses in Eurasia, comprising 18 sequences, over 200,000 LiDAR scans, and 1.5 million camera frames. Furthermore, the dataset includes semantic annotations for 29 categories, covering 59,000 sparse NRE LiDAR scans, which poses new challenges for existing semantic segmentation research. The MCD Dataset has a wide range of application scenarios, aiming to address various issues in robotic perception and advance the development of next-generation cost-effective robots, artificial intelligence, and AR/VR systems.

搜集汇总

数据集介绍

构建方式

MCD (Multi-Campus Dataset) 是一个为了解决机器人感知挑战而设计的多校园数据集。该数据集由来自三个欧亚大学校园的广泛传感器模态组成，包括经典旋转激光雷达和非重复回旋激光雷达，高质量惯性测量单元 (IMU)、摄像头和超宽带 (UWB) 传感器。数据集收集了 18 个序列，超过 200,000 个激光雷达扫描，1,500,000 个摄像头帧以及高频 IMU 和 UWB 数据。此外，该数据集还引入了 29 个类别的语义注释，涵盖了 59,000 个稀疏 NRE 激光雷达扫描，为语义分割研究提供了新的挑战。

特点

MCD 数据集具有以下特点：多传感器模态、NRE 点云的点注释、更广泛的领域覆盖、连续时间真实值和感知挑战。该数据集提供了丰富的传感器模态，包括经典旋转激光雷达和非重复回旋激光雷达，以及传统摄像头、IMU 和 UWB 传感器。此外，该数据集还引入了 29 个类别的语义注释，为 NRE 激光雷达系统提供了点注释。数据集涵盖了来自三个欧亚大学校园的数据，提供了更广泛的领域覆盖，并引入了连续时间真实值，为高 FPS 游戏和 AR/VR 设备提供了支持。该数据集还涵盖了感知挑战，如极端照明、玻璃反射和太阳干扰，为训练机器人系统以处理此类边缘情况提供了支持。

使用方法

MCD 数据集的使用方法包括以下几个方面：下载数据集、加载数据集、使用数据集进行实验和评估。用户可以从官方网站下载 MCD 数据集，并根据提供的加载脚本进行数据加载。数据集提供了丰富的传感器模态和语义注释，用户可以使用这些数据来训练和评估各种机器人感知算法。此外，该数据集还提供了各种实验和评估结果，以供用户参考和改进算法。

背景与挑战

背景概述

MCD (Multi-Campus Dataset) 是一个多模态大规模数据集，旨在解决机器人感知领域中的多种挑战。该数据集由新加坡南洋理工大学、瑞典皇家理工学院和德国汉堡工业大学的研究人员于2024年3月共同创建。MCD 数据集包含来自三个欧亚大学校园的广泛传感器模态、高精度地面实况和多样化的挑战性环境。数据集包含 CCS 和 NRE 激光雷达、高质量的 IMU、相机和 UWB 传感器等多种模态。此外，MCD 数据集在三个领域中对 59k 个稀疏 NRE 激光雷达扫描进行了 29 个类别的语义标注，为语义分割研究提供了新的挑战。MCD 数据集还首次提出了基于优化和激光雷达-惯性数据在大规模测图级先验图上注册的连续时间地面实况，这些先验图也公开发布，每个都比现有的先验图大几倍。MCD 数据集的创建对于推动机器人感知领域的研究具有重要意义，它为开发下一代、成本效益高的机器人、人工智能和 AR/VR 系统提供了丰富的数据资源。

当前挑战

MCD 数据集面临的主要挑战包括：1) NRE 激光雷达的扫描稀疏性和视场有限，以及 UWB 技术的非视距观测，这些因素给环境感知任务带来了复杂性，同时也为研究开辟了新的方向；2) MCD 数据集包含来自三个不同校园的数据，每个校园的环境和气候条件都存在差异，导致特征先验分布的显著变化，为机器人学习和泛化能力提出了挑战；3) 现有的 3D 语义分割方法在 NRE 激光雷达点云上的表现较差，需要在点云模式和特征提取方面进行改进；4) 跨校园的领域差异对语义分割网络的泛化能力提出了更高的要求，需要进一步研究以提高分割网络的泛化能力。

常用场景

经典使用场景

MCD 数据集，全称为 Multi-Campus Dataset，是一个包含多种传感器模态、高精度地面真实数据以及跨越三个欧亚大学校园的多样化挑战性环境的综合数据集。它旨在解决现有数据集在机器人感知领域存在的不足，如过度依赖自动驾驶场景、缺乏环境域变化、未标记 SLAM 数据集快速过拟合等问题。MCD 数据集的引入为机器人感知领域的研究提供了新的机遇和挑战。

解决学术问题

MCD 数据集解决了现有数据集在机器人感知领域存在的多个问题。首先，它克服了现有数据集过度依赖自动驾驶场景的局限性，提供了更广泛的环境和域覆盖范围。其次，MCD 数据集包含了多种传感器模态，包括传统的旋转激光雷达、新型 MEMS NRE 激光雷达、传统相机以及 IMU 和 UWB 传感器，从而为研究提供了更全面的数据支持。此外，MCD 数据集还提供了点云语义标注，为 NRE 激光雷达系统的语义分割研究提供了新的挑战。最后，MCD 数据集提出了基于测图级先验图注册的连续时间地面真实数据，为 SLAM 和定位研究提供了更高的精度。MCD 数据集的引入对机器人感知领域的研究具有重要意义，它为研究人员提供了更全面、更准确的数据支持，有助于推动该领域的技术发展。

衍生相关工作

MCD 数据集的引入促进了相关领域的研究进展，衍生了多个经典工作。例如，MCD 数据集被用于评估多种最先进的 SLAM 方法，包括 LIOSAM、FLIO、DLIO 和 SLICT，从而揭示了这些方法在不同场景下的性能表现和局限性。此外，MCD 数据集还被用于评估多种最先进的视觉-惯性 SLAM 方法，包括 VINS、KIMERA 和 OPENVINS，从而揭示了这些方法在夜间场景下的性能表现和挑战。此外，MCD 数据集还被用于评估多种最先进的语义分割方法，包括 SalsaNext、MKNet、SPVCNN、SDSeg3D、Cylinder3D、WaffleIron 和 S-Former，从而揭示了这些方法在 NRE 激光雷达模态下的性能表现和局限性。MCD 数据集的引入为机器人感知领域的研究提供了新的机遇和挑战，促进了相关领域的技术发展。