Multi-modal Panoramic 3D Outdoor (MPO) Datasets

MPO数据集由九州大学团队开发，包含高分辨率Dense MPO（650条扫描）和低分辨率Sparse MPO（34,200条扫描）两个子集，涵盖森林、海岸、居民区等六类室外场景。数据通过FARO/Velodyne激光扫描仪与全景相机同步采集，包含3D点云、反射率及彩色图像等多模态信息。该数据集通过静态和动态平台采集，旨在为移动机器人及自动驾驶车辆提供室外场景分类基准，解决复杂环境下的语义地点识别问题。

The MPO dataset, developed by a team from Kyushu University, comprises two subsets: high-resolution Dense MPO (650 scans) and low-resolution Sparse MPO (34,200 scans). It covers six categories of outdoor scenes such as forests, coasts, residential areas and more. The data was synchronously collected using FARO/Velodyne laser scanners and panoramic cameras on both static and dynamic platforms, and contains multimodal information including 3D point clouds, reflectivity data and color images. This dataset aims to provide an outdoor scene classification benchmark for mobile robots and autonomous vehicles, addressing the challenge of semantic place recognition in complex environments.

搜集汇总

数据集介绍

构建方式

在机器人环境感知领域，多模态数据融合为室外场景理解提供了新的视角。MPO数据集的构建采用了两种激光扫描系统：高分辨率FARO Focus3D传感器系统用于采集密集数据集，通过静态测量获取同步的彩色、反射率和距离全景图像，单次扫描生成约900万点的彩色三维点云，共包含650组扫描数据；低分辨率Velodyne HDL-32E激光雷达则用于稀疏数据集，结合全景彩色相机和GPS，在动态移动平台上以2-6赫兹频率采集，总计获得34,200组扫描序列。数据覆盖森林、海岸、住宅区、城市区及室内外停车场六类语义场景，每类场景在多个地理位置进行采样，确保了数据的多样性和代表性。

特点

该数据集的核心特点在于其多模态与多分辨率的协同设计。密集数据集提供高精度的彩色三维点云、反射率及距离全景图像，空间分辨率达到5140×1757像素，适用于静态环境的精细分析；稀疏数据集则侧重于动态实时采集，包含低分辨率点云、球形彩色图像及GPS定位信息，模拟了移动机器人在实际运行中的感知条件。两类数据均统一标注六种室外场景类别，形成了互补的评估基准。数据集的公开性进一步支持了室外场景分类算法的标准化测试，其多模态特性为特征融合与跨模态学习提供了丰富的研究素材。

使用方法

MPO数据集主要用于室外场景分类任务的算法开发与性能评估。研究者可分别利用密集与稀疏数据集，测试局部二值模式、旋转图像及纹理基元等特征描述符在单模态或多模态数据上的分类效能。数据集支持支持向量机等监督学习方法，并可结合多数投票技术处理时序扫描数据以提升分类鲁棒性。使用前需从公开网站下载数据文件，依据提供的点云、图像及标注信息构建特征向量，进而训练和验证分类模型。该数据集为移动机器人及自动驾驶系统的场景理解研究提供了可靠的实验平台。

背景与挑战

背景概述

在机器人学与计算机视觉领域，环境感知是实现自主导航与智能交互的核心课题。由九州大学研究团队于2016年提出的多模态全景三维户外（MPO）数据集，旨在填补户外场景语义分类研究中三维数据资源的空白。该数据集包含密集与稀疏两个版本，分别采用FARO与Velodyne激光雷达采集，涵盖森林、海岸、居住区、城市区及室内外停车场六类语义场景，共提供650组高分辨率彩色点云与34,200组低分辨率序列扫描。MPO数据集通过融合多模态信息（包括反射强度、彩色图像与GPS数据），为移动机器人及自动驾驶系统的场景理解提供了重要的基准测试平台，推动了户外环境语义建模与分类算法的发展。

当前挑战

MPO数据集致力于解决户外场景语义分类这一复杂问题，其核心挑战在于如何从多模态、多分辨率的点云数据中有效提取鲁棒的特征，以区分视觉相似但语义迥异的户外场景（如城市区与居住区）。在数据构建过程中，研究团队面临多重技术难题：高精度FARO扫描仪虽能获取千万级点云，但单次采集耗时长达三分钟，难以适应动态环境；而Velodyne传感器虽可实现实时扫描，却因点云稀疏性导致细节信息丢失。此外，多传感器数据的时间同步、空间配准以及大规模点云的高效标注，均为数据集构建带来了显著的技术障碍。

常用场景

经典使用场景

在机器人环境感知领域，MPO数据集为室外场景语义分类提供了多模态全景三维数据基准。该数据集通过高分辨率FARO激光扫描仪和低分辨率Velodyne激光扫描仪，分别采集了包含森林、海岸、居住区等六类场景的同步点云与图像数据。研究者常利用其密集与稀疏版本，评估局部二值模式、自旋图像等特征描述符在静态与动态环境下的分类性能，为移动机器人实现“我在何处”的语义理解建立标准化测试平台。

衍生相关工作

基于MPO数据集，学术界衍生出一系列室外场景理解的相关研究。例如，研究者通过融合局部二值模式与局部N元模式等多模态特征，提升了稀疏点云场景的分类准确率；另有工作借鉴其多传感器同步框架，开发了适用于动态环境的大规模场景标注工具。这些成果进一步拓展至语义SLAM、三维重建等领域，形成了以多模态融合为核心的室外场景认知技术体系，持续推动机器人感知技术的边界。

数据集最近研究

最新研究方向

在机器人感知与自主导航领域，多模态全景三维户外（MPO）数据集为室外场景理解提供了关键基准。随着自动驾驶与移动机器人技术的快速发展，室外环境的语义分类成为研究热点，该数据集通过融合高分辨率激光点云、反射率图像与全景色彩信息，推动了基于多模态融合的深度学习模型在场景识别中的应用。前沿研究聚焦于利用图神经网络处理稀疏点云序列，结合时序信息进行动态环境下的实时地点分类，同时探索跨模态特征对齐以提升模型在复杂光照与天气条件下的鲁棒性。这些进展不仅增强了机器人在未知户外场景中的上下文感知能力，也为智慧城市与环境监测等应用提供了数据支撑。

相关研究论文

• Multi-modal panoramic 3D outdoor datasets for place categorization

  九州大学·信息科学与电气工程学院; 卡塔赫纳理工大学 · 2026年