MP-ReID

MP-ReID数据集是一个针对多模态多平台行人重识别任务的新型数据集，由上海科技大学等研究机构创建。该数据集整合了地面RGB相机、地面红外相机以及无人机搭载的RGB和热成像相机在不同室内外环境下的采集数据，包含1930个身份标识和136,156个手动标注的边界框。数据集融合了多种模态和平台的数据，为行人重识别研究提供了丰富的资源和挑战。MP-ReID Dataset is a novel dataset for multimodal and multi-platform person re-identification tasks, developed by research institutions such as ShanghaiTech University. This dataset aggregates data captured by ground RGB cameras, ground infrared cameras, and drone-borne RGB and thermal imaging cameras across diverse indoor and outdoor environments, encompassing 1,930 unique pedestrian identities and 136,156 manually annotated bounding boxes. By fusing multi-modal and multi-platform data, this dataset offers abundant resources and realistic challenges for person re-identification research.

搜集汇总

数据集介绍

构建方式

MP-ReID数据集通过整合多种传感器平台和模态数据构建而成，涵盖了地面RGB摄像头、地面红外摄像头、无人机RGB摄像头和无人机热成像摄像头等多种数据来源。数据采集环境包括室内外场景以及无人机航拍视角，确保了数据在复杂现实场景中的多样性和代表性。构建过程中，研究团队采用了先进的YOLOX方法进行行人边界框跟踪，并辅以人工过滤和标注，最终形成了包含1,930个身份和136,156个标注边界框的高质量数据集。

使用方法

MP-ReID数据集适用于多模态和多平台行人重识别算法的开发和评估。研究人员可以利用该数据集进行跨模态和跨平台的模型训练和测试，以验证算法在复杂环境中的鲁棒性。数据集提供了详细的训练和测试划分，支持多种实验设置，包括单一模态、单一平台以及跨模态跨平台的组合。此外，数据集还提供了丰富的统计信息和标注细节，便于研究者进行深入分析和模型优化。

背景与挑战

背景概述

MP-ReID数据集由上海科技大学等机构的研究团队于2025年提出，旨在解决复杂现实场景中多模态多平台行人重识别的关键问题。作为首个整合地面RGB/红外相机与无人机RGB/热成像相机的基准数据集，其包含1,930个身份标识和136,156个标注边界框，覆盖室内外环境及空中视角。该数据集通过14个异构采集设备模拟城市监控场景，突破了传统ReID研究局限于静态单模态数据的瓶颈，为跨模态跨平台的协同感知研究提供了重要实验平台。其创新性体现在三个方面：首次实现四模态（可见光/红外/热成像/UAV视角）数据融合；建立地面-空基协同采集框架；提出基于提示学习的统一评估基准Uni-Prompt ReID。

当前挑战

MP-ReID面临的核心挑战体现在算法层面和构建层面。在算法维度，跨模态差异（如RGB与红外图像间的特征分布偏移）与跨平台差异（如地面相机与无人机的分辨率、视角差异）形成双重域偏移，现有方法在同时处理这两种差异时性能下降显著。构建过程中，多源数据同步采集需解决硬件异构性问题，如无人机热成像相机（640×512）与地面RGB相机（1920×1080）的时空对齐；标注阶段因低分辨率热成像视频导致YOLOX跟踪失效，需人工逐帧比对RGB视频进行标注，耗时约1,500人时。此外，隐私保护要求对136,156个边界框进行面部模糊化处理，并永久删除原始视频，增加了数据合规性管理的复杂度。

常用场景

经典使用场景

MP-ReID数据集在行人重识别（ReID）领域中被广泛应用于多模态和多平台场景下的研究。该数据集整合了来自地面RGB相机、地面红外相机、无人机RGB相机和无人机热成像相机的数据，覆盖了室内、室外及空中视角的多样化环境。研究者利用MP-ReID可以评估算法在复杂光照条件、不同视角和多种传感器模态下的性能表现，特别是在跨模态（如RGB与红外图像）和跨平台（如地面与无人机视角）任务中的鲁棒性。

解决学术问题

MP-ReID数据集解决了传统行人重识别研究中单模态和静态相机数据的局限性问题。通过提供多模态（RGB、红外、热成像）和多平台（地面相机、无人机）的数据，该数据集支持研究者探索如何有效融合不同传感器和视角的信息，以应对现实场景中的复杂挑战。其意义在于推动了跨模态和跨平台ReID算法的发展，为智能监控、安防系统等领域提供了更强大的技术支持。

实际应用

MP-ReID数据集的实际应用场景包括城市安防监控、智能交通管理和无人机巡检等。例如，在夜间或低光照环境下，红外和热成像数据可以弥补RGB相机的不足；无人机视角则能覆盖广阔区域，提供地面相机无法获取的俯瞰视角。这些多模态和多平台数据的结合，使得行人重识别系统能够在全天候、多场景下实现高效、准确的识别，从而提升公共安全和管理效率。

数据集最近研究

最新研究方向

近年来，MP-ReID数据集在行人重识别（ReID）领域引起了广泛关注，特别是在多模态和多平台场景下的应用。该数据集通过整合地面RGB相机、地面红外相机、无人机RGB相机和无人机热成像相机的数据，为复杂环境下的行人识别提供了全面的研究平台。前沿研究方向主要集中在跨模态和跨平台的联合学习框架，如Uni-Prompt ReID，该方法通过模态感知和平台感知的提示学习，显著提升了在多变环境中的识别性能。此外，MP-ReID数据集的出现填补了现有数据集中在多模态和多平台联合研究上的空白，为智能监控、城市安防等实际应用提供了重要的技术支持。

相关研究论文

• Multi-modal Multi-platform Person Re-Identification: Benchmark and Method

  上海科技大学, 西安交通大学利物浦大学, Surrey大学, 伦敦玛丽女王大学 · 2025年