G2APS

G2APS数据集由西北工业大学创建，包含31,770张图像和260,559个标注边界框，涉及2,644个身份，这些身份在无人机和地面监控摄像头中均有出现。数据集通过模拟实际的跨平台地面到空中监控场景来收集，地面监控摄像头固定在离地面约2米的高度，而无人机则在不同位置、角度和飞行模式下捕捉视频。G2APS数据集具有独特的特征，如查询和图库人物图像之间的视角变化剧烈，以及在九种丰富的真实世界场景中人物图像的多样分辨率、姿态和视角。该数据集旨在解决跨平台人物搜索问题，特别是在没有地面监控摄像头的农村地区，通过无人机辅助搜索感兴趣的人物。

The G2APS dataset was created by Northwestern Polytechnical University, comprising 31,770 images and 260,559 annotated bounding boxes, covering 2,644 identities that appear in both drone and ground surveillance camera footage. The dataset was collected by simulating realistic cross-platform ground-to-aerial surveillance scenarios: ground surveillance cameras were fixed at a height of approximately 2 meters above the ground, while drones captured videos under varying positions, angles and flight modes. The G2APS dataset features unique characteristics, such as drastic viewpoint changes between query and gallery person images, as well as diverse resolutions, poses and viewpoints of person images across nine rich real-world scenarios. This dataset is designed to address cross-platform person search problems, especially in rural areas without ground surveillance cameras, where drones are utilized to assist in searching for persons of interest.

搜集汇总

数据集介绍

构建方式

在跨平台智能监控应用背景下，G2APS数据集的构建采用了严谨的多源数据采集策略。研究团队利用DJI消费级无人机与地面监控摄像头，在九个真实场景中同步采集视频数据，包括校园、地铁站入口、十字路口等多样化环境。地面摄像头固定于约2米高度，无人机则在20至60米的不同高度，以悬停、巡航和旋转等多种飞行模式进行拍摄，以模拟实际监控场景的复杂性。视频数据以0.5秒间隔采样，最终获得31,770张图像，并经过专业标注工具Colabeler处理，生成了260,559个边界框标注，其中199,696个框对应2,644个在无人机与地面摄像头中均出现的身份ID，确保了数据的跨平台对应关系。

特点

G2APS数据集展现出若干显著特征，使其在行人搜索领域独具价值。数据集包含了跨平台的视角剧烈变化，查询图像来自地面监控视角，而图库图像则源自无人机俯视视角，这种视角差异带来了巨大的外观变化挑战。同时，数据集中行人图像具有多样的分辨率、姿态和视角，无人机在不同高度和飞行模式下捕获的图像，使得行人尺度从5到70像素宽不等，覆盖了从正面到顶视的丰富视角。此外，数据集涵盖九个真实世界场景，提供了环境多样性，而平均每个身份拥有75个边界框的标注密度，远高于同类数据集，为模型训练提供了充足的数据支持。

使用方法

G2APS数据集的使用遵循行人搜索任务的标准评估协议。数据集被划分为训练集和测试集，其中2,078个身份的21,962张图像用于训练，566个身份的9,808张图像用于测试。在测试阶段，每个查询身份对应一张地面监控图像和50张无人机图像构成的图库，其中包含10张相同身份的图像。评估时，采用交并比大于0.5作为检测匹配标准，并以平均精度均值（mAP）和累积匹配特性（CMC）作为重识别性能的主要指标。该数据集支持端到端和两步式行人搜索方法的评估，研究者可通过提供的基准代码复现实验，或在此基础上开发新的跨平台行人搜索算法。

背景与挑战

背景概述

随着无人机技术在视觉应用领域的快速发展，跨平台智能监控系统逐渐成为研究热点。在此背景下，西北工业大学与西安电子科技大学的研究团队于2023年联合推出了首个大规模地空跨平台行人搜索数据集G2APS。该数据集旨在解决传统单平台监控系统在复杂场景下的局限性，通过整合地面固定摄像头与无人机航拍视角，构建了包含31,770张图像、260,559个标注边界框的丰富数据资源，覆盖2,644个在两种设备中均出现的行人身份。数据采集模拟了真实监控场景，涵盖校园、地铁站、旅游景点等九类环境，无人机飞行高度在20至60米间动态变化，并采用悬停、巡航等多种飞行模式，从而在视角差异、分辨率多样性及姿态变化方面形成了显著特色。G2APS的建立为跨平台行人搜索研究提供了关键基准，推动了智能监控技术向立体化、多维化方向发展。

当前挑战

G2APS数据集所针对的行人搜索任务面临多重挑战。在领域问题层面，跨平台监控导致查询图像（地面视角）与检索图像（空中视角）之间存在剧烈的视角差异，行人外观因拍摄高度、角度和分辨率变化而产生显著类内差异，增加了身份匹配的难度。同时，无人机航拍图像中行人目标尺寸较小且常伴有遮挡，对细粒度特征学习提出了更高要求。在数据集构建过程中，挑战主要体现在跨设备身份标注的复杂性上，需人工匹配同一行人在无人机与地面摄像头中的出现序列，耗时耗力；此外，数据采集需协调多种飞行模式与环境场景，确保视角与姿态的多样性，同时维持标注的一致性与准确性，这些因素共同构成了数据集构建的技术壁垒。

常用场景

经典使用场景

在跨平台智能监控领域，G2APS数据集为地面到空中行人搜索任务提供了经典的应用场景。该数据集通过模拟真实世界中的监控环境，将地面固定摄像头与无人机航拍视角相结合，构建了一个包含九种丰富场景的大规模基准。其核心应用在于评估和优化行人搜索算法在视角剧烈变化、分辨率差异显著以及姿态多样性条件下的性能，为跨平台监控系统的算法开发与验证提供了关键支撑。

解决学术问题

G2APS数据集主要解决了跨平台行人搜索中的若干核心学术问题。它首次系统性地应对了地面与空中视角间的巨大差异所导致的类内变化挑战，包括视角突变、分辨率不一致以及姿态多样性等难题。该数据集通过提供大规模标注数据，促进了行人检测与重识别联合优化方法的研究，特别是在缓解检测与重识别目标冲突方面提供了实证基础，推动了端到端行人搜索算法的性能提升与理论创新。

衍生相关工作

围绕G2APS数据集，已衍生出多项重要的研究工作。原论文提出的头部知识蒸馏方法为端到端行人搜索框架提供了新的优化思路，后续研究在此基础上进一步探索了多模态特征融合、跨视角对齐等方向。该数据集也促进了针对视角不变性表征学习的研究，例如基于图拓扑的部件匹配方法HOreid在该数据集上展现出优越性能。这些工作共同推动了跨平台行人搜索领域的技术演进，并为后续无人机与地面监控协同的智能系统开发奠定了算法基础。