MSP60K

MSP60K是由安徽大学创建的一个大规模跨域行人属性识别数据集，包含60,122张图像和57个属性标签，涵盖八个不同场景。数据集通过智能监控系统和手机收集，经过模糊、遮挡、光照变化等破坏性操作处理，以更好地模拟真实世界挑战。数据集的创建旨在解决现有数据集性能接近饱和、忽视跨域影响等问题，适用于行人检测、跟踪等以人为中心的任务，推动行人属性识别模型的发展和实际部署。

MSP60K is a large-scale cross-domain pedestrian attribute recognition dataset created by Anhui University. It consists of 60,122 images and 57 attribute labels, spanning eight distinct scenarios. The dataset is collected via intelligent surveillance systems and mobile phones, and has been subjected to degradations such as blurring, occlusion, and illumination variations to better mimic real-world challenges. It was developed to resolve the shortcomings of existing datasets, namely their nearly saturated performance and the oversight of cross-domain impacts. This dataset is applicable to human-centric tasks including pedestrian detection and tracking, and contributes to advancing the development and real-world deployment of pedestrian attribute recognition models.

搜集汇总

数据集介绍

构建方式

MSP60K数据集的构建旨在填补行人属性识别领域的大规模跨域数据集的空白。该数据集包含60,122张图像，涵盖了57种属性标注，跨越八个不同的场景。为了模拟真实世界中的复杂环境，数据集还进行了合成降级处理，包括模糊、遮挡、光照变化、噪声添加和JPEG压缩等操作。这些图像根据随机分割和跨域分割两种协议进行划分，以确保数据集能够全面评估模型在不同场景下的性能。

使用方法

MSP60K数据集可用于评估和训练行人属性识别模型。研究者可以使用随机分割和跨域分割两种协议来测试模型的泛化能力。此外，数据集还提供了17种代表性的行人属性识别模型的基准测试结果，这为未来的研究提供了参考。研究者还可以利用数据集中的合成降级图像来增强模型的鲁棒性，使其在真实世界的复杂环境中表现更佳。

背景与挑战

背景概述

行人属性识别（Pedestrian Attribute Recognition, PAR）是计算机视觉和人工智能领域中不可或缺的任务之一。然而，现有的数据集往往忽视了不同领域（如环境、时间、人群和数据来源）的差异，仅进行简单的随机分割，导致这些数据集的性能已经接近饱和。在过去五年中，没有大规模的数据集向公众开放。为了解决这一问题，本文提出了一种新的跨领域大规模行人属性识别数据集，称为MSP60K。该数据集包含60,122张图像和57个属性注释，涵盖八个场景。通过合成降级，进一步缩小了数据集与现实世界挑战场景之间的差距。为了建立更严格的基准，我们在数据集上评估了17种代表性的PAR模型，并提出了一种创新的大型语言模型（LLM）增强的PAR框架，称为LLM-PAR。

当前挑战

MSP60K数据集的构建面临多个挑战。首先，现有的行人属性识别数据集性能接近饱和，新算法的性能提升趋势减弱。其次，现有数据集使用随机分割进行模型训练和测试，忽视了跨领域（如不同环境、时间、人群和数据来源）对PAR模型的影响。此外，现有数据集未能显著反映挑战因素，可能导致在实际应用中忽视数据损坏的影响，从而带来安全隐患。最后，构建大规模、跨领域的行人属性识别数据集需要克服数据收集、标注和合成降级的复杂性。

常用场景

经典使用场景

MSP60K数据集在行人属性识别（PAR）领域中被广泛应用于模型训练和评估。其经典使用场景包括但不限于：通过深度学习模型对行人图像进行多属性分类，如性别、发型、衣着等。数据集的多样性和大规模特性使其成为评估模型在不同环境和时间条件下泛化能力的重要基准。

解决学术问题

MSP60K数据集解决了现有行人属性识别数据集在跨域（如不同环境、时间、人群和数据源）分割上的不足，以及性能接近饱和的问题。通过引入大规模、跨域的行人图像和属性标注，该数据集为研究者提供了一个更为严格和全面的基准，推动了行人属性识别技术的发展，特别是在处理复杂和动态真实世界场景中的挑战。

实际应用

在实际应用中，MSP60K数据集支持多种行人属性识别任务，如智能监控系统中的行人检测与跟踪、行人再识别和检索等。其丰富的属性和场景多样性使得训练出的模型能够更好地适应实际应用中的复杂环境，提高系统的鲁棒性和准确性。

数据集最近研究

最新研究方向

在行人属性识别（PAR）领域，最新的研究方向集中在构建大规模、跨域的数据集以解决现有数据集性能接近饱和的问题。MSP60K数据集的提出填补了这一空白，该数据集包含60,122张图像和57个属性标注，涵盖八个场景，并通过合成降级进一步模拟真实世界的挑战性场景。前沿研究不仅关注数据集的构建，还提出了基于大语言模型（LLM）增强的PAR框架，如LLM-PAR，该框架通过视觉Transformer（ViT）提取特征，并引入多嵌入查询Transformer学习部分感知特征，结合LLM进行集成学习和视觉特征增强。这些研究不仅提升了模型在多属性识别任务中的表现，还为行人属性识别在实际应用中的鲁棒性和准确性提供了新的解决方案。

相关研究论文

• Pedestrian Attribute Recognition: A New Benchmark Dataset and A Large Language Model Augmented Framework

  安徽大学 · 2024年