PFSD (Pedestrian-Focused Scene Dataset)

PFSD是一个面向半结构化环境的行人关注场景数据集，由中国科学院自动化研究所等多家机构共同创建。该数据集以nuScenes格式组织，包含超过13万个行人实例，涵盖不同密度、运动模式和遮挡情况的各种场景。PFSD支持检测、跟踪和分割等多任务，为行人感知和预测提供了丰富的高密度行人注释，适用于解决复杂半结构化环境中行人的感知挑战。PFSD is a pedestrian-focused scenario dataset tailored for semi-structured environments, co-created by multiple institutions including the Institute of Automation, Chinese Academy of Sciences. Organized in the nuScenes format, this dataset contains over 130,000 pedestrian instances, covering various scenarios with different densities, motion patterns and occlusion conditions. PFSD supports multiple tasks such as detection, tracking and segmentation, and provides rich high-density pedestrian annotations for pedestrian perception and prediction, making it suitable for addressing pedestrian perception challenges in complex semi-structured environments.

搜集汇总

数据集介绍

构建方式

PFSD数据集的构建方式是在半结构化场景中，对超过130,000个行人实例进行了严格的注释，包括点云分割、检测和对象ID跟踪。这些场景具有不同的密度、运动模式和遮挡情况，以提供多样化的训练数据。PFSD的数据格式与nuScenes保持一致，以便与其他自动驾驶数据集兼容，并支持各种相机、激光雷达或多模态融合的3D感知任务。

特点

PFSD数据集的特点在于它提供了高密度的行人注释，特别是在半结构化场景中，行人的动态行为和遮挡情况得到了充分的体现。这使得PFSD成为评估自动驾驶感知算法在复杂场景中性能的理想数据集。此外，PFSD支持检测、跟踪和分割任务，允许研究人员开发统一的模型来处理这些任务。

使用方法

PFSD数据集的使用方法是通过提供多样化的半结构化场景，为对象检测、跟踪和分割任务提供了挑战性的数据。研究人员可以使用PFSD来训练和评估模型，以处理高密度的行人环境、复杂的背景和动态变化。PFSD的数据格式与nuScenes保持一致，因此可以使用现有的自动驾驶和感知框架，如OpenPCDet和MMDetection。此外，PFSD还支持分割数据，以进一步提高3D边界框的精度，从而提高检测、轨迹跟踪和预测研究的精度。

背景与挑战

背景概述

PFSD数据集，全称为Pedestrian-Focused Scene Dataset，是由中国科学院自动化研究所多模态人工智能系统实验室的研究人员于2025年创建的。该数据集旨在填补半结构化场景中高质量数据集的空白，特别是针对行人感知和预测任务的不足。PFSD数据集以nuScenes的格式进行标注，提供了全面的多元数据标注，包括点云分割、检测和对象ID跟踪。该数据集包含超过13万个行人实例，涵盖了各种场景、运动模式和遮挡情况。PFSD数据集的创建不仅为自动驾驶感知算法的训练提供了丰富的数据资源，也为研究复杂半结构化环境中的行人检测、跟踪和分割任务提供了新的研究方向。

当前挑战

PFSD数据集面临着多个挑战。首先，半结构化场景中的行人具有更多样化的不规则运动和遮挡，这使得感知模型在处理这类场景时存在显著局限性。其次，构建PFSD数据集的过程中，研究人员需要解决如何在高密度、遮挡严重的场景中有效地捕获和融合多尺度特征的问题。为了应对这些挑战，PFSD数据集的创建者提出了一个新颖的混合多尺度融合网络（HMFN），该网络能够有效地捕获和融合多尺度特征，以检测密集和遮挡场景中的行人。此外，PFSD数据集的标准化格式也有助于提高模型验证的效率，并为算法开发提供了便利。

常用场景

经典使用场景

PFSD数据集最经典的使用场景是自动驾驶领域，特别是在半结构化环境中对行人的感知和预测。该数据集提供了丰富的多模态数据标注，包括点云分割、检测和对象ID用于跟踪，涵盖了超过13万个行人实例，捕捉了各种场景中的不同密度、运动模式和遮挡情况。这些数据对于训练自动驾驶系统中的感知模型至关重要，特别是在复杂城市环境中，行人行为多样且不可预测。PFSD数据集为模型提供了学习行人动态和交互的必要数据，有助于提高自动驾驶系统的准确性和鲁棒性。

实际应用

PFSD数据集在实际应用中，特别是在自动驾驶系统中，发挥着重要作用。它提供了丰富的行人数据，有助于训练和优化自动驾驶系统中的感知算法，从而提高行人的检测和跟踪准确性。此外，PFSD数据集的多模态特性使其适用于各种感知任务，如分割、检测和跟踪，有助于提高自动驾驶系统的整体性能。在安全方面，PFSD数据集有助于提高自动驾驶系统对行人的安全性，特别是在复杂城市环境中，行人行为多样且不可预测。此外，PFSD数据集的发布还有助于推动自动驾驶领域在半结构化环境中行人感知和预测技术的进步，为自动驾驶系统的广泛应用奠定基础。

衍生相关工作

PFSD数据集的发布推动了相关领域的研究进展。例如，基于PFSD数据集，研究者们提出了混合多尺度融合网络（HMFN），该网络通过结合多尺度特征提取和注意力机制，有效地解决了密集半结构化场景中的行人检测问题。实验结果表明，HMFN在PFSD数据集上取得了显著的性能提升，证明了其在解决复杂场景中行人检测问题上的有效性。此外，PFSD数据集的发布还促进了多模态融合技术的发展，以及提高模型在复杂场景中的泛化能力。这些研究成果对于推动自动驾驶领域在半结构化环境中行人感知和预测技术的进步具有重要意义，为自动驾驶系统的广泛应用奠定基础。