STCrowd

STCrowd是由上海科技大学等机构创建的大规模多模态数据集，专注于拥挤场景中的行人感知。该数据集包含219,000个行人实例，平均每帧20人，具有不同程度的遮挡。数据集提供了同步的激光雷达点云和相机图像以及相应的3D标签和联合ID，适用于多种任务，包括仅使用激光雷达、仅使用图像和传感器融合的行人检测和跟踪。数据集的创建旨在解决现有数据集在拥挤场景下行人感知能力的不足，特别是在3D空间中准确检测和跟踪行人的挑战。STCrowd通过提供高密度分布的行人数据，为开发和测试更有效的行人感知方法提供了平台。STCrowd is a large-scale multimodal dataset developed by ShanghaiTech University and other institutions, focusing on pedestrian perception in crowded scenarios. This dataset contains 219,000 pedestrian instances, with an average of 20 pedestrians per frame, and exhibits varying degrees of occlusion. It provides synchronized LiDAR point clouds, camera images, as well as corresponding 3D annotations and joint IDs, supporting a wide range of tasks including pedestrian detection and tracking via LiDAR-only, image-only, and sensor fusion modalities. The dataset was created to address the limitations of existing datasets in pedestrian perception within crowded scenarios, especially the challenges of accurate pedestrian detection and tracking in 3D space. By offering high-density pedestrian distribution data, STCrowd provides a platform for developing and validating more effective pedestrian perception methods.

搜集汇总

数据集介绍

构建方式

在三维行人感知领域，现有数据集多聚焦于稀疏交通场景，难以应对密集人群中的严重遮挡挑战。STCrowd数据集的构建旨在填补这一空白，其通过搭载128线激光雷达与单目摄像头的车辆采集数据，在9种不同场景中捕获了涵盖晴朗、多云及雨天等多种天气条件的84个序列，共计10,891帧同步多模态数据。数据标注过程历时960人时，由专业团队对点云与图像中的行人实例进行精细化三维边界框标注，并提供了序列间的联合ID，确保了219,000个行人实例标注的高质量与一致性。

特点

STCrowd数据集的核心特点在于其密集人群场景的多样性与挑战性。该数据集平均每帧包含20个行人，在极端拥挤场景中可达30人以上，且以每个行人为中心、5米半径内平均存在8个行人，局部密度显著高于现有主流三维检测基准。数据集涵盖了从稀疏到密集的四级人群密度分布，并包含多样化的行人姿态（如行走、奔跑、骑行等），以及因遮挡导致的严重部分可见情况。此外，数据采集场景背景丰富，涵盖桥梁、建筑等多种环境，且标注中包含了遮挡等级与密度标签，为算法在复杂真实场景中的鲁棒性评估提供了坚实基础。

使用方法

STCrowd数据集支持多种行人感知任务的评估与算法开发。在检测任务中，可采用平均精度（AP）与不同遮挡等级下的平均召回率（AR）进行性能度量；跟踪任务则使用多目标跟踪准确度（MOTA）等指标。数据集适用于纯激光雷达、纯图像以及多模态融合的检测与跟踪方法研究，并提供了轨迹预测的基准评估（如最终位移误差FDE）。研究者可利用其提供的同步点云与图像数据，结合三维边界框、二维边界框及序列联合ID标注，开发并测试针对密集遮挡场景的感知模型，例如通过引入空间注意力与分层热图聚合等机制来增强模型在人群中的个体区分能力。

背景与挑战

背景概述

STCrowd数据集由上海科技大学等机构的研究团队于2022年提出，旨在解决三维空间中行人感知在密集场景下的关键难题。该数据集聚焦于自动驾驶、监控系统及服务机器人等领域，针对现有基准数据集中行人分布稀疏、标注局限于二维的不足，提供了大规模多模态数据，包含同步的激光雷达点云与相机图像，并附有详尽的三维标注与联合ID。其核心研究问题在于提升在严重遮挡与高密度人群环境下的行人检测与跟踪精度，通过涵盖多样场景、天气条件及人体姿态，显著推动了密集场景三维感知算法的评估与发展。

当前挑战

STCrowd数据集所针对的行人感知领域，主要挑战在于密集场景下的严重遮挡、行人姿态多变以及远距离点云稀疏导致的特征丢失，这些因素共同加剧了三维检测与跟踪的难度。在构建过程中，研究团队面临标注高密度人群时实例区分困难、点云与图像数据同步对齐的复杂性，以及在不同天气条件下传感器数据质量波动等技术障碍。此外，确保标注一致性并处理个人隐私保护问题，亦增加了数据集创建的挑战性。

常用场景

经典使用场景

在三维行人感知领域，STCrowd数据集以其高密度人群场景和严重遮挡特性，成为评估多模态检测与跟踪算法的经典基准。该数据集通过同步的激光雷达点云与相机图像，为研究者提供了丰富的三维标注与联合ID，支持纯激光雷达、纯图像及多模态融合等多种任务范式。其每帧平均20人的高密度分布，模拟了真实世界中的拥挤环境，使得算法能够在复杂遮挡条件下接受严格测试，推动了行人感知技术在挑战性场景下的性能突破。

实际应用

STCrowd数据集的实际应用广泛覆盖智能交通与安防领域。在自动驾驶系统中，高精度行人感知对于车辆在校园、车站等拥挤区域的导航至关重要，该数据集为算法在复杂人流中的可靠性验证提供了标准。同时，在服务机器人领域，如配送或巡逻机器人，需在密集人群中安全避障与轨迹规划，STCrowd的多样化场景与天气条件有助于提升系统的环境适应性。此外，该数据集还可用于城市安防监控，通过三维跟踪技术优化人群管理与异常行为检测，增强公共空间的安全效能。

衍生相关工作

基于STCrowd数据集，研究者已衍生出多项经典工作，尤其在提升拥挤场景感知性能方面。例如，论文中提出的密度感知分层热图聚合方法（DHA），通过空间注意力模块与多层次热图监督，有效解决了行人局部聚集导致的检测模糊问题，并在多个基准测试中达到先进水平。此外，该数据集还促进了多模态融合检测方法（如PointPainting、PointAugmenting）在拥挤场景下的优化，以及三维跟踪与轨迹预测算法（如Social-LSTM、StarNet）的改进。这些工作共同推动了行人感知技术向更高密度、更复杂现实环境的拓展。