Street Scene

Street Scene数据集是由北卡罗来纳州立大学和三菱电机研究实验室共同创建的一个大型视频异常检测数据集。该数据集包含205个异常事件，视频内容涵盖了城市街道、自行车道和人行道等多种场景。数据集的创建过程注重捕捉自然发生的异常行为，而非人为安排。Street Scene数据集主要用于视频异常检测算法的开发和评估，旨在提高算法在实际监控场景中的准确性和实用性。The Street Scene Dataset is a large-scale video anomaly detection dataset jointly created by North Carolina State University and Mitsubishi Electric Research Laboratories. This dataset contains 205 anomalous events, with video content covering various scenarios such as urban streets, bicycle lanes, and sidewalks. The development of this dataset prioritizes capturing naturally occurring anomalous behaviors rather than artificially staged ones. The Street Scene Dataset is primarily used for the development and evaluation of video anomaly detection algorithms, with the goal of enhancing the accuracy and practicality of such algorithms in real-world surveillance scenarios.

搜集汇总

数据集介绍

构建方式

Street Scene数据集由一台静态USB摄像头拍摄而成，镜头俯瞰一条包含双向机动车道、自行车道和人行道的城市街道场景。视频采集于连续两个夏季的白天时段，共包含46段训练序列和35段测试序列，总计203,257帧彩色图像，每帧分辨率为1280×720像素。训练视频仅包含正常活动，如行人沿人行道行走、车辆合法行驶或停放、自行车在自行车道内骑行等；测试视频则标注了205个异常事件，涵盖17种异常类型，如乱穿马路、自行车驶出车道、徘徊等。所有异常均为自然发生，而非人为编排。标注以逐帧边界框形式提供，每个异常事件附带唯一轨迹编号，支持时空定位评估。

特点

该数据集具有显著的大规模与多样性特征，其异常事件数量几乎相当于现有所有单场景数据集之和，异常类型丰富且包含大量静态异常（如非法停车、徘徊）和动态异常（如逆行、违规转弯）。视频分辨率高，场景复杂，包含变化的阴影、飘动的旗帜和树木等动态背景，极具挑战性。数据集还引入了基于轨迹和基于区域的两项新评估指标，通过交并比阈值（0.1）判定检测是否成功，并逐区域计数假阳性，克服了传统帧级和像素级指标无法正确评估空间定位与多异常帧的缺陷。

使用方法

使用该数据集时，研究者需基于训练视频中的正常活动构建模型，并在测试视频中检测异常。建议采用新提出的轨迹级检测率（TBDR）和区域级检测率（RBDR）作为评估标准，通过调整异常分数阈值生成ROC曲线，以平均检测率衡量算法性能。基线算法将视频划分为时空块，提取前景掩码或光流特征，并通过最近邻距离计算异常分数。数据集官方提供完整标注和下载链接，便于复现与对比。研究者应避免使用传统帧级与像素级指标，因其无法准确反映实际检测效果。

背景与挑战

背景概述

视频异常检测是计算机视觉领域的重要研究方向，旨在从监控视频中自动识别与常规行为显著偏离的时空片段。然而，现有数据集如UCSD Pedestrian、CUHK Avenue等普遍存在场景单一、异常事件数量有限、种类匮乏及分辨率低下等问题，且评估准则未能合理衡量空间定位精度与误报计数，制约了算法在实际场景中的泛化能力。为突破这一瓶颈，Bharathkumar Ramachandra和Michael J. Jones于2019年提出了Street Scene数据集，该数据集由北卡罗来纳州立大学与三菱电机研究实验室联合创建，包含超过20万帧1280×720分辨率的高清视频，覆盖双向城市街道、自行车道及人行道等复杂场景，收录了205个自然发生的异常事件，涵盖17种异常类型，并提供了基于轨迹的边界框标注。Street Scene的发布为视频异常检测研究树立了更具挑战性的基准，推动了领域向真实场景与精细化评估方向迈进。

当前挑战

Street Scene数据集在解决视频异常检测领域问题与构建过程中面临多重挑战。在领域问题层面，核心挑战在于如何从单一场景的正常训练视频中，精准检测兼具时空局部性的异常事件，如行人乱穿马路、自行车驶出车道、车辆违规掉头等，这些异常行为往往与正常活动的边界模糊，且需同时满足空间定位与时间连续性要求。现有算法多依赖帧级或像素级评估准则，但此类准则无法正确统计多异常帧中的误报区域，导致性能评估失真。在数据集构建过程中，挑战集中于收集自然而非人为编排的异常行为，需严格筛选46段训练视频确保仅含正常活动（如行人步行、车辆合法行驶），同时从35段测试视频中标注205个异常事件，涵盖17种类型，标注工作需为每帧中的异常区域提供轨迹编号与边界框，工作量巨大且需确保标注一致性。此外，场景中动态阴影、飘动的旗帜与树木等背景干扰进一步增加了建模难度。

常用场景

经典使用场景

在视频异常检测研究领域，Street Scene数据集常被用作评估算法在真实城市交通场景中检测异常行为能力的基准。该数据集包含一段双车道城市街道的高分辨率视频，涵盖自行车道和人行道，记录了车辆行驶、转弯、停车，行人行走、慢跑，以及骑行者等多种正常活动。其经典使用场景是训练和测试模型以识别诸如乱穿马路、骑行者偏离车道、车辆违规掉头等自然发生的异常事件，从而推动算法从简单场景向复杂现实环境的迁移。

实际应用

在实际应用中，Street Scene数据集直接服务于智能视频监控系统的开发与优化。其场景模拟了典型城市街道的监控环境，算法可借此学习检测行人乱穿马路、车辆违规行驶、非法停车等公共安全事件，从而辅助安防人员快速定位异常，减少人力监控成本。此外，该数据集还适用于自动驾驶环境感知中的行为预测，帮助车辆识别道路上的非常规动态，提升行车安全。

衍生相关工作

Street Scene数据集衍生了一系列经典工作，推动了视频异常检测方法的发展。例如，基于前景掩码和光流特征的最近邻基线算法被提出，作为后续研究的性能参照。随后，研究者们在此基础上发展出深度自编码器、稀疏字典学习等模型，并尝试将轨迹与区域评估准则融入现有框架。该数据集还激发了针对静态异常（如闲逛、非法停车）的专项研究，促进了运动与外观特征融合技术的创新。