HAJJv2-CrowdCount

HAJJv2-CrowdCount是由沙特阿拉伯研究团队创建的专门用于密集人群计数评估的基准数据集。该数据集基于HAJJv2测试视频构建，包含9段麦加朝觐场景视频，以每秒一帧采样，共计167个标注帧，覆盖从稀疏到极端密集（最高约1700人/帧）的人群密度范围。数据集创建过程采用人工逐帧标注，遵循严格的可见性判定规则，并通过双重计数与核查确保标注质量。该数据集旨在为零样本人群计数模型提供评测基准，特别针对高密度、严重遮挡及垂直视角的复杂场景，以支持朝觐人群管理等安全关键应用中的算法可靠性评估。HAJJv2-CrowdCount is a benchmark dataset specifically designed for dense crowd counting assessment, developed by a Saudi Arabian research team. Constructed based on the HAJJv2 test videos, this dataset encompasses 9 videos of Mecca Hajj pilgrimage scenes, sampled at 1 frame per second, yielding a total of 167 annotated frames. The dataset covers a wide range of crowd density from sparse to extremely dense, with a peak of approximately 1700 people per frame. During the dataset construction, manual frame-by-frame annotation was employed, adhering to strict visibility judgment rules, and dual counting and verification procedures were carried out to guarantee annotation quality. This dataset is intended to serve as an evaluation benchmark for zero-shot crowd counting models, with a particular focus on complex scenarios featuring high crowd density, severe occlusion and vertical perspectives, so as to support the assessment of algorithm reliability in safety-critical applications such as Hajj crowd management.

原始信息汇总

数据集概述

HAJJv2-CrowdCount 是一个基于 HAJJv2 监控视频数据集构建的帧级别人群计数标注基准，旨在为高密度、真实世界哈吉场景下的人群计数算法评估提供经过人工验证的真实标注。

数据集统计

属性	数值
总视频数量	18
训练视频数量	9
测试视频数量	9
总标注帧数	383
训练帧数	216
测试帧数	167
采样率	1 FPS
最少人群数	56
最多人群数	1800
平均人群数	319.6
中位人群数	112

数据集特征

• 包含低、中、高密度人群场景
• 监控视角为俯视和倾斜角度
• 存在透视畸变和严重的行人遮挡
• 人群流动动态变化
• 可见人群规模差异较大

标注方法

• 以 1 帧/秒（1 FPS） 均匀抽取帧
• 每帧由人工独立计数，每帧至少计数两次
• 计数差异通过人工复核解决
• 所有视频应用统一的计数规则
• 详细标注协议见 annotations/annotation_protocol.md
• 详细计数规则见 annotations/annotation_guidelines.pdf

标注格式

每个标注文件包含三列：

列名	描述
video_id	视频标识符
time_s	时间戳（秒）
gt_count	经核实的真实人群计数

仓库结构

HAJJv2-CrowdCount/ ├── README.md ├── LICENSE ├── annotations/ │ ├── train_counts.csv # 训练视频帧级标注 │ ├── test_counts.csv # 测试视频帧级标注 │ ├── dataset_statistics.csv # 数据集摘要统计 │ ├── annotation_protocol.md # 标注方法与验证流程 │ └── annotation_guidelines.pdf # 详细计数规则 └── examples/ ├── example_frame_01.png ├── example_frame_02.png └── example_frame_03.png

真实标注定义

发布的地面真实值代表每帧中根据标注规则可见的有效总人数，仅发布经过核实的最终人群计数。

预期用途

• 人群计数算法评估
• 零样本人群计数基准测试
• 人群分析研究
• 计算机视觉基准测试
• 密集人群条件下模型对比

搜集汇总

数据集介绍

构建方式

HAJJv2-CrowdCount数据集基于HAJJv2测试视频构建，覆盖九个不同密度与拍摄角度的朝觐人群场景。研究团队以每秒一帧的采样频率提取图像，采用独立计数和模型辅助计数两种标注协议：前者的标注员仅凭图像逐一清点可见个体，后者则从检测器输出出发补全遗漏人员。每帧由同一位标注员执行两轮计数，若结果不一致则重新核查以保证可靠性。标注规则严格限定仅统计外观清晰的个体，对部分遮挡、透视畸变导致的模糊对象予以排除，最终获取167帧标注图像，其中六段视频采用独立计数，三段采用模型辅助计数。

特点

该数据集的核心特色在于其密度跨度极大，涵盖了从每帧约56人到1,700人的广泛范围，其中Testing 12视频提供了极端密度条件下的压力测试场景。视角多样且包含近垂直俯拍角度，个体间遮挡严重，真实反映了朝觐人群监控的复杂挑战。数据集不仅提供逐秒的精确人数标注，还通过密度带划分（稀疏、中等、密集）支持分层评估，使得模型在不同拥挤程度下的表现差异得以清晰呈现。此外，标注采用双重校验流程，有效降低了计数不一致性，确保了基准测试的可靠性。

使用方法

使用HAJJv2-CrowdCount时，研究者可直接加载发布的逐帧标注文件，将其作为零样本人群计数模型的测试基准。评估协议要求对每个标注帧生成预测计数，并计算平均绝对误差、均方根误差、恢复率及平均符号相对偏差等指标。由于数据集已按密度带划分，建议分别报告稀疏、中等、密集三个区域的表现，以揭示模型在不同拥挤程度下的鲁棒性。对于极端密度视频Testing 12，应单独分析，避免其对整体平均值的过度影响。代码与标注文件均已在GitHub上开源，便于复现与扩展实验。

背景与挑战

背景概述

在朝觐（Hajj）活动期间，大规模人群的实时精确计数对于群体安全管理至关重要，然而朝觐场景中存在极端密集、近垂直视角以及严重遮挡等独特挑战，使得现有通用人群计数模型在该领域表现欠佳。为此，Reem AlYabis、Fares AlTuwaim 等研究人员于2026年提出了HAJJv2-CrowdCount数据集，该数据集基于HAJJv2测试视频，提供了每秒级别的人工标注人群计数，共计167帧标注图像，密度跨度从约56人到1700人。该数据集的发布填补了朝觐场景中缺乏细粒度计数基准的空白，为零样本计数模型在密集、高遮挡环境下的性能评估提供了标准化测试平台，对推动人群计数研究向实际高风险场景落地具有重要影响力。

当前挑战

该数据集所应对的核心挑战在于朝觐场景下的极密集人群计数，传统基于密度图回归、边界框检测或分割掩码的模型在近垂直视角和严重遮挡条件下性能急剧下降，例如检测范式在密集帧上的平均绝对误差超过300人。在数据集构建过程中，研究人员面临了标注可行性与准确性的双重难题：朝觐人群身着几乎一致的白色戒衣，缺乏颜色与纹理对比，极大地增加了个体识别难度；同时，摄像机视角导致的透视畸变、深度遮挡以及远距离目标模糊，要求标注者反复校验同一帧，并采用独立计数与模型辅助计数两种协议，每个样本均需经两轮标注及复核，以确保在极端密度下获得可靠的地面真值。

常用场景

经典使用场景

HAJJv2-CrowdCount数据集的核心经典使用场景在于评估和对比零样本人群计数范式在极端密集、俯拍视角下的表现。该数据集为每帧图像提供了精确的逐秒人群数量标注，使得研究者能够在接近真实的朝觐现场条件下，系统性地测试开放词汇检测器、点基计数器和可提示分割计数器等前沿模型的泛化能力，从而揭示不同技术路线在面对严重遮挡、高密度堆叠和透视畸变时的性能差异与失效边界。

实际应用

在朝觐人群安全管理的实际应用中，HAJJv2-CrowdCount为基于监控视频的实时人群计数系统提供了关键的验证基础。它直接服务于密集走廊、庭院和环游广场等场所的流量监控、闸门调度与疏散决策。借助该数据集，运营团队能够评估零样本模型在无需定制训练的条件下是否具备可部署的精度，尤其在最高密度场景中，帮助管理者判断何时依赖点基计数器的输出，从而提升风险预警和应急响应的质量。

衍生相关工作

围绕HAJJv2-CrowdCount数据集衍生出的代表性工作包括三项关键零样本计数范式的系统比较：基于开放词汇检测的YOLO-World、基于可提示分割的SAM3Count以及基于头部分布的APGCC。该数据集不仅推动了这些模型在密集场景下的性能诊断，还激发了密度感知模型选择策略的研究方向，如通过外部密度估计器构建一个能够依据帧级密度灵活切换计数范式的路由机制，从而逼近理论最优的混合模型精度上限。