RGBT Crowd Counting (RGBT-CC)

RGBT Crowd Counting (RGBT-CC)数据集由中山大学计算机科学与工程学院创建，包含2030对RGB-热图像，总计138,389个标注人物。该数据集通过光学和热学信息的结合，旨在提升不受约束场景中行人的识别能力。数据集涵盖多种场景，如商场、街道、火车站等，且在不同光照条件下（如白天和夜晚）采集。RGBT-CC数据集的应用领域包括城市人群分析，特别是在交通管理和视频监控中的潜在应用，以及在COVID-19疫情期间的社会距离监控。

The RGBT Crowd Counting (RGBT-CC) dataset was created by the School of Computer Science and Engineering, Sun Yat-sen University. It contains 2030 pairs of RGB-thermal images, with a total of 138,389 annotated pedestrians. By integrating optical and thermal modalities, this dataset aims to enhance pedestrian detection performance in unconstrained scenarios. The dataset covers diverse scenarios including shopping malls, streets, railway stations and more, and was collected under various lighting conditions such as daytime and nighttime. Application fields of the RGBT-CC dataset include urban crowd analysis, with potential applications in traffic management, video surveillance, as well as social distance monitoring during the COVID-19 pandemic.

搜集汇总

数据集介绍

构建方式

RGBT Crowd Counting (RGBT-CC) 数据集的构建采用光学-热像仪获取大量RGB-热像对，涵盖了多种场景（如商场、街道、火车站等），并包含不同光照条件下的图像。在获取图像后，对RGB图像进行裁剪和缩放以匹配热像分辨率，然后进行人工标注，共标注了138,389个行人。数据集被随机分为训练集、验证集和测试集，分别包含1030对、200对和800对RGB-热像对。

特点

RGBT-CC 数据集具有以下特点：首先，它是首个用于人群计数的大规模RGBT数据集，包含了丰富的场景和光照条件下的图像，能够更好地模拟现实城市中的人群分布。其次，数据集的标注精度高，共标注了138,389个行人，平均每张图像包含68人。最后，数据集的构建方式考虑了RGB和热像的互补性，通过裁剪和缩放RGB图像以匹配热像分辨率，使得两种模态的图像能够更好地协同工作。

使用方法

RGBT-CC 数据集可用于人群计数研究，尤其是多模态人群计数研究。使用该数据集时，可以采用多种深度学习模型进行训练和测试，以评估模型在不同场景和光照条件下的性能。此外，数据集的标注信息可以用于生成人群密度图，从而进行更深入的人群行为分析。

背景与挑战

背景概述

RGBT Crowd Counting (RGBT-CC) 数据集是针对人群计数问题的一个大规模基准数据集，由中山大学计算机科学与工程学院、广州琶洲实验室、安徽大学以及DarkMatter AI Research的研究人员共同创建。该数据集旨在解决传统人群计数方法在光照条件不佳时无法准确识别行人的问题。RGBT-CC 数据集包含 2,030 对 RGB-热成像图像，共有 138,389 个标注行人。这些图像是从不受限制的场景（如购物中心、街道、火车站等）中捕获的，涵盖了各种光照条件（如白天和夜晚）。该数据集的创建对人群计数领域的研究产生了重要影响，推动了光学和热成像信息在人群计数中的应用。

当前挑战

RGBT Crowd Counting (RGBT-CC) 数据集面临的挑战主要包括：1）所解决的领域问题：如何利用光学和热成像信息来更准确地估计人群数量。2）构建过程中所遇到的挑战：如何有效地捕捉多模态数据（即 RGB 和热成像图像）之间的互补性。为了解决这些挑战，研究人员提出了一个跨模态协作表示学习框架，该框架包含多个特定模态分支、一个模态共享分支以及一个信息聚合-分配模块（IADM），以充分捕捉不同模态之间的互补性。实验结果表明，该框架在 RGBT 人群计数任务中是有效且通用的，并能够在 ShanghaiTech RGBD 数据集上取得优异的性能。

常用场景

经典使用场景

RGBT Crowd Counting (RGBT-CC) 数据集的经典使用场景在于多模态人群计数。该数据集包含 RGB 和热红外图像，能够有效地捕捉不同光照条件下的人群分布情况。在人群计数任务中，RGB 图像和热红外图像具有互补性，RGB 图像能够提供详细的视觉信息，而热红外图像则能够提供不受光照影响的人群分布信息。通过结合这两种图像，RGBT-CC 数据集能够帮助研究人员开发更准确的人群计数模型，从而在交通管理、视频监控等领域得到广泛应用。

实际应用

RGBT Crowd Counting (RGBT-CC) 数据集的实际应用场景非常广泛。在交通管理领域，该数据集可以帮助交通管理部门实时监测道路拥堵情况，从而优化交通流量。在视频监控领域，该数据集可以帮助监控人员及时发现人群聚集，预防安全事故。此外，RGBT-CC 数据集还可以应用于智慧城市建设、公共安全管理等领域，为城市管理和安全防护提供有力支持。

衍生相关工作

RGBT Crowd Counting (RGBT-CC) 数据集衍生了许多相关的经典工作。例如，研究人员基于 RGBT-CC 数据集提出了多模态协同表示学习框架，通过信息聚合和分配模块，有效地捕捉不同模态之间的互补信息，从而提高了人群计数的准确性。此外，RGBT-CC 数据集还促进了多模态学习领域的研究进展，为其他多模态密集预测任务提供了借鉴和参考。