Constellation Dataset - 城市交叉路口高空物体检测基准数据集

Constellation是由哥伦比亚大学构建的一个城市交叉路口高空物体检测基准数据集。该数据集包含13,314张高清图像，这些图像都带有行人和车辆的人工标注边界框，数据采集自纽约市某交叉路口的高海拔摄像头，覆盖了黎明、白天、雨天和夜晚等多种时间条件。该数据集特别关注小目标检测问题，如数十米高空中观察到的行人。Constellation数据集为研究者提供了一个宝贵的资源，用于开发和测试在复杂城市环境中从高空进行有效物体检测的算法，对于智能城市和自动驾驶车辆的发展具有重要意义。Constellation is a benchmark dataset for high-altitude object detection at urban intersections, developed by Columbia University. This dataset comprises 13,314 high-definition images, each annotated with manual bounding boxes for pedestrians and vehicles. The data was captured from a high-altitude camera at an intersection in New York City, encompassing various temporal conditions such as dawn, daytime, rainy weather, and nighttime. The dataset particularly focuses on the challenge of detecting small objects, such as pedestrians observed from tens of meters above ground. The Constellation dataset serves as a valuable resource for researchers to develop and test algorithms for effective object detection from high altitudes in complex urban environments, playing a significant role in the advancement of smart cities and autonomous vehicles.

原始信息汇总

数据集概述

数据集名称

• Constellation Dataset

数据集目的

• 用于研究高海拔物体检测，特别是在密集城市街景中从高海拔摄像机观察到的物体。
• 解决小物体检测问题，如从数十米高处观察到的行人像素足迹有限的问题。

数据集特点

• 包含13,000张图像，适用于各种时间条件下的研究。
• 支持模型测试在光照变化、建筑阴影、天气和场景动态变化下的性能。

数据集性能

• 评估了当代物体检测架构，发现最先进的方法在检测小型行人方面的性能低于车辆，平均精度（AP）相差10%。
• 使用结构相似的数据集进行预训练，模型平均精度（mAP）提高了1.8%。
• 最佳性能模型在NVIDIA A100 GPUs上实现了92.0%的行人AP和11.5 ms的推理时间，mAP达到95.4%。

数据集更新

• 增加了额外的数据集下载链接。
• 发布了在不同数据集上训练的模型。
• 发布了预训练模型。

数据集下载

• 数据集以YOLO格式提供，可通过以下链接下载：
  • Google Drive: https://drive.google.com/drive/folders/11k-EDDusIvvQB0Ss46c-_7GX3jvjWw4B?usp=sharing
  • COSMOS: 即将推出

模型资源

• 提供了多种预训练模型，包括PyTorch和TensorRT。
• 模型链接和性能指标可在模型表中查看。

训练与推理

• 提供了YOLOv8和DETR模型的训练脚本和评估脚本。
• CFINet模型的训练和评估指南位于特定目录下。

引用信息

bibtex @inproceedings{Turkcan2024Constellation, author = {Turkcan, Mehmet Kerem and Zang, Chengbo and Narasimhan, Sanjeev and Je, Gyung Hyun and Yu, Bo and Ghasemi, Mahshid and Zussman, Gil and Ghaderi, Javad and Kostic, Zoran}, title = {Constellation: Benchmarking High-Altitude Object Detection for an Urban Intersection}, booktitle = {In Preparation}, year = {2024}, note = {In Preparation}, }

搜集汇总

数据集介绍

构建方式

Constellation Dataset通过收集13,000张高分辨率图像，构建了一个专注于城市交叉路口高空物体检测的基准数据集。这些图像涵盖了多种时间条件下的密集城市街景，特别关注从高空摄像头观察到的行人等小物体检测问题。数据集的构建过程中，研究人员精心挑选了不同光照、建筑物阴影、天气和场景动态条件下的图像，以确保数据集能够全面评估物体检测模型在复杂环境中的表现。

特点

该数据集的显著特点在于其对小物体检测的针对性，尤其是行人等在高空视角下像素占比较小的物体。此外，数据集还包含了多种环境条件下的图像，如不同光照、天气和场景动态，使得模型能够在多样化的场景中进行训练和测试。数据集还提供了多种预训练模型和数据增强方法，进一步提升了模型的性能。

使用方法

使用Constellation Dataset时，用户可以通过提供的配置文件和训练脚本进行模型训练和评估。数据集以YOLO格式提供，用户可以通过Google Drive下载。训练过程中，用户可以选择不同的预训练模型和数据增强方法，以优化模型性能。评估阶段，用户可以使用提供的评估脚本对模型进行性能测试，并根据结果进行进一步的模型调整和优化。

背景与挑战

背景概述

Constellation Dataset，由Mehmet Kerem Turkcan等人于2024年推出，是一个专注于城市交叉路口高空物体检测的基准数据集。该数据集包含13,000张图像，旨在解决高海拔视角下小物体检测的难题，特别是在密集城市街景中，行人因距离远而像素覆盖有限的问题。通过涵盖多种时间条件下的数据，Constellation Dataset为研究光照变化、建筑物阴影、天气条件及场景动态对物体检测模型的影响提供了丰富的资源。该数据集的发布不仅推动了高海拔物体检测技术的发展，还为相关领域的研究提供了新的基准，展示了现有模型在处理小物体检测时的性能差异。

当前挑战

Constellation Dataset面临的主要挑战包括：首先，高海拔视角下的小物体检测，由于行人像素覆盖有限，导致检测难度增加，现有模型的平均精度（AP）相较于车辆检测有显著下降。其次，数据集构建过程中需应对多种环境因素，如光照变化、建筑物阴影和天气条件，这些因素对模型性能产生显著影响。此外，时间跨度内的场景动态变化也导致模型性能的漂移，需要通过数据增强和伪标签技术来提升模型表现。最后，如何有效利用预训练数据集和域特定数据增强策略，以提高模型在Constellation Dataset上的性能，也是当前研究的重点和难点。

常用场景

经典使用场景

Constellation Dataset 主要用于研究城市交叉路口高空物体检测，尤其是在密集的城市街景中，从高处摄像头观察到的物体检测。该数据集特别适用于小物体检测的研究，例如在高空视角下，行人由于像素覆盖有限而难以检测的问题。通过该数据集，研究人员可以测试物体检测模型在不同光照、建筑物阴影、天气条件和场景动态变化下的表现。

实际应用

在实际应用中，Constellation Dataset 可用于智能交通系统中的高空监控，帮助检测和识别城市交叉路口中的行人、车辆等物体，从而提升交通管理效率和安全性。此外，该数据集还可应用于无人机监控、城市规划和应急响应等领域，为高空视角下的物体检测提供技术支持。

衍生相关工作

基于 Constellation Dataset，研究人员开发了多种物体检测模型，如 YOLOv8x、DETR-x 和 CFINet 等，这些模型在数据集上进行了预训练和微调，取得了显著的检测性能提升。此外，该数据集还启发了对数据增强技术的研究，通过引入领域特定的数据增强方法，进一步提高了模型在复杂环境中的检测能力。