TJU-DHD

TJU-DHD是一个多样化高分辨率的目标检测数据集，包含115,354张高分辨率图像和709,330个标注对象，具有季节、光照和天气的丰富多样性。该数据集旨在推动自动驾驶和视频监控中目标检测和行人检测的研究。

TJU-DHD is a diverse high-resolution object detection dataset, comprising 115,354 high-resolution images and 709,330 annotated objects, with a rich diversity in seasons, lighting, and weather conditions. This dataset is designed to advance research in object detection and pedestrian detection for autonomous driving and video surveillance.

原始信息汇总

TJU-DHD数据集概述

数据集介绍

TJU-DHD（天津大学多样性高分辨率数据集）是一个专为自动驾驶车辆和视频监控中的目标检测任务设计的大型数据集。该数据集包含115,354张高分辨率图像，其中52%的图像分辨率为1624×1200像素，48%的图像分辨率至少为2560×1440像素。数据集总计标注了709,330个对象，具有较大的尺度和外观变化。此外，数据集在季节、光照和天气方面具有丰富的多样性。

数据集构成

1. 目标检测

• DHD-traffic:

  • 训练集：45,266张图像，239,980个实例
  • 验证集：5,000张图像，30,679个实例
  • 测试集：10,000张图像，60,963个实例
  • 总计：60,266张图像，331,622个实例

• DHD-campus:

  • 训练集：39,727张图像，267,445个实例
  • 验证集：5,204张图像，41,620个实例
  • 测试集：10,157张图像，68,643个实例
  • 总计：55,088张图像，377,708个实例

2. 行人检测

• Ped-traffic:

  • 训练集：13,858张图像，27,650个实例
  • 验证集：2,136张图像，5,244个实例
  • 测试集：4,344张图像，10,724个实例
  • 总计：20,338张图像，43,618个实例

• Ped-campus:

  • 训练集：39,727张图像，234,455个实例
  • 验证集：5,204张图像，36,161个实例
  • 测试集：10,157张图像，59,007个实例
  • 总计：55,088张图像，329,623个实例

评估结果

DHD-traffic

• 验证集结果:
  • RetinaNet: AP 53.5, AP@0.5 80.9, AP@0.75 60.0
  • FCOS: AP 53.8, AP@0.5 80.0, AP@0.75 60.1
  • FPN: AP 55.4, AP@0.5 83.4, AP@0.75 63.0
  • Cascade RCNN: AP 57.9, AP@0.5 82.7, AP@0.75 66.6

DHD-campus

• 验证集结果:
  • RetinaNet: AP 48.4, AP@0.5 79.3, AP@0.75 52.4
  • FCOS: AP 49.3, AP@0.5 73.8, AP@0.75 53.8
  • FPN: AP 52.4, AP@0.5 77.5, AP@0.75 58.4
  • Cascade RCNN: AP 55.1, AP@0.5 77.6, AP@0.75 60.9

DHD-pedestrian

• 同场景评估:

  • FPN: MR on R/RS/HO/R+HO/A (Ped-campus) 27.92/73.14/67.52/35.67/38.08
  • FPN: MR on R/RS/HO/R+HO/A (Ped-traffic) 22.30/35.19/60.30/26.71/37.78

• 跨场景评估:

  • FPN: MR on R+HO and A (trained by Ped-campus) 24.90 / 34.34
  • FPN: MR on R+HO and A (trained by Ped-traffic) 29.39 / 43.22

引用信息

如使用此数据集，请引用以下文献： Yanwei Pang, Jiale Cao, Yazhao Li, Jin Xie, Hanqing Sun, and Jinfeng Gong. TJU-DHD: A Diverse High-Resolution Dataset for Object Detection. Technical report, 2019.

搜集汇总

数据集介绍

构建方式

TJU-DHD数据集的构建旨在满足自动驾驶车辆和视频监控系统中对物体检测的实际需求。该数据集包含115,354张高分辨率图像，以及709,330个标注物体，涵盖了从不同季节、光照和天气条件下的多样场景。构建过程中，数据集设计者从交通和校园两种场景中收集了大量图像，并进行了详细的标注，确保了数据集的多样性和实用性。

特点

TJU-DHD数据集具有以下几个显著特点：一是高分辨率，其中超过半数的图像分辨率达到1624×1200像素，近半数的图像分辨率超过2560×1440像素；二是大规模，包含超过70万的标注物体实例；三是多样性，数据集在季节变化、光照条件和天气状况上具有丰富的变化，能够满足不同场景的物体检测需求。

使用方法

使用TJU-DHD数据集时，用户可以根据需要选择不同的数据子集，包括针对物体检测的DHD-traffic和DHD-campus，以及针对行人检测的Ped-traffic和Ped-campus。每个子集都提供了训练集、验证集和测试集，以及相应的标注文件和评估工具。用户可以从提供的一键链接或备份链接中下载数据集，并使用cocoapi或Citypersons API进行模型训练和评估。

背景与挑战

背景概述

TJU-DHD数据集是一项针对物体检测领域的重要成果，由天津大学视觉实验室（vilab）的研究团队于2019年构建。该数据集针对自动驾驶车辆和视频监控系统中车辆、行人和骑行者等关键对象的检测需求，提供了大规模、多样性丰富、分辨率高的图像资源。TJU-DHD数据集的构建，旨在推动物体检测方法的发展，特别是在小物体检测方面的性能提升。该数据集包含115,354张高分辨率图像和709,330个标注物体，涵盖了季节、光照和天气变化的多样性。

当前挑战

TJU-DHD数据集在构建过程中面临的主要挑战包括：1）确保图像采集的场景多样性和高质量，以满足实际系统中对物体检测的高标准要求；2）大规模图像的标注质量和一致性，这对于训练高效准确的检测模型至关重要；3）数据集的多样性和复杂性给物体检测算法带来了额外的挑战，尤其是在处理小物体和不同光照、天气条件下物体的检测问题上。

常用场景

经典使用场景

TJU-DHD数据集广泛应用于对象检测与行人格检测领域，其经典使用场景包括自动驾驶车辆感知模块和视频监控系统中对车辆、行人和骑行者的检测。该数据集凭借其大规模、多样性以及高分辨率的特点，为研究人员提供了丰富的训练和测试资源，以改善检测算法的性能，特别是在小对象的检测上。

解决学术问题

TJU-DHD数据集解决了现有公开数据集在图像数量、实例数量、分辨率以及季节、天气、光照多样性上的局限性问题。通过提供大量高分辨率图像和多样化的标注对象，该数据集极大地推动了对象检测和行人检测算法的发展，有助于提升算法在实际场景下的鲁棒性和准确性。

衍生相关工作

基于TJU-DHD数据集，研究人员已经开展了一系列相关工作，包括但不限于改进对象检测和行人检测算法、提出新的评价指标、以及开发针对特定场景的定制化检测模型。这些工作进一步扩展了TJU-DHD数据集的应用范围，并推动了相关领域的科学研究和技术进步。