I24V Dataset

这是一个多摄像头视频数据集，包含234小时的高清视频数据，由234个重叠的HD摄像头同时记录，覆盖了I-24 MOTION测试场的4.2英里长度。视频在交通高峰期录制，场景中通常可见500多个对象，对象的典型持续时间为3至15分钟。虽然密集对象跟踪信息的标注不可行，但通过手动校正视频数据中的270个车辆通过场景的GPS轨迹，提供了一组用于召回导向跟踪指标的地面实况轨迹，并为场景中的每个摄像头提供了对象检测（交叉摄像头融合前总计1.59亿次）。This is a multi-camera video dataset comprising 234 hours of high-definition video data, simultaneously recorded by 234 overlapping HD cameras, covering a 4.2-mile stretch of the I-24 MOTION test site. The videos were captured during peak traffic hours, typically featuring over 500 objects in the scenes, with object durations ranging from 3 to 15 minutes. While dense object tracking annotations are not feasible, a set of ground truth trajectories for recall-oriented tracking metrics is provided by manually correcting the GPS trajectories of 270 vehicles passing through the scenes in the video data. Additionally, object detection is provided for each camera in the scene, totaling 159 million detections before cross-camera fusion.

原始信息汇总

数据集概述

数据集名称

• 名称: I24V Dataset
• 别名: I24-V Dataset

数据集内容

• 视频数据: 234小时的高清视频，由234个重叠的HD摄像头同时记录，覆盖4.2英里的I-24 MOTION测试床。
• 视频特性: 记录于交通高峰期，场景中通常可见500多个对象，对象持续时间通常为3-15分钟。
• 标注数据:
  • GPS轨迹: 来自270辆车的轨迹，手动校正以提供地面真实轨迹。
  • 对象检测: 每个摄像头场景中的对象检测，总计15900万个检测（未进行跨摄像头融合）。

数据集文件结构

• 视频文件:
  • 格式: .mkv
  • 命名规则: PXXCXX_<ts>.mkv，其中XX表示摄像头编号和杆号，<ts>表示时间偏移。
  • 分辨率: 1080p
  • 时间戳: 毫秒精度，首个帧时间戳为0.000s。
• 标注文件:
  • 参考帧:
    • 分辨率: 4k和1080p
    • 格式: .png
    • 用途: 用于对齐每个摄像头的单应性。
  • 跟踪结果:
    • 格式: .cpkl
    • 内容: 包含跟踪对象的位置、大小、类别和检测置信度。
  • GPS数据:
    • 格式: .cpkl
    • 内容: 包含车辆ID、通过次数、位置、时间戳、长度、宽度和高度。
  • 单应性矩阵:
    • 格式: .npy
    • 内容: 包含静态和动态的3x3和3x4矩阵，用于图像空间和空间图像的2D/3D点变换。
  • 最终检测:
    • 格式: .npy
    • 内容: 包含所有检测的时间、位置、大小、类别和置信度。
  • GPS校正数据:
    • 格式: .csv
    • 内容: 包含GPS记录的车辆位置。
  • 手动标注数据:
    • 格式: .csv
    • 内容: 包含手动标注的车辆位置。
  • 重叠区域数据:
    • 格式: .cpkl
    • 内容: 包含需要处理的区域及其起止时间。

数据使用协议

• 允许学术和商业使用。
• 禁止尝试重新识别个人或可能对数据集中的个人造成伤害的活动。
• 使用数据集时需引用相关文献。

数据集引用

• I24V Dataset:

  @inproceedings{gloudemans2024so, title={So you think you can track?}, author={Gloudemans, Derek and Zach{a}r, Gergely and Wang, Yanbing and Ji, Junyi and Nice, Matt and Bunting, Matt and Barbour, William W and Sprinkle, Jonathan and Piccoli, Benedetto and Monache, Maria Laura Delle and others}, booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision}, pages={4528--4538}, year={2024} }

• I24-MOTION System:

  @article{gloudemans202324, title={I-24 MOTION: An instrument for freeway traffic science}, author={Gloudemans, Derek and Wang, Yanbing and Ji, Junyi and Zachar, Gergely and Barbour, William and Hall, Eric and Cebelak, Meredith and Smith, Lee and Work, Daniel B}, journal={Transportation Research Part C: Emerging Technologies}, volume={155}, pages={104311}, year={2023}, publisher={Elsevier} }

搜集汇总

数据集介绍

构建方式

I24V数据集通过在I-24 MOTION测试床上部署234个高清摄像头，同时记录了234小时的视频数据。这些摄像头覆盖了4.2英里的路段，捕捉了高交通密度下的车辆动态。数据集的构建过程中，手动校正了270辆车的GPS轨迹，以提供精确的地面实况轨迹，并生成了每个摄像头的物体检测数据，总计1.59亿次检测。此外，数据集还包括了用于图像空间2D点变换和空间图像3D点变换的3x3和3x4矩阵，以及用于时间变化同源性校正的Nx3x3矩阵。

特点

I24V数据集的主要特点在于其大规模的多摄像头视频数据，涵盖了高密度交通场景下的车辆行为。数据集提供了丰富的注释信息，包括手动校正的GPS轨迹、物体检测数据以及用于图像和空间变换的矩阵。这些注释信息为车辆跟踪和交通分析提供了高质量的基准数据。此外，数据集还包含了用于处理遮挡区域的修正数据，确保了数据集在实际应用中的可靠性。

使用方法

I24V数据集的使用方法包括加载视频数据、GPS轨迹、手动注释和检测数据。用户可以通过提供的Python脚本，如data_viewer.py和evaluate.py，来可视化和评估跟踪算法的效果。具体操作包括指定数据路径、选择摄像头、设置缓冲窗口和起始时间，以及运行数据查看器。对于跟踪算法的评估，用户可以指定GPS路径、跟踪结果路径、评估步长和IOU阈值，以计算跟踪性能指标。

背景与挑战

背景概述

I24V数据集是由Gloudemans等人于2024年创建的，旨在支持交通监控和车辆跟踪领域的研究。该数据集在WACV 2024会议上首次亮相，其核心研究问题是如何在高密度交通环境中进行精确的车辆跟踪。I24V数据集包含了234个高清摄像头在4.2英里长的I-24 MOTION测试路段上同时记录的234小时视频数据，涵盖了高交通密度时段，通常有500多个物体在场景中可见，物体的寿命为3-15分钟。尽管密集物体的跟踪信息难以标注，但该数据集通过手动校正的GPS轨迹提供了地面真实轨迹，用于召回导向的跟踪指标评估。I24V数据集的发布对交通科学和计算机视觉领域具有重要影响，为研究人员提供了一个复杂且真实的交通场景数据集，推动了车辆跟踪和交通监控技术的发展。

当前挑战

I24V数据集在构建和应用过程中面临多项挑战。首先，数据集的规模巨大，包含234小时的视频数据和159亿个检测结果，这使得数据处理和存储成为一项重大挑战。其次，高密度交通环境中的车辆跟踪需要解决多目标跟踪（MOT）问题，如何在复杂场景中准确识别和跟踪多个移动物体是一个技术难题。此外，数据集中的GPS轨迹和手动校正数据虽然提供了地面真实信息，但其与视频数据的同步和融合也是一个挑战。最后，数据集的使用需要遵守严格的数据使用协议，确保数据的匿名性和隐私保护，这增加了数据处理的复杂性。这些挑战不仅反映了数据集的复杂性，也指出了未来研究中需要解决的关键问题。

常用场景

经典使用场景

I24V数据集的经典使用场景主要集中在多摄像头视频数据中的密集对象跟踪。该数据集通过提供234个高清摄像头同时记录的234小时视频数据，支持了在高速公路交通密集场景下的车辆跟踪研究。通过结合GPS轨迹和手动校正的地面真实轨迹，研究人员可以评估和改进跟踪算法的性能，特别是在高密度交通条件下的准确性和鲁棒性。

衍生相关工作

I24V数据集的发布催生了一系列相关研究工作，特别是在多摄像头系统中的对象跟踪和交通流量分析领域。例如，研究人员利用该数据集开发了新的跟踪算法，如基于深度学习的跟踪模型，显著提高了在复杂交通环境中的跟踪精度。此外，该数据集还被用于验证和改进现有的交通流量预测模型，为城市交通管理和规划提供了新的工具和方法。

数据集最近研究

最新研究方向

在智能交通系统领域，I24V数据集因其大规模的多摄像头视频数据和丰富的车辆轨迹信息，成为研究车辆跟踪与交通流量分析的前沿工具。该数据集不仅提供了高密度的车辆检测数据，还包含了经过手动校正的GPS轨迹，为精确的车辆跟踪算法提供了宝贵的基准。当前的研究方向主要集中在利用深度学习技术提升多摄像头环境下的车辆跟踪精度，以及通过跨摄像头数据融合来增强交通流量预测的准确性。此外，该数据集的广泛应用也推动了智能交通系统在实际场景中的部署与优化，为城市交通管理提供了新的技术支持。