MOT20
收藏资源简介：
MOT20是一个用于单摄像头多目标跟踪（MOT）和行人检测的基准数据集，专注于高度拥挤的真实世界场景，如拥挤的广场、室内火车站、体育场出口和步行街。该数据集旨在对MOT方法在密集人群场景中进行压力测试，与早期MOTChallenge版本相比，视频序列较少但注释密度更高。数据集包含8个具有挑战性的视频序列：4个训练序列和4个测试序列。训练集总计有8,931帧图像，包含2,332个目标轨迹和1,336,920个边界框，平均每帧有149.7个边界框；测试集总计有4,479帧图像，包含1,501个目标轨迹和765,465个边界框，平均每帧有170.9个边界框。数据集结构遵循标准的MOTChallenge文件夹布局，每个序列目录包含图像帧文件夹、公共检测文件、训练集真实标注文件和序列元数据文件。标注格式为标准MOTChallenge逗号分隔文本格式。该数据集适用于多目标跟踪、密集场景下的行人跟踪、基于检测的跟踪研究、遮挡严重的跟踪研究、重识别辅助的跟踪以及MOT基准转换和评估流程等任务，主要用于多目标跟踪的学术研究、在非常拥挤场景下对MOT算法进行基准测试、研究遮挡和密集行人运动、开发基于检测的跟踪流程以及训练和验证行人跟踪系统。需要注意的是，测试集的真实标注未包含在公开发布的数据集中，官方评估应通过MOTChallenge平台进行，数据集聚焦于密集行人场景，并不代表所有跟踪场景，高人群密度和遮挡使得身份保持尤其困难。
MOT20 is a benchmark dataset for single-camera multi-object tracking (MOT) and pedestrian detection, focusing on highly crowded real-world scenes such as crowded squares, indoor train stations, stadium exits, and pedestrian streets. It is designed to stress-test MOT methods in dense crowd scenarios, with fewer video sequences but significantly higher annotation density compared to earlier MOTChallenge versions. The dataset consists of 8 challenging video sequences: 4 for training and 4 for testing. The training set totals 8,931 image frames, containing 2,332 target trajectories and 1,336,920 bounding boxes, with an average of 149.7 bounding boxes per frame; the test set totals 4,479 image frames, containing 1,501 target trajectories and 765,465 bounding boxes, with an average of 170.9 bounding boxes per frame. The dataset structure follows the standard MOTChallenge folder layout, with each sequence directory typically including an image frame folder, public detection files, ground truth annotation files for the training set, and a sequence metadata file. The annotation format is the standard MOTChallenge comma-separated text format. The dataset is suitable for tasks such as multi-object tracking, pedestrian tracking in dense scenes, detection-based tracking research, tracking under severe occlusion, re-identification-assisted tracking, and MOT benchmark conversion and evaluation workflows. It is primarily used for academic research in multi-object tracking, benchmarking MOT algorithms in extremely crowded scenarios, studying occlusion and dense pedestrian movement, developing detection-based tracking pipelines, and training and validating pedestrian tracking systems. It should be noted that ground truth annotations for the test set are not included in the publicly released dataset, and official evaluation should be conducted through the MOTChallenge platform. The dataset focuses on dense pedestrian scenes and does not represent all tracking scenarios, with high crowd density and occlusion making identity preservation particularly challenging.
数据集概述
MOT20 是一个用于单摄像头多目标跟踪（MOT） 和行人检测的基准数据集，专注于高密度拥挤的真实世界场景。该数据集由 MOTChallenge 发布，旨在评估多目标跟踪系统在极高人群密度下的性能。
- 数据集名称: MOT20
- 任务: 多目标跟踪、行人跟踪、行人检测
- 领域: 拥挤的公共行人场景
- 数据类型: 带有标注和公共检测结果的图像序列
- 原始基准: MOTChallenge MOT20
- 论文: MOT20: A benchmark for multi object tracking in crowded scenes
- 许可协议: Creative Commons Attribution-NonCommercial-ShareAlike 3.0 (cc-by-nc-sa-3.0)
支持的任务
该数据集可用于以下研究和开发：
- 多目标跟踪 (MOT)
- 多行人跟踪
- 基于检测的跟踪研究
- 拥挤场景下的行人检测
- 高遮挡场景下的跟踪研究
- 重识别辅助跟踪
- MOT 基准转换和评估管线
数据集结构
数据集遵循官方的 MOTChallenge 文件夹布局：
MOT20/ ├── train/ │ ├── MOT20-01/ │ ├── MOT20-02/ │ ├── MOT20-03/ │ └── MOT20-05/ ├── test/ │ ├── MOT20-04/ │ ├── MOT20-06/ │ ├── MOT20-07/ │ └── MOT20-08/ └── README.md
每个序列目录包含以下内容：
MOT20-XX/ ├── img1/ # 视频帧图像文件 ├── det/ # 公共检测结果 │ └── det.txt ├── gt/ # 真实标注（仅训练集） │ └── gt.txt └── seqinfo.ini # 序列元数据
数据集划分
训练序列
训练集包含4个视频序列，总计：
- 帧数: 8,931
- 时长: 357 秒
- 轨迹数: 2,332
- 边界框数: 1,336,920
- 平均密度: 149.7 个框/帧
| 序列 | FPS | 分辨率 | 长度 (帧) | 轨迹数 | 边界框数 | 密度 (框/帧) | 描述 |
|---|---|---|---|---|---|---|---|
| MOT20-01 | 25 | 1920x1080 | 429 | 90 | 26,647 | 62.1 | 拥挤的室内火车站 |
| MOT20-02 | 25 | 1920x1080 | 2,782 | 296 | 202,215 | 72.7 | 拥挤的室内火车站 |
| MOT20-03 | 25 | 1173x880 | 2,405 | 735 | 356,728 | 148.3 | 夜间体育场出口，高视角 |
| MOT20-05 | 25 | 1654x1080 | 3,315 | 1,211 | 751,330 | 226.6 | 夜间拥挤的广场 |
测试序列
测试集包含4个视频序列，总计：
- 帧数: 4,479
- 时长: 178 秒
- 轨迹数: 1,501
- 边界框数: 765,465
- 平均密度: 170.9 个框/帧
| 序列 | FPS | 分辨率 | 长度 (帧) | 轨迹数 | 边界框数 | 密度 (框/帧) | 描述 |
|---|---|---|---|---|---|---|---|
| MOT20-04 | 25 | 1545x1080 | 2,080 | 728 | 371,525 | 178.6 | 夜间拥挤的广场 |
| MOT20-06 | 25 | 1920x734 | 1,008 | 368 | 207,543 | 205.9 | 步行街场景 |
| MOT20-07 | 25 | 1920x1080 | 585 | 126 | 41,096 | 70.2 | 拥挤的室内火车站 |
| MOT20-08 | 25 | 1920x734 | 806 | 279 | 145,301 | 180.3 | 步行街场景 |
测试集的真实标注未公开发布，官方评估需通过 MOTChallenge 平台进行。
标注格式
MOT20 使用标准的 MOTChallenge 逗号分隔文本格式。
真实标注格式
训练标注存储在 gt/gt.txt 中，每行格式如下：
<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <class>, <visibility>
| 字段 | 描述 |
|---|---|
| frame | 帧索引，从1开始 |
| id | 物体身份标识ID |
| bb_left | 边界框左坐标 |
| bb_top | 边界框顶坐标 |
| bb_width | 边界框宽度 |
| bb_height | 边界框高度 |
| conf | 真实标注的置信度标志 |
| class | 物体类别标签 |
| visibility | 可见度比例/标志 |
检测结果格式
公共检测结果存储在 det/det.txt 中，每行格式如下：
<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <x>, <y>, <z>
在检测文件中，id 通常设为 -1，最后的3D世界坐标字段可能未被使用。
评估指标
典型的 MOT 评估指标包括：
- MOTA
- MOTP
- IDF1
- HOTA
- FP / FN / 身份切换次数
- 大部分被跟踪 / 大部分丢失的轨迹
推荐的评估工具为 TrackEval。官方基准提交应通过 MOTChallenge 平台进行。
预期用途
该数据集适用于：
- 多目标跟踪的学术研究
- 在极度拥挤场景下对 MOT 算法进行基准测试
- 研究遮挡、密集行人运动以及检测器在拥挤环境下的行为
- 开发基于检测的跟踪管线
- 训练和验证行人跟踪系统
限制与负责任使用
- 数据集专注于密集行人场景，不代表所有跟踪场景。
- 测试集真实标注未公开发布。
- 高密度和严重遮挡使得身份保持尤为困难。
- 数据集不能代表所有国家、摄像头类型、光照条件或不同人口特征的行人。
- 在现实监控或安全关键系统中部署前，需谨慎评估模型。
引用
请引用以下论文：
bibtex @article{dendorfer2020mot20, title={MOT20: A benchmark for multi object tracking in crowded scenes}, author={Dendorfer, Patrick and Rezatofighi, Hamid and Milan, Anton and Shi, Javen and Cremers, Daniel and Reid, Ian and Roth, Stefan and Schindler, Konrad and Leal-Taixe, Laura}, journal={arXiv preprint arXiv:2003.09003}, year={2020} }
