MCG-NJU/SportsMOT

SportsMOT是一个大规模的多目标跟踪数据集，包含240个视频片段，涵盖了篮球、足球和排球三种运动类别。该数据集的目的是跟踪运动场上的运动员，不包括观众、裁判和教练。数据集的创建动机是为了填补体育场景中多目标跟踪数据集的空白，特别是在背景复杂、运动员动作迅速和摄像机快速移动的情况下。数据集的来源是MultiSports，包含了高质量的专业比赛视频。注释过程遵循特定的指南，确保每个运动员在整个视频片段中都有唯一的ID。SportsMOT is a large-scale multi-object tracking dataset consisting of 240 video clips from 3 categories (i.e., basketball, football and volleyball). The objective is to only track players on the playground (i.e., except for a number of spectators, referees and coaches) in various sports scenes. The motivation for creating this dataset is to fill the gap in multi-object tracking datasets for sports scenes, especially in cases where the background is complicated, players possess rapid motion and the camera lens moves fast. The source of the dataset is MultiSports, which includes high-quality professional game videos. The annotation process follows specific guidelines to ensure that each player has a unique ID throughout the entire video clip.

原始信息汇总

数据集卡片：SportsMOT

数据集详情

数据集描述

SportsMOT 是一个大规模的多目标跟踪数据集，包含来自篮球、足球和排球三个类别的240个视频片段。该数据集的目标是仅跟踪运动场上的球员（不包括观众、裁判和教练），适用于各种体育场景。

数据集来源

• 仓库: https://github.com/MCG-NJU/SportsMOT
• 论文: https://arxiv.org/abs/2304.05170
• 竞赛: https://codalab.lisn.upsaclay.fr/competitions/12424
• 联系人: mailto: [e-mail]

数据集结构

数据集以MOT Challenge 17格式组织，包含以下结构：

splits_txt(视频-分割映射) - basketball.txt - volleyball.txt - football.txt - train.txt - val.txt - test.txt scripts - mot_to_coco.py - sportsmot_to_trackeval.py dataset(MOT挑战格式) - train - VIDEO_NAME1 - gt - img1 - 000001.jpg - 000002.jpg - seqinfo.ini - val(与train相同的层次结构) - test - VIDEO_NAME1 - img1 - 000001.jpg - 000002.jpg - seqinfo.ini

数据集创建

创建动机

多目标跟踪（MOT）是计算机视觉中的一个基本任务，旨在估计视频序列中对象（如行人、车辆）的边界框和身份。现有的MOT数据集主要集中在拥挤的街道场景（如MOT17/20）或静态场景中的舞者（如DanceTrack）。尽管对体育分析的需求不断增加，但缺乏适用于各种体育场景的多目标跟踪数据集，这些场景背景复杂，球员运动迅速，摄像机镜头移动快速。

源数据

数据集选择了三种全球知名的体育项目（足球、篮球和排球），并从MultiSports收集了高质量的专业比赛视频，包括NCAA、英超联赛和奥运会。

标注过程

标注过程遵循以下指南：

1. 需要标注运动员的整个肢体和躯干，不包括任何接触运动员身体的物体。
2. 在遮挡情况下，只要运动员有可见的身体部分，标注者需要预测运动员的边界框。如果运动员的躯干有一半以上在视野之外，标注者应跳过他们。
3. 要求标注者确认每个球员在整个片段中都有一个唯一的ID。

数据集策展人

• Yutao Cui
• Chenkai Zeng
• Xiaoyu Zhao
• Yichun Yang
• Gangshan Wu
• Limin Wang

引用信息

如果发现此数据集有用，请按以下方式引用：

@inproceedings{cui2023sportsmot, title={Sportsmot: A large multi-object tracking dataset in multiple sports scenes}, author={Cui, Yutao and Zeng, Chenkai and Zhao, Xiaoyu and Yang, Yichun and Wu, Gangshan and Wang, Limin}, booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, pages={9921--9931}, year={2023} }

搜集汇总

数据集介绍

构建方式

SportsMOT数据集的构建基于对多种体育场景的深入分析，特别是篮球、足球和排球。数据集包含240个视频片段，这些视频片段从高质量的专业比赛中提取，涵盖了NCAA、英超联赛和奥运会等赛事。为了确保数据的准确性和一致性，数据集的标注过程遵循严格的指导原则，要求标注者对运动员的全身进行标注，并在遮挡情况下预测运动员的边界框。此外，每个运动员在整个视频片段中都被赋予唯一的ID，以确保跟踪的连续性。

特点

SportsMOT数据集的显著特点在于其专注于复杂体育场景中的多目标跟踪，这些场景通常具有快速移动的运动员和动态变化的摄像机视角。与传统的行人跟踪数据集不同，SportsMOT特别关注运动员的跟踪，排除了观众、裁判和教练等干扰因素。此外，数据集的多样性和高质量标注使其成为研究多目标跟踪算法的理想选择。

使用方法

使用SportsMOT数据集时，用户可以利用其提供的MOT Challenge 17格式进行数据加载和处理。数据集分为训练、验证和测试三个部分，每个部分都包含视频片段及其对应的标注信息。用户可以通过提供的脚本，如mot_to_coco.py和sportsmot_to_trackeval.py，将数据转换为不同的格式以适应不同的算法需求。此外，数据集的GitHub仓库提供了详细的文档和联系方式，方便用户获取更多信息和支持。

背景与挑战

背景概述

在计算机视觉领域，多目标跟踪（MOT）是一项基础任务，旨在估计视频序列中物体（如行人、车辆）的边界框和身份。随着体育分析需求的增加，现有的MOT数据集主要集中在拥挤的街道场景或静态舞蹈场景，缺乏针对复杂体育场景的多目标跟踪数据集。为此，南京大学MCG实验室的研究团队于2023年创建了SportsMOT数据集，该数据集包含来自篮球、足球和排球三个类别的240个视频片段，专注于跟踪运动场上的球员，排除观众、裁判和教练。这一数据集的创建填补了体育场景下多目标跟踪数据集的空白，为相关研究提供了宝贵的资源。

当前挑战

SportsMOT数据集在构建过程中面临多项挑战。首先，体育场景中的背景复杂，球员运动速度快，摄像机镜头移动频繁，这增加了跟踪的难度。其次，数据集的标注过程要求精确，包括运动员的全身标注，以及在遮挡情况下的预测标注，这需要高度的专业性和一致性。此外，确保每个球员在整个视频片段中具有唯一ID也是一项技术挑战。这些挑战不仅反映了数据集构建的复杂性，也指出了未来研究中需要解决的关键问题，如提高跟踪算法的鲁棒性和精确度，以应对复杂多变的体育场景。

常用场景

经典使用场景

在计算机视觉领域，SportsMOT数据集的经典使用场景主要集中在多目标跟踪（MOT）任务中。该数据集通过提供来自篮球、足球和排球三个类别的240个视频片段，专注于跟踪运动场上的球员，从而为研究人员提供了一个复杂背景和快速运动场景下的多目标跟踪基准。通过这些数据，研究者可以开发和评估新的跟踪算法，特别是在处理遮挡、快速运动和相机移动等挑战性条件下。

解决学术问题

SportsMOT数据集解决了当前多目标跟踪领域中缺乏针对多种体育场景数据的问题。传统的MOT数据集主要集中在行人或静态场景中的舞者，而SportsMOT通过引入复杂背景、快速运动和动态摄像机视角，填补了这一空白。这不仅推动了多目标跟踪技术在体育分析中的应用，还为研究者提供了一个新的挑战平台，促进了算法在复杂环境下的鲁棒性和准确性的提升。

衍生相关工作

基于SportsMOT数据集，研究者们已经开展了一系列相关工作，特别是在多目标跟踪算法的改进和评估方面。例如，一些研究通过结合深度学习和传统跟踪方法，提高了在复杂体育场景下的跟踪精度。此外，该数据集还激发了在动态摄像机视角下进行多目标跟踪的研究，推动了计算机视觉技术在体育领域的应用和发展。