MultiSports

MultiSports是一个包含时空定位体育动作的多人视频数据集，由南京大学国家软件新技术重点实验室创建。该数据集包含4种体育类别，收集了3200个视频片段，并标注了37701个动作实例，总计902k个边界框。数据集具有高多样性、密集标注和高品质的特点，适用于时空动作检测的研究，旨在解决体育分析等领域的复杂问题。

MultiSports is a multi-person video dataset for spatio-temporally localized sports actions, created by the State Key Laboratory for Novel Software Technology at Nanjing University. This dataset covers 4 sports categories, contains 3200 video clips, and annotates 37701 action instances with a total of 902k bounding boxes. Featuring high diversity, dense annotation and excellent quality, this dataset is applicable to research on spatio-temporal action detection, aiming to solve complex problems in fields such as sports analysis.

搜集汇总

数据集介绍

构建方式

MultiSports 数据集的构建旨在应对时空动作检测中的挑战。该数据集通过选择四种运动类别（篮球、排球、足球和有氧体操），收集了 3200 个视频片段，并标注了 37701 个动作实例和 902k 个边界框。构建过程中，数据集遵循了三个关键标准：多人物场景和运动依赖识别、明确的边界定义以及相对细粒度的类别。这些视频片段来自各种国家和不同性能水平的比赛，确保了数据集的多样性和平衡性。

特点

MultiSports 数据集的特点在于其高多样性、密集标注和高质量。该数据集包含了来自四种运动的 66 个细粒度动作类别，这些类别在空间和时间上都有精确和密集的标注。此外，该数据集的视频片段具有高分辨率，能够保留小人物和物体的细节。数据集的标注由专业运动员和众包标注者完成，确保了标注的一致性和清洁性。

使用方法

使用 MultiSports 数据集进行时空动作检测研究时，首先需要将数据集划分为训练集、验证集和测试集。然后，研究人员可以采用多种动作检测方法，如 SlowOnly Det. 和 SlowFast Det.，并在该数据集上进行训练和评估。在评估过程中，可以使用帧-mAP 和视频-mAP 作为性能指标。为了更好地理解数据集的挑战，还可以进行错误分析，将检测错误分类为十个互斥类别，以分析 mAP 损失的原因。

背景与挑战

背景概述

在视频理解领域，时空动作检测是一个重要且具有挑战性的问题。现有的动作检测基准在修剪视频中的实例数量有限或低级原子动作方面存在局限性。本文旨在提出一个新的多人物时空定位体育动作数据集，命名为MultiSports。我们首先分析了构建一个现实且具有挑战性的时空动作检测数据集的重要要素，提出了三个标准：（1）多人物场景和运动依赖性识别，（2）具有明确的边界，（3）相对细粒度的复杂类别。基于这些准则，我们通过选择4个体育类别，收集了3200个视频片段，并标注了37701个动作实例，包含902k个边界框，构建了MultiSports v1.0数据集。我们的数据集具有高多样性、密集标注和高质量等重要特性。我们的MultiSports，以其真实的设置和详细的标注，揭示了时空动作检测的内在挑战。为了对此进行基准测试，我们将几种基线方法应用于我们的数据集，并对我们的数据集中的动作检测结果进行了深入分析。我们希望我们的MultiSports能够成为未来时空动作检测的标准基准。

当前挑战

MultiSports数据集带来的挑战包括：1）多人物场景中不同动作的同时识别；2）具有明确边界的动作识别；3）在较长未修剪的视频片段中准确识别细粒度动作类别；4）处理动作遮挡问题；5）对长时间上下文的建模。

常用场景

经典使用场景

在视频理解领域中，时空动作检测是一项重要且具有挑战性的任务。MultiSports数据集旨在为时空动作检测提供一个新的多目标视频数据集，涵盖了篮球、排球、足球和健美操四种运动类别，包含3200个视频片段和37701个动作实例。该数据集的特点是高多样性、密集标注和高质量，为时空动作检测提供了现实场景和详细标注，揭示了时空动作检测的内在挑战。在基准测试中，我们对几种基线方法进行了评估，并对数据集中的动作检测结果进行了深入分析。MultiSports有望成为未来时空动作检测的标准基准。

衍生相关工作

MultiSports数据集的推出，为时空动作检测领域带来了新的研究方向。相关研究工作包括：(1)动作识别数据集，如KTH、Weizmann、UCF-101和HMDB等，主要关注动作分类；(2)多标签动作识别数据集，如Multi-MiT，可能包含多个并发动作，但不提供时间和空间标注；(3)大规模视频分类数据集，如Sports-1M、YouTube-8M和Kinetics，用于特征表示学习和下游任务的前置训练；(4)细粒度动作识别数据集，如Something-something和FineGym，有效减少背景场景的影响，揭示单个动作建模的关键挑战。此外，MultiSports数据集还衍生了其他相关工作，如DALY、AVA和AVA-Kinetics等，它们采用稀疏标注的日常生活动作，以减少标注工作量并增加数据集规模。这些相关工作为时空动作检测领域的研究提供了重要的参考和启示。

数据集最近研究

最新研究方向

MultiSports数据集的引入，标志着时空动作检测领域的一个重大突破。该数据集提供了多个人物在视频中的时空定位动作，填补了现有动作检测基准在实例数量和低级原子动作方面的不足。MultiSports数据集的构建基于三个关键准则：多人物场景和运动依赖识别、明确的边界定义以及相对精细的动作类别。通过这些建议，研究者构建了MultiSports v1.0，包含4种体育类别、3200个视频片段以及37701个动作实例和902k个边界框。MultiSports数据集以其高多样性、密集标注和高质量的特点脱颖而出。它真实地展现了时空动作检测的内在挑战，为该领域的研究提供了新的基准。

相关研究论文

• MultiSports: A Multi-Person Video Dataset of Spatio-Temporally Localized Sports Actions

  国家软件新技术重点实验室，南京大学，中国 · 2021年