SGA-INTERACT

SGA-INTERACT是由上海人工智能实验室等机构提出的一个基于3D骨骼的群组活动理解基准数据集，包含来自奥运会资格赛精英3对3篮球比赛的3D骨骼序列和专业的篮球视频分析师标注的战术移动。该数据集具有高时空质量和长期相关性，支持GAR和TGAL任务，适用于评估群组活动理解能力。

SGA-INTERACT is a benchmark dataset for group activity understanding based on 3D skeletons, proposed by Shanghai AI Laboratory and other institutions. It includes 3D skeleton sequences from elite 3-on-3 basketball games held in Olympic Games qualifying tournaments, as well as tactical movements annotated by professional basketball video analysts. This dataset features high spatiotemporal quality and long-term relevance, supports both GAR and TGAL tasks, and is applicable for evaluating group activity understanding capabilities.

搜集汇总

数据集介绍

构建方式

SGA-INTERACT数据集的构建是通过收集高质量篮球战术序列和全面注释来进行的。该数据集由来自2024年奥运会资格赛中的精英3x3篮球比赛的原始视频数据组成，这些数据由多视角动作捕捉(MoCAP)环境收集。通过先进的感知算法，以50FPS和1080p的时空分辨率捕捉运动细节。数据集还包含由专业篮球视频分析师设计和注释的18个战术动作类别，每个动作都有明确的开始和结束标志，以便进行精确的标注。为了确保数据质量，采用了多阶段标注流程，包括预标注、正式标注和交叉检查阶段，并由众包标注者和专业分析师进行标注。此外，还通过多视角2D姿态估计和3D姿态重建策略收集了3D骨架数据，并通过严格的质量控制过程对标注和骨架序列进行了双重检查。

特点

SGA-INTERACT数据集具有几个显著特点：首先，它是第一个基于3D骨架的大规模群体活动理解基准，具有高质量的3D序列，时空分辨率高达50FPS和1080p。其次，数据集包含高语义级别的群体活动词汇，这些词汇具有丰富的空间交互和长期时间依赖性，包括18个精心设计的活动类别，代表多个个体的复杂战术运动。此外，93.6%的GAR剪辑超过72帧，显著超过了之前方法在长期推理方面的要求。最后，除了群体活动类别标签外，SGA-INTERACT还包括群体活动的时序边界，这有助于新的TGAL任务。得益于标注者的专业知识和严格的质量控制流程，该数据集保持了高标准的标注准确性和可靠性。

使用方法

SGA-INTERACT数据集支持两个研究任务：时序群体活动定位(TGAL)和群体活动识别(GAR)。TGAL任务旨在评估在未剪辑序列中对群体活动理解的能。GAR任务旨在对剪辑后的3D骨架序列进行分类。数据集的分割是通过群体活动类别进行的，以7:3的比例划分为训练集和测试集。对于TGAL，一个游戏回合对应一个输入序列，对于GAR，战术序列是从游戏回合中剪辑出来的。用户可以通过下载数据集和相应的代码，使用One2Many框架和ST-GCN预训练模型在数据集上进行实验。此外，数据集还提供了详细的注释和3D骨架序列的可视化，以便研究人员更好地理解数据集和任务。

背景与挑战

背景概述

SGA-INTERACT数据集是首个基于3D骨架的群组活动理解基准数据集，其研究背景源于对群组活动理解（GAR）任务的需求。该数据集由复旦大学、上海人工智能实验室、北京航空航天大学、浙江大学、中国科学技术大学和上海体育学院的研究人员共同创建，于2025年3月发布。SGA-INTERACT数据集的核心研究问题是如何更好地理解现代篮球战术中的群组活动，包括复杂的空间交互和长期依赖关系。该数据集的引入填补了现有GAR基准在活动词汇粒度、数据形式和群组活动理解任务上的不足，对相关领域产生了深远的影响。

当前挑战

SGA-INTERACT数据集面临的挑战主要包括：1)活动词汇粒度有限，难以准确捕捉群组活动的语义；2)数据形式单一，仅限于单视角的RGB视频，易受视角变化的影响；3)群组活动理解任务局限，无法覆盖实际场景中多个活动在一个未剪辑序列中的情况。此外，构建过程中遇到的挑战包括：1)如何准确捕捉和标注3D骨架序列；2)如何设计有效的数据增强技术；3)如何构建适用于群组活动理解的统一框架。

常用场景

经典使用场景

SGA-INTERACT数据集被广泛应用于现代篮球战术中的团队活动理解研究。该数据集通过捕获3D骨架序列和标注每个回合中的战术动作，为研究复杂的空间交互和长期依赖性提供了挑战性的活动和高层语义。此外，SGA-INTERACT还引入了时间团队活动定位（TGAL）任务，扩展了团队活动理解到未修剪的序列，填补了GAR作为独立任务的空白。该数据集的清晰定义的活动边界支持GAR和TGAL任务，使得研究团队行为成为可能。

实际应用

SGA-INTERACT数据集的实际应用场景包括体育视频分析、团队协作研究、虚拟现实和增强现实等。该数据集可以用于研究团队在体育比赛中的战术行为，分析团队协作的有效性，以及开发虚拟现实和增强现实应用程序，以模拟和预测团队行为。

衍生相关工作

SGA-INTERACT数据集衍生了许多相关的经典工作，包括One2Many框架、STAtt空间时间建模策略等。One2Many框架是一个统一的框架，用于GAR和TGAL任务，使RGB和骨架方法能够在同一框架下进行评估。STAtt是一种新的空间时间建模策略，通过堆叠STBlock来捕捉场景特征的空间和时间相关性，提高了模型性能。此外，SGA-INTERACT数据集还促进了RGB和骨架方法在团队活动理解任务上的研究和改进。