FineDiving

FineDiving是由清华大学开发的一个细粒度体育视频数据集，专注于各种跳水事件，是首个用于评估动作质量的细粒度体育视频数据集。该数据集包含3000个视频样本，覆盖52种动作类型和29种子动作类型，每个视频都通过两级语义和时间结构进行详细标注。数据集的创建过程涉及从YouTube等平台下载高质量的竞赛视频，并由专业运动员进行标注。FineDiving数据集的应用领域主要集中在通过详细标注来推动更透明和可靠的动作质量评估方法的发展。FineDiving is a fine-grained sports video dataset developed by Tsinghua University, focusing on diverse diving events. It is the first fine-grained sports video dataset dedicated to evaluating movement quality. This dataset comprises 3000 video samples, covering 52 action types and 29 sub-action types. Each video is meticulously annotated with a two-level semantic and temporal structure. The dataset creation process involves downloading high-quality competitive diving videos from platforms such as YouTube, with annotations performed by professional athletes. The main application fields of the FineDiving dataset focus on promoting the development of more transparent and reliable movement quality assessment methods through its detailed annotations.

搜集汇总

数据集介绍

构建方式

FineDiving数据集的构建主要围绕跳水运动，搜集了奥运会、世界杯、世界锦标赛和欧洲水球锦标赛等跳水赛事的高分辨率视频。由三位专业跳水运动员根据跳水动作的语义和时序结构，构建了一个包含两级标注的词汇表。数据集中每个视频都标注了动作类型和子动作类型，以及动作的时序边界，将动作分解为连续的步骤。此外，还收集了官方动作得分、裁判得分和难度等级等信息。

特点

FineDiving数据集具有以下特点：首先，它具有两级的语义结构，所有视频都标注了动作类型和子动作类型，通过子动作类型的组合产生动作类型；其次，它具有两级的时序结构，每个视频中的动作时序边界都被标注，每个动作根据定义好的词汇表手动分解为连续的步骤；最后，数据集中包含了官方动作得分、裁判得分和难度等级等信息，为评估动作质量提供了更全面的参考。

使用方法

FineDiving数据集的使用方法主要包括：首先，利用I3D模型提取视频的时空视觉特征；其次，使用时序分割注意力模块（TSA）对动作进行时序分割，并学习查询动作和示例动作步骤之间的语义、空间和时序对应关系；最后，通过细粒度对比回归量化查询动作和示例动作步骤之间的质量差异，并预测动作得分。在测试阶段，采用多示例投票策略选择多个示例动作，并计算查询动作的预测得分。

背景与挑战

背景概述

FineDiving数据集是由清华大学自动化系的研究团队构建的，专注于跳水比赛视频的细粒度分析。该数据集首次提供了详细的动作过程注释，为动作质量评估提供了新的视角。跳水动作通常包含起飞、飞行和入水三个阶段，而动作质量的细微差异主要表现在翻腾和转体的数量、飞行位置以及执行质量上。FineDiving数据集通过引入细粒度注释和可靠比较的概念，旨在促进动作质量评估方法的透明度和可靠性。该数据集的构建填补了现有AQA数据集在细粒度注释方面的空白，为相关领域的研究提供了宝贵资源。

当前挑战

FineDiving数据集及其评估方法面临的主要挑战包括：1) 动作质量评估的准确性：由于跳水动作的细微差异发生在相似的场景中，因此传统的基于视频深度特征的方法难以准确捕捉这些差异。2) 评估过程的透明度：现有的AQA方法往往依赖于整个视频的深度特征进行评分，其推理过程不透明且可解释性差。3) 数据集构建的复杂性：细粒度注释需要手动分解和专业人士的标注，耗时且成本高。4) 动作过程理解的深度：评估方法需要理解动作的高层语义和内部时间结构，这对于模型的训练和推理提出了更高的要求。

常用场景

经典使用场景

在计算机视觉领域，动作质量评估（AQA）是理解体育视频的关键技术之一。FineDiving数据集以其精细的动作流程标注而著称，为AQA研究提供了宝贵的资源。该数据集详细记录了跳水运动中的每一个步骤，包括动作类型、子动作类型和难度等级，使得研究人员能够深入分析动作的内部时间结构和语义。FineDiving数据集的经典使用场景包括动作识别、动作检测和动作质量评估。通过分析视频中的动作流程，研究人员可以更准确地预测动作的得分，并为其提供可解释的依据。此外，FineDiving数据集还可以用于研究不同动作类型之间的相似性和差异性，以及动作难度对评分的影响。

衍生相关工作

FineDiving数据集的提出，衍生了一系列相关的研究工作。例如，基于FineDiving数据集，研究人员提出了新的AQA方法，如基于时空兴趣点的AQA方法、基于深度学习的AQA方法和基于多任务学习的AQA方法等。这些方法通过利用FineDiving数据集中的精细标注信息，提高了AQA的准确性和可解释性。此外，FineDiving数据集还被用于研究不同动作类型之间的相似性和差异性，以及动作难度对评分的影响，为运动员的训练和比赛提供科学依据。FineDiving数据集的出现，为AQA研究提供了新的思路和方法，推动了该领域的发展。

数据集最近研究

最新研究方向

FineDiving数据集的研究方向主要集中在动作质量评估（AQA）领域，特别是跳水视频中的动作质量评估。该数据集提供了详细的动作过程标注，包括动作类型、子动作类型、时间边界以及动作分数等信息。FineDiving数据集的构建旨在帮助模型理解动作过程，并通过精细化的标注引导模型关注与查询动作步骤一致的示例动作区域，从而更准确地评估动作质量。此外，FineDiving数据集还引入了时间分割注意力模块（TSA），该模块通过学习查询和示例步骤之间的语义、空间和时间一致性，进一步提高了动作质量评估的准确性和可解释性。

相关研究论文

• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment

  清华大学 · 2022年