MMFS

MMFS数据集是由大连理工大学计算机科学与技术学院创建，专注于花样滑冰的细粒度动作分析。该数据集包含11671个视频片段，涵盖256种动作类别，并提供了RGB和骨骼数据等多种模态信息。数据集的构建过程严格，通过专家和官方文档的联合标注确保了数据质量。MMFS数据集的应用领域主要集中在动作识别和动作质量评估，旨在解决现有数据集在动作细粒度分析上的不足，推动相关技术的发展。The MMFS dataset was created by the School of Computer Science and Technology, Dalian University of Technology, and focuses on fine-grained action analysis of figure skating. It contains 11,671 video clips covering 256 action categories, and provides multi-modal information such as RGB data and skeleton data. The dataset is constructed rigorously, with its data quality ensured through joint annotation by experts and official documents. The main application fields of the MMFS dataset are action recognition and action quality assessment, aiming to address the shortcomings of existing datasets in fine-grained action analysis and promote the development of related technologies.

搜集汇总

数据集介绍

构建方式

在花样滑冰动作分析领域，构建高质量数据集需兼顾专业性与规模。MMFS数据集源自2017至2019年世界花样滑冰锦标赛的107段高清竞赛视频，通过专业流程构建：首先将视频按选手完整表演分割为预剪辑片段，作为专家标注的参考基准；随后由经过严格培训的标注员，结合国际滑联技术文档与专家实时判定的真实标注，对原始视频中的动作片段进行起止帧定位与类别标注；最终通过多轮质量校验，剔除不完整或冗余片段，形成包含11671个片段、涵盖256个细粒度类别的数据集，确保了标注的准确性与权威性。

使用方法

MMFS数据集为细粒度动作分析研究提供了多层次的实验基准。在任务层面，研究者可分别针对动作识别与动作质量评估展开模型设计与性能评测，其中质量评估任务可采用斯皮尔曼相关系数等指标衡量预测分数与真实评分的一致性。在模态利用上，可单独或融合使用RGB、光流及骨骼序列特征，尤其骨骼模态为基于姿态的复杂动作质量评估提供了新的探索路径。数据集的层次化标签结构支持从集合、空间/时间子集到元素级别的渐进式分析，有助于探究时空语义在识别难度上的差异。基准实验表明，现有模型在时间标签识别上表现相对滞后，这提示未来研究可聚焦于长时序依赖建模与复杂时空特征提取，以提升对花样滑冰等专业运动中细粒度动作的理解能力。

背景与挑战

背景概述

在细粒度动作分析领域，现有数据集常受限于动作类别不足、粒度粗糙、模态单一及任务局限。为应对此挑战，大连理工大学研究团队于2023年提出了花样滑冰多模态多任务数据集MMFS。该数据集源自世界花样滑冰锦标赛，包含11671个视频片段，涵盖256个细粒度动作类别，并首次引入了独立的空间与时间标签体系。MMFS的核心贡献在于其强标注质量、高时空复杂性、以及融合RGB与骨骼模态的多任务架构，旨在推动动作识别与动作质量评估两大核心问题的深入研究，为专业体育视频分析提供了新的基准。

当前挑战

MMFS数据集所应对的领域挑战集中于细粒度动作识别与质量评估。具体而言，其需解决因细微时空变化导致的标签判别难题，例如旋转次数差异的时序辨识、冰刃内外刃区分的空间细粒度识别，以及动作单元局部相似性引发的分类混淆。在构建过程中，挑战主要体现于标注质量的保障：需融合专家实时判定、熟练标注员与官方技术文档，以达成强标注标准；同时，处理动作持续时间与速度的巨大方差，以及平衡样本的重尾分布，亦对数据集的构建与质量控制提出了较高要求。

常用场景

经典使用场景

在计算机视觉领域，细粒度动作分析长期面临动作类别不足、粒度粗糙及模态单一的挑战。MMFS数据集以其多模态、多任务的特性，为细粒度动作识别与质量评估提供了经典应用场景。该数据集从世界花样滑冰锦标赛中采集，涵盖256个动作类别，包含空间与时间标签，支持RGB与骨骼模态，广泛应用于开发与验证先进的细粒度动作分析模型。其强标注质量与独立的空间、时间标签设计，使得研究者能够深入探索动作的时空语义差异，推动模型在复杂运动场景下的性能提升。

解决学术问题

MMFS数据集有效解决了细粒度动作分析中的多个核心学术问题。传统数据集常因标注薄弱、类别有限或模态单一，难以捕捉动作的细微时空变化。MMFS通过专家与官方文档联合标注，确保了标签的准确性与专业性；独立的空间与时间标签首次被提出，使得研究者能够分别探究动作的空间语义与时间语义，深化对细粒度复杂性的理解。此外，数据集的大规模样本与高时空复杂性，为模型在长时动作、速度变化及类内方差大的场景下提供了挑战，促进了动作识别与质量评估算法的创新。

实际应用

MMFS数据集在实际应用中展现出广泛价值，尤其在体育分析与智能评估领域。基于其高质量的多模态数据，该数据集可用于开发自动化花样滑冰动作评分系统，辅助裁判进行客观、一致的动作质量评估，减少人为偏差。同时，在运动员训练中，模型可分析动作细节，如旋转次数、姿态变化，提供个性化反馈以优化技术表现。此外，其骨骼模态数据支持康复医学中的动作监测，为运动损伤预防与恢复训练提供技术基础。这些应用体现了MMFS在提升体育科学智能化水平方面的实际意义。

数据集最近研究

最新研究方向

在细粒度动作分析领域，MMFS数据集凭借其多模态与多任务特性，正引领前沿研究向时空细粒度语义的深度解析迈进。该数据集首次引入独立的空间与时间标签，为复杂动作识别与质量评估提供了全新基准，尤其聚焦于花样滑冰中非固定工具（冰鞋）带来的高时空复杂性。当前研究热点集中于利用骨架模态增强动作质量评估的精度，以及探索长时动作单元中时间语义的判别性特征提取。这些进展不仅推动了专业体育视频理解模型的创新，也为跨模态融合与分层标签结构下的细粒度分析奠定了实证基础，对智能体育训练与裁判辅助系统具有深远影响。

相关研究论文

• Fine-grained Action Analysis: A Multi-modality and Multi-task Dataset of Figure Skating

  大连理工大学计算机科学与技术学院 · 2024年