FSAnno

FSAnno是一个大规模的数据集，旨在通过花样滑冰来推进艺术体育的理解。该数据集包括开放获取的训练和测试数据集，以及一个基准数据集FSBench，用于公平地评估模型。FSBench包括FSBench-Text和FSBench-Motion两个部分。FSBench-Text包含多项选择题和解释，而FSBench-Motion则包含多模态数据和问答对，支持从技术分析到表演评论的任务。FSAnno和FSBench旨在解决现有数据集在花样滑冰理解方面的局限性，并为评估和提高模型对花样滑冰的理解能力提供关键工具。FSAnno is a large-scale dataset designed to advance the understanding of artistic sports through figure skating. This dataset includes open-access training and test datasets, as well as a benchmark dataset FSBench for fair model evaluation. FSBench consists of two components: FSBench-Text and FSBench-Motion. FSBench-Text contains multiple-choice questions and corresponding explanations, while FSBench-Motion includes multimodal data and question-answer pairs, supporting tasks ranging from technical analysis to performance commentary. FSAnno and FSBench aim to address the limitations of existing datasets in figure skating understanding, and provide critical tools for evaluating and enhancing models' ability to comprehend figure skating.

搜集汇总

数据集介绍

构建方式

FSAnno数据集的构建采用了多模态数据采集与多层次标注策略，涵盖花样滑冰比赛的完整视频、裁判报告和音频解说三种数据源。研究团队从ISU大奖赛和青少年大奖赛的11项赛事中采集了783个完整表演视频，通过4DHumans和HRNet技术分别提取运动数据和骨骼数据，同时保留原始RGB视频链接以支持多模态研究。标注过程严格遵循国际滑联官方标准，采用三级标注体系：技术动作层面标注了20类子动作的类别、执行等级（GOE）及异常标记；表演整体层面标注了技术分（TES）和节目内容分（PCS）五个维度；艺术性层面则融合裁判评分与解说音频转写的文本评价，形成技术-艺术双轨标注体系。

特点

该数据集的核心特点体现在其多维度、细粒度的标注体系设计。作为首个同时覆盖技术评估与艺术解析的花样滑冰数据集，FSAnno包含20类技术动作的精细标注（如3Lutz+3ToeLoop等组合跳跃），以及节目编排、音乐诠释等艺术维度评分。其创新性地引入了运动数据模态，相较于传统骨骼数据更能捕捉旋转轴心、起跳边缘等微观技术细节。数据分布上兼顾竞技水平差异，包含成年组/青少年组的短节目与自由滑，GOE评分覆盖-5至+5全区间，其中负面样本占比达37%，为动作质量评估提供充分对比素材。多角色视角标注（裁判/解说员/观众）和跨模态关联设计，使该数据集能支持从基础动作识别到艺术表现评论的7类衍生任务。

使用方法

数据集使用采用分级任务框架，通过FSBench评估平台实现标准化测试。知识层级提供4,200道规则与赛事多选题检验先验知识；技术动作层级支持三类任务：基于运动数据的动作识别（如判别3Lutz跳跃）、执行质量评估（预测GOE分值）及技术解说生成；整体表演层级包含长视频动作分割、多维评分预测和艺术评论生成。评估采用AutoDQ创新指标，通过关键事件提取比对生成文本的技术细节完整度，兼顾召回率与精确度。为保护运动员隐私，所有视频数据经去身份化处理，建议研究者优先采用运动模态数据开展实验。配套发布的SkateLLM模型展示了如何利用指令微调技术将通用运动理解模型适配到花样滑冰专业领域。

背景与挑战

背景概述

FSAnno数据集由芬兰拉彭兰塔-拉赫蒂理工大学（LUT）等机构的研究团队于2025年提出，旨在解决花样滑冰这一艺术性体育项目中的多模态理解难题。作为首个融合技术动作与艺术表现评估的大规模标注数据集，其核心突破在于通过多角色、多模态、多层级任务设计（涵盖动作识别、质量评估、表演评论等），填补了现有数据集仅关注单一任务的空白。该数据集采集自ISU大奖赛等11项赛事，包含783个完整表演的跨模态数据（视频、运动捕捉、骨骼数据），并创新性地引入裁判报告与解说音频衍生的艺术性标注，为基于大语言模型的体育分析提供了新范式。

当前挑战

领域挑战方面，花样滑冰的复合评估体系（技术执行分+节目内容分）要求模型同时解析高精度动作细节（如跳跃周数判定）和主观艺术表现（如音乐诠释），现有方法难以平衡客观量化与审美评价。构建挑战体现在三方面：1)细粒度标注需专业领域知识，如GOE（动作执行等级）评分涉及23种扣分细则；2)艺术维度标注需融合裁判报告（PE/IN分数）与非线性解说文本；3)运动员隐私保护要求对原始视频进行身份脱敏处理，增加了运动数据重建的复杂度。多模态对齐与长时序建模（4-6分钟表演）进一步放大了模型开发的难度。

常用场景

经典使用场景

在花样滑冰这一艺术性极强的体育项目中，FSAnno数据集通过其多模态、多层次的标注结构，为研究者提供了全面分析运动员技术动作与艺术表现的工具。该数据集特别适用于动作识别、质量评估以及整体表演评分的综合研究，涵盖了从单一技术动作到完整表演的多维度分析。

实际应用

在实际应用中，FSAnno数据集被广泛用于花样滑冰的自动化评分系统、表演评论生成以及运动员训练指导。其多模态数据（包括视频、动作数据和骨架数据）为教练和裁判提供了客观的技术分析工具，同时为观众生成更具深度的表演评论。

衍生相关工作

基于FSAnno数据集，研究者们开发了多种衍生工作，如SkateLLM模型，该模型通过指令微调在花样滑冰动作描述任务中表现出色。此外，FSBench作为评估基准，推动了多模态大语言模型在艺术体育理解中的应用，相关研究已在动作生成、质量评估等领域取得进展。