five

FSAnno|花样滑冰数据集|体育分析数据集

收藏
arXiv2025-04-28 更新2025-05-13 收录
花样滑冰
体育分析
下载链接:
http://arxiv.org/abs/2504.19514v1
下载链接
链接失效反馈
资源简介:
FSAnno是一个大规模的数据集,旨在通过花样滑冰来推进艺术体育的理解。该数据集包括开放获取的训练和测试数据集,以及一个基准数据集FSBench,用于公平地评估模型。FSBench包括FSBench-Text和FSBench-Motion两个部分。FSBench-Text包含多项选择题和解释,而FSBench-Motion则包含多模态数据和问答对,支持从技术分析到表演评论的任务。FSAnno和FSBench旨在解决现有数据集在花样滑冰理解方面的局限性,并为评估和提高模型对花样滑冰的理解能力提供关键工具。
提供机构:
Lappeenranta-Lahti University of Technology LUT, Finland, Tianjin University, China, AMD Silo AI, Finland, Great Bay University, China, Rensselaer Polytechnic Institute, USA, Brno University of Technology, Czech Republic
创建时间:
2025-04-28
AI搜集汇总
数据集介绍
main_image_url
构建方式
FSAnno数据集的构建采用了多模态数据采集与多层次标注策略,涵盖花样滑冰比赛的完整视频、裁判报告和音频解说三种数据源。研究团队从ISU大奖赛和青少年大奖赛的11项赛事中采集了783个完整表演视频,通过4DHumans和HRNet技术分别提取运动数据和骨骼数据,同时保留原始RGB视频链接以支持多模态研究。标注过程严格遵循国际滑联官方标准,采用三级标注体系:技术动作层面标注了20类子动作的类别、执行等级(GOE)及异常标记;表演整体层面标注了技术分(TES)和节目内容分(PCS)五个维度;艺术性层面则融合裁判评分与解说音频转写的文本评价,形成技术-艺术双轨标注体系。
特点
该数据集的核心特点体现在其多维度、细粒度的标注体系设计。作为首个同时覆盖技术评估与艺术解析的花样滑冰数据集,FSAnno包含20类技术动作的精细标注(如3Lutz+3ToeLoop等组合跳跃),以及节目编排、音乐诠释等艺术维度评分。其创新性地引入了运动数据模态,相较于传统骨骼数据更能捕捉旋转轴心、起跳边缘等微观技术细节。数据分布上兼顾竞技水平差异,包含成年组/青少年组的短节目与自由滑,GOE评分覆盖-5至+5全区间,其中负面样本占比达37%,为动作质量评估提供充分对比素材。多角色视角标注(裁判/解说员/观众)和跨模态关联设计,使该数据集能支持从基础动作识别到艺术表现评论的7类衍生任务。
使用方法
数据集使用采用分级任务框架,通过FSBench评估平台实现标准化测试。知识层级提供4,200道规则与赛事多选题检验先验知识;技术动作层级支持三类任务:基于运动数据的动作识别(如判别3Lutz跳跃)、执行质量评估(预测GOE分值)及技术解说生成;整体表演层级包含长视频动作分割、多维评分预测和艺术评论生成。评估采用AutoDQ创新指标,通过关键事件提取比对生成文本的技术细节完整度,兼顾召回率与精确度。为保护运动员隐私,所有视频数据经去身份化处理,建议研究者优先采用运动模态数据开展实验。配套发布的SkateLLM模型展示了如何利用指令微调技术将通用运动理解模型适配到花样滑冰专业领域。
背景与挑战
背景概述
FSAnno数据集由芬兰拉彭兰塔-拉赫蒂理工大学(LUT)等机构的研究团队于2025年提出,旨在解决花样滑冰这一艺术性体育项目中的多模态理解难题。作为首个融合技术动作与艺术表现评估的大规模标注数据集,其核心突破在于通过多角色、多模态、多层级任务设计(涵盖动作识别、质量评估、表演评论等),填补了现有数据集仅关注单一任务的空白。该数据集采集自ISU大奖赛等11项赛事,包含783个完整表演的跨模态数据(视频、运动捕捉、骨骼数据),并创新性地引入裁判报告与解说音频衍生的艺术性标注,为基于大语言模型的体育分析提供了新范式。
当前挑战
领域挑战方面,花样滑冰的复合评估体系(技术执行分+节目内容分)要求模型同时解析高精度动作细节(如跳跃周数判定)和主观艺术表现(如音乐诠释),现有方法难以平衡客观量化与审美评价。构建挑战体现在三方面:1)细粒度标注需专业领域知识,如GOE(动作执行等级)评分涉及23种扣分细则;2)艺术维度标注需融合裁判报告(PE/IN分数)与非线性解说文本;3)运动员隐私保护要求对原始视频进行身份脱敏处理,增加了运动数据重建的复杂度。多模态对齐与长时序建模(4-6分钟表演)进一步放大了模型开发的难度。
常用场景
经典使用场景
在花样滑冰这一艺术性极强的体育项目中,FSAnno数据集通过其多模态、多层次的标注结构,为研究者提供了全面分析运动员技术动作与艺术表现的工具。该数据集特别适用于动作识别、质量评估以及整体表演评分的综合研究,涵盖了从单一技术动作到完整表演的多维度分析。
实际应用
在实际应用中,FSAnno数据集被广泛用于花样滑冰的自动化评分系统、表演评论生成以及运动员训练指导。其多模态数据(包括视频、动作数据和骨架数据)为教练和裁判提供了客观的技术分析工具,同时为观众生成更具深度的表演评论。
衍生相关工作
基于FSAnno数据集,研究者们开发了多种衍生工作,如SkateLLM模型,该模型通过指令微调在花样滑冰动作描述任务中表现出色。此外,FSBench作为评估基准,推动了多模态大语言模型在艺术体育理解中的应用,相关研究已在动作生成、质量评估等领域取得进展。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Materials Project 在线材料数据库

Materials Project 是一个由伯克利加州大学和劳伦斯伯克利国家实验室于 2011 年共同发起的大型开放式在线材料数据库。这个项目的目标是利用高通量第一性原理计算,为超过百万种无机材料提供全面的性能数据、结构信息和计算模拟结果,以此加速新材料的发现和创新过程。数据库中的数据不仅包括晶体结构和能量特性,还涵盖了电子结构和热力学性质等详尽信息,为研究人员提供了丰富的材料数据资源。相关论文成果为「Commentary: The Materials Project: A materials genome approach to accelerating materials innovation」。

超神经 收录

全国 1∶200 000 数字地质图(公开版)空间数据库

As the only one of its kind, China National Digital Geological Map (Public Version at 1∶200 000 scale) Spatial Database (CNDGM-PVSD) is based on China' s former nationwide measured results of regional geological survey at 1∶200 000 scale, and is also one of the nationwide basic geosciences spatial databases jointly accomplished by multiple organizations of China. Spatially, it embraces 1 163 geological map-sheets (at scale 1: 200 000) in both formats of MapGIS and ArcGIS, covering 72% of China's whole territory with a total data volume of 90 GB. Its main sources is from 1∶200 000 regional geological survey reports, geological maps, and mineral resources maps with an original time span from mid-1950s to early 1990s. Approved by the State's related agencies, it meets all the related technical qualification requirements and standards issued by China Geological Survey in data integrity, logic consistency, location acc racy, attribution fineness, and collation precision, and is hence of excellent and reliable quality. The CNDGM-PVSD is an important component of China' s national spatial database categories, serving as a spatial digital platform for the information construction of the State's national economy, and providing informationbackbones to the national and provincial economic planning, geohazard monitoring, geological survey, mineral resources exploration as well as macro decision-making.

DataCite Commons 收录

flames-and-smoke-datasets

该仓库总结了多个公开的火焰和烟雾数据集,包括DFS、D-Fire dataset、FASDD、FLAME、BoWFire、VisiFire、fire-smoke-detect-yolov4、Forest Fire等数据集。每个数据集都有详细的描述,包括数据来源、图像数量、标注信息等。

github 收录

RAVDESS

情感语音和歌曲 (RAVDESS) 的Ryerson视听数据库包含7,356个文件 (总大小: 24.8 GB)。该数据库包含24位专业演员 (12位女性,12位男性),以中性的北美口音发声两个词汇匹配的陈述。言语包括平静、快乐、悲伤、愤怒、恐惧、惊讶和厌恶的表情,歌曲则包含平静、快乐、悲伤、愤怒和恐惧的情绪。每个表达都是在两个情绪强度水平 (正常,强烈) 下产生的,另外还有一个中性表达。所有条件都有三种模态格式: 纯音频 (16位,48kHz .wav),音频-视频 (720p H.264,AAC 48kHz,.mp4) 和仅视频 (无声音)。注意,Actor_18没有歌曲文件。

OpenDataLab 收录

Open-industrial-datasets

一个开放的工业应用数据集集合,按类别划分。欢迎提出拉取请求。如果数据集页面已经链接到论文,则不会包含论文链接。

github 收录