FS-Jump3D Dataset

名古屋大学的研究团队精心打造了FS-Jump3D数据集，旨在通过光学无标记运动捕捉技术，细致记录花样滑冰中复杂而动态的跳跃动作。该数据集不仅填补了研究领域中针对花样滑冰三维姿态数据的空白，还提出了一种新的细粒度标注方法，使动作分割模型能够学习跳跃过程。FS-Jump3D数据集包含12个视角的视频和86个关键点的三维跳跃姿态，为理解花样滑冰跳跃提供了宝贵的资源。通过与现有的三维姿态数据集相结合，FS-Jump3D进一步推动了体育领域三维姿态估计技术的发展。数据集创建过程中，研究者在冰面上布置了12台高速摄像机，以60fps的帧率捕捉了包括三周跳在内的高难度跳跃动作。数据集的标注工作细致入微，将跳跃动作分为“起跳”、“跳跃中”和“着陆”三个阶段，为模型提供了精确的时空语义信息。此外，研究还验证了3D姿态特征作为输入数据在花样滑冰动作分割任务中的有效性。

The research team at Nagoya University has meticulously developed the FS-Jump3D dataset, aiming to record the complex and dynamic jump movements in figure skating via optical markerless motion capture technology. This dataset not only fills the gap in 3D pose data for figure skating in the research community, but also proposes a novel fine-grained annotation method that enables action segmentation models to learn the entire jump process. The FS-Jump3D dataset includes 12-view videos and 3D jump poses of 86 key points, providing a valuable resource for the study of figure skating jumps. Combined with existing 3D pose datasets, FS-Jump3D further advances the development of 3D pose estimation technologies in the sports domain. During the dataset creation phase, the researchers deployed 12 high-speed cameras on the ice rink to capture high-difficulty jump movements including triple jumps at a frame rate of 60fps. The annotation work for the dataset is highly meticulous, dividing jump movements into three stages: takeoff, mid-air, and landing, providing models with precise spatiotemporal semantic information. Additionally, the study verified the effectiveness of 3D pose features as input data for figure skating action segmentation tasks.

原始信息汇总

FS-Jump3D 数据集

概述

FS-Jump3D 数据集是首个包含3D姿态数据和12个视角视频数据的花样滑冰跳跃数据集。该数据集通过无标记运动捕捉系统（Theia3D, Theia）和12台高速摄像机（Miqus Video, Qualisys）在冰上滑冰场中捕捉跳跃数据。

数据内容

• c3d: 302.6 MB
• json: 505.2 MB
• videos: 8.84 GB

下载

数据集可通过以下链接下载：

• c3d: GoogleDrive
• json: GoogleDrive
• videos: GoogleDrive

使用方法

使用C3D文件

可通过QTM（Qualisys Track Manager）软件打开和可视化原始C3D文件，并导出为多种格式。

使用JSON文件

JSON文件包含与原始C3D文件相同的数据。可通过以下命令将JSON文件转换为常见的3D姿态格式： zsh python utils/format.py

许可证

FS-Jump3D 数据集采用 Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) 许可证。

引用

@inproceedings{MMSports2024_tanaka, author = {Tanaka, Ryota and Suzuki, Tomohiro and Fujii, Keisuke}, title = {3D Pose-Based Temporal Action Segmentation for Figure Skating: A Fine-Grained and Jump Procedure-Aware Annotation Approach}, booktitle = {Proceedings of the 7th ACM International Workshop on Multimedia Content Analysis in Sports}, series = {MMSports 24}, year = {2024}, isbn = {979-8-4007-1198-5/24/10}, location = {Melbourne, VIC, Australia}, pages = {1--10}, numpages = {10}, doi = {10.1145/3689061.3689077}, publisher = {Association for Computing Machinery}, address = {New York, NY, USA}, keywords = {Temporal action segmentation, Human pose estimation, Sports, Datasets, Annotation, Computer vision}, }

搜集汇总

数据集介绍

构建方式

在构建FS-Jump3D数据集时，研究团队采用了无标记运动捕捉系统Theia3D，通过在冰上滑冰场布置12台高速摄像机（Miqus Video, Qualisys），从多个视角捕捉花样滑冰跳跃动作的3D姿态数据和视频数据。这一方法确保了数据的全面性和精确性，为后续的分析和研究提供了坚实的基础。

特点

FS-Jump3D数据集的显著特点在于其多视角的3D姿态数据和视频数据的结合，这使得研究者能够从不同角度全面分析花样滑冰跳跃动作。此外，数据集的构建过程中使用了无标记运动捕捉技术，减少了传统标记方法可能带来的误差，提高了数据的准确性和可靠性。

使用方法

使用FS-Jump3D数据集时，用户可以通过下载C3D或JSON格式的数据文件，并使用Qualisys Track Manager（QTM）软件进行可视化和数据导出。对于JSON文件，用户可以通过运行提供的Python脚本将其转换为常见的3D姿态格式，便于进一步的分析和处理。数据集的灵活性和多样性使其适用于多种研究场景，如人体姿态估计和时间动作分割。

背景与挑战

背景概述

FS-Jump3D数据集是首个包含3D姿态数据和12个视角视频数据的冰上花样滑冰跳跃数据集。该数据集由Ryota Takeda实验室创建，使用无标记运动捕捉系统Theia3D和12台高速摄像机在冰上滑冰场进行数据采集。其核心研究问题在于通过3D姿态数据和多视角视频数据，实现对花样滑冰跳跃动作的精细分割和动作感知标注。该数据集的发布为体育运动中的计算机视觉研究提供了新的资源，特别是在人体姿态估计和时间动作分割领域，具有重要的影响力。

当前挑战

FS-Jump3D数据集在构建过程中面临多重挑战。首先，无标记运动捕捉系统的使用要求高精度的设备校准和数据同步，以确保3D姿态数据的准确性。其次，从12个视角采集的视频数据需要复杂的处理和融合技术，以生成一致的3D姿态模型。此外，数据集的标注工作涉及对花样滑冰跳跃动作的精细分割和动作感知标注，这要求研究人员具备深厚的领域知识和专业技能。这些挑战不仅增加了数据集构建的复杂性，也对后续的数据分析和模型训练提出了高要求。

常用场景

经典使用场景

在体育科学和计算机视觉的交叉领域，FS-Jump3D数据集以其独特的3D姿态数据和多视角视频数据，成为研究花样滑冰跳跃动作的理想工具。该数据集通过12个高速摄像机的无标记运动捕捉系统，精确捕捉了花样滑冰运动员的跳跃动作，为研究人员提供了丰富的三维姿态信息和视频数据。这些数据不仅支持对跳跃动作的精细分析，还为开发和验证基于3D姿态的动作识别和分割算法提供了宝贵的资源。

衍生相关工作

FS-Jump3D数据集的发布激发了众多相关研究工作。例如，基于该数据集，研究人员开发了多种动作识别和分割算法，显著提升了对复杂运动动作的理解和分析能力。此外，该数据集还促进了跨学科的合作，推动了计算机视觉技术在体育科学中的应用，为未来的研究提供了新的方向和思路。

数据集最近研究

最新研究方向

在花样滑冰领域，FS-Jump3D数据集的引入为3D姿态分析和视频数据的多视角研究提供了新的契机。最新的研究方向集中在利用该数据集进行精细化的动作分割和跳跃过程的感知标注。通过结合3D姿态数据和多视角视频，研究者们能够更准确地捕捉和分析花样滑冰运动员的跳跃动作，从而推动计算机视觉在体育分析中的应用。这一研究不仅提升了动作识别的精度，还为体育训练和表现评估提供了科学依据，具有重要的实际意义。