SwimXYZ

SwimXYZ是由法国中央高等电力学院等机构创建的大型合成游泳动作和视频数据集，包含340万帧标注了2D和3D关节的图像，以及240个游泳动作序列。数据集通过使用GANimator生成多样化的游泳动作，并在Unity环境中模拟真实的水下环境。SwimXYZ旨在解决传统运动捕捉系统在游泳等水下运动中应用的局限性，特别是在缺乏标注数据的情况下。该数据集适用于游泳动作分析、2D和3D姿态估计等研究领域，有助于提升运动员训练和比赛表现的技术支持。

SwimXYZ is a large-scale synthetic swimming motion and video dataset developed by institutions including École CentraleSupélec and other relevant organizations. It contains 3.4 million frames of images annotated with 2D and 3D joint positions, as well as 240 swimming motion sequences. The dataset generates diverse swimming motions using GANimator, and simulates realistic underwater environments in the Unity engine. SwimXYZ aims to resolve the limitations of traditional motion capture systems when applied to underwater sports such as swimming, particularly in cases where labeled data is scarce. This dataset is suitable for research areas including swimming motion analysis, 2D and 3D pose estimation, and can help improve technical support for enhancing athlete training and competition performance.

搜集汇总

数据集介绍

构建方式

SwimXYZ 数据集的构建旨在填补游泳运动捕捉领域的空白，该领域由于水下环境的特殊性，传统运动捕捉系统难以施展。SwimXYZ 通过使用 GANimator 生成器模型，从单一的运动序列中合成新颖且多样化的游泳动作。这些动作被重新定位到人体模型，并转换为 SMPL 参数格式。为了模拟真实的水下环境，SwimXYZ 在 Unity 中构建了虚拟环境，包括水的外观、波浪、光线等参数，并设置了五种不同的摄像机视角。最终生成的视频数据集包含 11,520 个视频，总计 3.4 百万帧，每帧均标注了真实 2D 和 3D 关节位置。

使用方法

SwimXYZ 数据集可用于多种应用，包括游泳动作聚类和 2D 姿势估计。在游泳动作聚类方面，SwimXYZ 可以帮助训练游泳动作分类器，并分析每个动作的可变性。在 2D 姿势估计方面，SwimXYZ 可以用于微调现有的姿势估计模型，如 ViTPose，以提高其在真实游泳视频上的准确性和鲁棒性。SwimXYZ 还可以用于训练游泳姿势和运动先验，或用于游泳动作分类器。

背景与挑战

背景概述

SwimXYZ 数据集的创建旨在应对传统运动捕捉系统在游泳领域应用中的局限性。该数据集由法国的 CentraleSupélec 研究团队开发，并得到了 ANR 和 PIA France 2030 的支持。SwimXYZ 包含 3.4 百万帧标注有真实 2D 和 3D 关节的合成游泳动作视频，以及 240 个游泳动作序列，以 SMPL 参数格式呈现。这一数据集的推出，为游泳运动捕捉技术的研究和应用提供了宝贵的资源，对推动运动捕捉技术在大规模体育活动中的应用具有重要意义。

当前挑战

SwimXYZ 数据集的构建面临的主要挑战在于如何生成真实且多样化的游泳动作视频。为了解决这一问题，研究团队使用了 GANimator 生成模型来生成新颖且多样化的游泳动作，并利用 Unity 游戏引擎创建了一个逼真的水下环境。此外，SwimXYZ 数据集还面临着如何将合成数据应用于实际游泳动作捕捉的挑战。虽然 SwimXYZ 数据集在 2D 姿态估计方面取得了较好的效果，但在 3D 姿态估计和游泳动作分类方面仍需进一步研究和探索。未来，SwimXYZ 数据集有望在游泳动作捕捉、姿态估计、运动分析等领域发挥更大的作用，推动相关技术的进步和发展。

常用场景

经典使用场景

SwimXYZ数据集作为一个人工合成的游泳动作和视频的大规模数据集，为运动捕捉领域提供了宝贵的资源。该数据集包含34万帧标注有真实2D和3D关节点的视频，以及240个游泳动作序列的SMPL参数格式。SwimXYZ的数据生成流程包括使用GANimator模型生成多样化的游泳动作，并通过Unity引擎构建虚拟环境。这一流程确保了数据集的多样性和真实性，使其成为研究游泳运动捕捉的理想工具。

解决学术问题

SwimXYZ数据集解决了传统运动捕捉系统成本高昂、设置复杂的问题，并克服了在水中环境下应用计算机视觉方法的挑战。该数据集为2D和3D姿态估计提供了高质量的标注数据，弥补了现有数据集的不足。SwimXYZ的引入，为基于图像的运动捕捉技术在水上运动中的应用开辟了新的可能性，推动了运动科学和计算机视觉领域的交叉研究。

实际应用

SwimXYZ数据集的实际应用场景广泛，包括游泳动作的聚类分析，以识别和分类不同的游泳姿势；以及2D姿态估计模型的微调，以提高模型对游泳动作的识别精度。此外，SwimXYZ的数据还可以用于训练游泳动作先验模型和游泳姿势分类器，为游泳运动员的训练和比赛分析提供技术支持。该数据集的公开可用性，使得小型机构和业余运动员也能从中受益，优化训练效果。

数据集最近研究

最新研究方向

SwimXYZ数据集的引入，填补了游泳运动领域缺乏标注数据集的空白。该数据集的发布，为计算机视觉在游泳运动中的应用提供了丰富的资源，尤其是在游泳姿态估计和游泳动作分类方面。SwimXYZ数据集包含了大量的合成游泳视频和动作，这些视频和动作均标注了真实的2D和3D关节点，以及240个SMPL参数格式的游泳动作序列。这使得SwimXYZ数据集在游泳运动的2D姿态估计、3D姿态估计以及游泳动作分类等方面具有广泛的应用前景。同时，SwimXYZ数据集的发布也为其他体育领域的数据集建设提供了参考，推动了计算机视觉技术在体育领域的应用。

相关研究论文

• SwimXYZ: A large-scale dataset of synthetic swimming motions and videos

  法国中央高等电力学院，IETR UMR CNRS 6164 · 2023年