FineDance|AI编舞数据集|3D动作捕捉数据集

arXiv2023-08-30 更新2024-08-06 收录

AI编舞

3D动作捕捉

下载链接：

http://arxiv.org/abs/2212.03741v4

下载链接

链接失效反馈

资源简介：

FineDance是由清华大学深圳国际研究生院创建的大型专业3D动作捕捉舞蹈数据集，包含14.6小时的音乐与舞蹈配对数据，涵盖22种精细分类的舞蹈风格，具有精确的姿势和精细的手部动作。该数据集是目前最大的音乐与舞蹈配对数据集，旨在推动AI编舞、运动先验和全身重建方法的发展。FineDance数据集通过专业的舞蹈家和动作捕捉系统创建，确保了数据的真实性和准确性。该数据集的应用领域包括从音乐生成舞蹈、舞蹈风格匹配以及长时舞蹈序列的生成，旨在解决现有数据集在手部动作和舞蹈风格多样性方面的不足。

提供机构：

清华大学深圳国际研究生院

创建时间：

2022-12-08

AI搜集汇总

数据集介绍

构建方式

FineDance数据集是通过346首配对歌曲和舞蹈收集而来的，总时长超过14.6小时。数据集由专业舞者和动作捕捉系统创建，包含精细的手部动作、22种舞蹈类型和精确的姿态。舞者们在跳舞时手动与音乐同步，并在Blender中提取舞蹈的骨骼信息。

特点

FineDance数据集是迄今为止最大的音乐舞蹈配对数据集，拥有最多种类的舞蹈。它包括音乐、舞蹈序列、FilmBox (fbx) 文件、SMPL 和多视图视频。此外，FineDance数据集还包括22种精细的舞蹈类型，涵盖了传统和现代风格，为舞蹈生成提供了更多的挑战。

使用方法

FineDance数据集可以用于训练生成舞蹈序列的模型，如FineNet。使用FineNet，可以通过输入音乐来生成具有自然和灵活手部动作的全身舞蹈。FineNet包括两个阶段：扩散式全身舞蹈生成网络 (FDGN) 和Genre&Coherent aware Retrieval Module (GCRM)。FDGN负责生成具有表达性的全身舞蹈片段，而GCRM则负责检索和合成最佳匹配的舞蹈片段，以确保舞蹈与音乐的风格和连贯性。

背景与挑战

背景概述

舞蹈作为一种艺术形式，自古以来便承载着人类情感的丰富表达。随着现代娱乐产业的蓬勃发展，如音乐会、电影和游戏等，高质量的3D舞蹈动画制作需求日益增长。然而，传统方法往往需要专业技能的舞者、工程师以及昂贵的动作捕捉设备，成本高昂且过程复杂。为了应对这一挑战，人工智能在生成3D舞蹈动画方面的研究逐渐兴起。在此背景下，FineDance数据集的提出，旨在通过提供大规模、高精度的3D舞蹈数据，推动AI编舞、动作先验学习和全身重建等领域的发展。

当前挑战

FineDance数据集面临的挑战主要包括：1)舞蹈动作的精细粒度表达：现有舞蹈数据集中包含的手部动作较少，且全身舞蹈数据仅有1.5小时，导致生成的舞蹈缺乏自然性和多样性。2)舞蹈类型的多样性：现有数据集中舞蹈类型的数量有限，难以匹配各种音乐风格。此外，缺乏合适的指标来衡量音乐与生成舞蹈之间的风格匹配程度。为了解决这些问题，FineDance数据集包含了14.6小时的音舞配对数据，涵盖了22种细粒度的舞蹈类型，并提供了准确的全身姿态。同时，为了解决现有方法中单调且不自然的手部动作问题，FineNet网络被提出，该网络利用扩散模型的生成能力来解决问题，并使用专家网络来解决不真实的问题。为了进一步提高生成舞蹈的风格匹配度和长期稳定性，还提出了一个名为Genre&Coherent aware Retrieval Module的模块。此外，还提出了一种名为Genre Matching Score的新型指标，用于评估舞蹈与音乐之间的风格匹配程度。

常用场景

经典使用场景

FineDance数据集主要用于生成与给定音乐相匹配的全身3D舞蹈序列。该数据集包含了22种细粒度的舞蹈风格，以及精确的身体和手部动作，为人工智能编舞、运动先验和全身重建方法的研究提供了丰富的数据资源。FineNet网络模型利用FineDance数据集进行训练，能够生成具有表达性和多样性的全身舞蹈，并提高舞蹈与音乐之间的风格匹配度。

衍生相关工作

FineDance数据集的发布促进了相关研究的发展。例如，FineNet网络模型的提出，为全身舞蹈生成和风格匹配问题提供了新的解决方案。此外，FineDance数据集还可以用于运动先验研究和全身重建方法的研究，推动相关领域的进一步发展。

数据集最近研究