aiozai/AIOZ-GDANCE|舞蹈生成数据集|音乐驱动数据集

AIOZ-GDANCE数据集是一个用于音乐驱动群舞生成的大规模数据集。该数据集包含16.7小时的配对音乐和3D动作数据，涵盖了7种舞蹈风格和16种音乐流派。与现有仅支持单人舞蹈的数据集不同，AIOZ-GDANCE数据集支持群舞视频的研究，并提供了半自动标注方法以获取3D地面真值。数据集包含音乐文件、动作文件以及序列名称的文本文件，动作文件以SMPL格式存储，包含72维的姿势序列和根节点平移序列。

原始信息汇总

AIOZ-GDANCE 数据集

概述

AIOZ-GDANCE 数据集是一个用于音乐驱动群舞生成的大型数据集，包含16.7小时的配对音乐和3D舞蹈动作，涵盖7种舞蹈风格和16种音乐类型。该数据集支持群舞研究，并提供了一种半自主的标注方法，通过人在环路中获取3D地面真实数据。

数据集下载

• 数据集下载链接: Data
• 音乐和舞蹈标签: Labels

数据结构

数据集目录结构如下：

• split_sequence_names.txt: 包含数据中各个序列名称的txt文件。
• musics: 包含每个序列对应的原始音乐.wav文件，音乐帧与动作帧对齐。
• motions_smpl: 包含每个序列对应的.pkl格式动作文件，主要包含以下项目：
  • smpl_poses: shape[num_persons x num_frames x 72]: 72维向量姿态序列，采用SMPL姿态格式（24个关节）。
  • root_trans: shape[num_persons x num_frames x 3]: 根翻译序列。

示例代码

以下是一个读取动作文件的Python示例代码： python import pickle import numpy as np data = pickle.load(open("sequence_name.pkl","rb")) print(data.keys())

smpl_poses = data[smpl_poses] smpl_trans = data[root_trans]

可视化

数据集提供了加载和可视化动作的演示代码。

前提条件

需要下载SMPL模型（v1.0.0）并重命名模型文件。数据目录结构应为：

<DATA_DIR> ├── motions_smpl/ ├── musics/ └── split_sequence_names.txt

<SMPL_DIR> ├── SMPL_MALE.pkl └── SMPL_FEMALE.pkl

安装必要的包：

pip install scipy torch smplx chumpy vedo trimesh pip install numpy==1.23.0

使用方法

可视化SMPL关节

以下命令将计算SMPL关节位置并在3D图形中实时绘制： bash python vis_smpl_kpt.py --data_dir <DATA_DIR>/motions_smpl --smpl_path <SMPL_DIR>/SMPL_FEMALE.PKL --sequence_name sequence_name.pkl

可视化SMPL网格

以下命令将计算SMPL网格并在3D中可视化： bash python vis_smpl_mesh.py --data_dir <DATA_DIR>/motions_smpl --smpl_path <SMPL_DIR>/SMPL_FEMALE.PKL --sequence_name sequence_name.pkl

引用

@inproceedings{aiozGdance, author = {Le, Nhat and Pham, Thang and Do, Tuong and Tjiputra, Erman and Tran, Quang D. and Nguyen, Anh}, title = {Music-Driven Group Choreography}, journal = {CVPR}, year = {2023}, }

许可证

软件版权许可用于非商业科学研究目的。请仔细阅读以下条款和条件。

AI搜集汇总

数据集介绍

构建方式

AIOZ-GDANCE数据集的构建采用了半自动化的标注方法，结合人工干预以获取3D真实数据。该数据集包含了16.7小时的音乐与3D舞蹈动作配对数据，涵盖7种舞蹈风格和16种音乐类型。通过从自然视频中提取数据，并使用SMPL模型进行3D姿态重建，确保了数据的高质量和多样性。

特点

AIOZ-GDANCE数据集的显著特点在于其专注于群体舞蹈生成，不同于以往仅支持单人舞蹈的数据集。该数据集不仅提供了音乐与舞蹈动作的精确对齐，还包含了群体舞蹈中的位置和姿态信息，支持群体舞蹈生成和评估的研究。此外，数据集的多样性和大规模特性使其成为群体舞蹈生成领域的宝贵资源。

使用方法

使用AIOZ-GDANCE数据集时，用户需下载数据并按照指定目录结构进行组织。数据集提供了Python脚本示例，用于读取和可视化3D舞蹈动作。用户可以通过安装必要的依赖包，运行提供的脚本，实现SMPL关节和网格的可视化。此外，数据集还提供了详细的文档和代码示例，帮助用户快速上手并进行相关研究。

背景与挑战

背景概述

在计算机视觉与人工智能的交叉领域，音乐驱动的群体舞蹈生成（Music-Driven Group Choreography）是一个新兴且具有广泛应用前景的研究课题。AIOZ-GDANCE数据集由Nhat Le、Thang Pham、Tuong Do等研究人员于2023年创建，旨在解决现有数据集仅支持单一舞者舞蹈生成的问题。该数据集包含了16.7小时的音乐与3D舞蹈动作配对数据，涵盖7种舞蹈风格和16种音乐类型，通过半自动标注方法获取3D真实数据，为群体舞蹈生成研究提供了丰富的资源。AIOZ-GDANCE数据集的发布不仅填补了群体舞蹈生成领域的数据空白，还为相关研究提供了新的评估标准和实验平台，推动了音乐与舞蹈结合的智能化发展。

当前挑战

AIOZ-GDANCE数据集在构建过程中面临多项挑战。首先，群体舞蹈生成需要处理多个舞者之间的协调与碰撞问题，这要求算法能够高效地生成一致且无冲突的舞蹈动作。其次，数据集的标注过程复杂，涉及大量的3D动作捕捉与音乐对齐工作，需要开发半自动化的标注方法以提高效率。此外，评估群体舞蹈质量的标准尚不完善，AIOZ-GDANCE数据集通过引入新的评估指标，试图解决这一问题。未来，如何进一步提升群体舞蹈生成的自然度和多样性，以及如何在大规模应用中保持算法的实时性与稳定性，将是该数据集面临的主要挑战。

常用场景

经典使用场景

在音乐驱动的群舞编排领域，AIOZ-GDANCE数据集的经典应用场景主要集中在生成与音乐同步的群舞动作。该数据集通过提供丰富的音乐与3D舞蹈动作对齐数据，支持研究人员开发和验证群舞生成算法。具体而言，研究人员可以利用该数据集训练模型，使其能够根据输入的音乐序列生成多个舞者的协调动作，从而实现音乐与舞蹈的完美融合。

衍生相关工作

AIOZ-GDANCE数据集的发布催生了一系列相关研究工作，特别是在群舞生成和音乐与动作同步领域。例如，基于该数据集，研究者们提出了多种群舞生成算法，包括基于深度学习的生成模型和优化算法，以提高生成动作的协调性和自然度。此外，该数据集还促进了音乐与动作同步技术的研究，推动了音乐驱动的舞蹈生成技术在多个应用场景中的实际应用。

数据集最近研究

最新研究方向

在音乐驱动舞蹈生成领域，AIOZ-GDANCE数据集的最新研究方向主要集中在群体舞蹈动作的生成与优化。该数据集通过引入大规模的群体舞蹈视频和音乐音频，为研究者提供了丰富的资源，以探索如何从音乐中生成协调一致的群体舞蹈动作。前沿研究不仅关注于单个舞者的舞蹈生成技术，更着重于解决群体舞蹈中的动作一致性和避免碰撞等复杂问题。通过提出新的评估指标和实验方法，研究者们旨在开发出能够高效生成多舞者协调舞蹈的新算法，从而推动音乐驱动群体舞蹈生成技术的发展。