AIST-M

AIST-M是一个用于合作伙伴舞蹈生成的全新数据集，旨在控制领舞者和合作伙伴之间的姿势多样性，同时保持与领舞者的时序协调。数据集包含了多种格式的关键点数据，包括2D和3D关键点，以及SMPL格式的动作数据，用于支持舞蹈动作的生成和分析。

AIST-M is a novel dataset designed for partner dance generation, aiming to control the diversity of poses between the lead dancer and the partner while maintaining temporal coordination with the lead dancer. The dataset includes keypoint data in various formats, including 2D and 3D keypoints, as well as motion data in SMPL format, to support the generation and analysis of dance movements.

原始信息汇总

数据集概述

数据集名称

• AIST-M

数据集用途

• 用于Dance with You: The Diversity Controllable Dancer Generation via Diffusion Models论文中提出的多舞者合成任务，即合作伙伴舞者生成。

数据结构

• Keypoints2D: 2D COCO格式关键点，形状为(num_views x num_frames x 17 x 3)。
• Keypoints3D: 3D COCO格式关键点，形状为(num_frames x 17 x 3)。
• Motions: SMPL姿态格式关键点，包括smpl_poses、root_trans和scaling。
  • smpl_poses: 形状(num_frames x 72)。
  • root_trans: 形状(num_frames x 3)。
  • scaling: 形状(1 x 1)。
• Lead-Partner: 包含SMPL关节的领舞-合作伙伴舞者对。
  • leader_name: 领舞者序列名称。
  • lead_dancer: 领舞者动作序列，形状(num_frames x 72)。
  • partner_dancer: 对应合作伙伴舞者动作序列，形状(num_frames x 72)。
• music_feature: 从原始音乐文件提取的特征，音乐帧与动作帧对齐。

数据集下载

• 下载链接：AIST-M Dataset

使用方法

• 实验前，请将压缩文件解压至./dataset/文件夹。

训练步骤

1. 3D Pose Collection Stage: 使用所有舞蹈动作数据训练，可选择下载单人舞者数据集AIST++混合训练，或使用预训练模型进行微调。
2. Dance Pre-generation Stage: 使用./dataset/lead_partner/中的lead_dancer部分进行训练。
3. Dance Motion Transfer Stage: 使用./dataset/lead_partner/中的partner_dancer部分及步骤2的结果进行训练。

评估

• 定性评估: 训练结果存储于./exp_ckpt/文件夹。
• 定量评估: 生成舞蹈后，运行python evaluate.py进行评估。

搜集汇总

数据集介绍

构建方式

在构建AIST-M数据集时，研究团队首先通过3D姿态收集阶段，广泛采集基础舞蹈姿态作为运动生成的参考。随后，引入一个超参数，通过遮蔽姿态来协调舞者之间的相似性，以防止生成过于多样或一致的序列。为避免动作僵硬，设计了舞蹈预生成阶段，预先生成这些遮蔽姿态，而非填充零值。最后，通过舞蹈运动转移阶段，结合领导舞者的序列和音乐，重写多条件采样公式，将预生成的姿态转换为具有伙伴风格的序列。

特点

AIST-M数据集的主要特点在于其多样性和可控性。该数据集不仅包含了丰富的3D和2D姿态数据，还特别设计了领导舞者和伙伴舞者的配对数据，确保了舞蹈动作的多样性和协调性。此外，数据集还包含了从原始音乐文件中提取的音乐特征，这些特征与运动帧对齐，为舞蹈生成提供了音乐背景。

使用方法

使用AIST-M数据集时，首先需下载并解压数据集到指定文件夹。数据集的结构包括2D和3D关键点、SMPL姿态格式关键点、领导舞者和伙伴舞者的配对数据以及音乐特征。在训练过程中，需依次进行三个阶段的训练：3D姿态收集阶段、舞蹈预生成阶段和舞蹈运动转移阶段。每个阶段的训练代码和配置文件均提供，用户可根据需要进行微调或直接使用预训练模型。训练结果可用于定性和定量评估，评估代码也一并提供。

背景与挑战

背景概述

近年来，虚拟环境中的人际互动数字人类引起了广泛关注。在此背景下，AIST-M数据集应运而生，旨在支持一种新颖的多舞者合成任务，即合作伙伴舞者生成。该任务的核心在于合成能够与用户共舞的虚拟人类舞者，并控制主导舞者与合作伙伴舞者之间的姿态多样性。AIST-M数据集由Yao等人于2023年创建，作为ACM MM 2023会议论文《Dance with You: The Diversity Controllable Dancer Generation via Diffusion Models》的配套数据集。该数据集的构建旨在解决现有数据集在多舞者互动场景中的不足，为研究者提供了一个丰富的资源，以探索和实现舞者姿态的多样性与协调性的平衡。

当前挑战

AIST-M数据集在构建过程中面临多项挑战。首先，多舞者互动场景的数据收集与标注复杂度较高，需要确保舞者姿态的多样性与协调性。其次，数据集的多样性控制要求在生成合作伙伴舞者时，既能保持与主导舞者的协调性，又能实现多样化的姿态生成，这对算法的设计提出了高要求。此外，数据集的构建还需考虑音乐与舞者动作的同步性，确保生成的舞者动作与音乐节奏相匹配。最后，数据集的评估方法需要综合考虑定性与定量指标，以全面评价生成舞者的质量与多样性。

常用场景

经典使用场景

AIST-M数据集在舞蹈生成领域中，主要用于合成具有多样性可控性的舞伴舞蹈。通过该数据集，研究者可以训练模型生成与主导舞者协调且多样化的舞伴动作，从而实现虚拟环境中的人际互动。这一应用场景不仅扩展了舞蹈生成的研究边界，还为虚拟现实和数字人技术提供了新的可能性。

解决学术问题

AIST-M数据集解决了在舞蹈生成中如何控制舞伴动作多样性的学术问题。传统舞蹈生成研究多聚焦于音乐驱动的单人舞蹈，而AIST-M则强调在保持时间协调性的同时，生成与主导舞者动作多样性可控的舞伴动作。这一创新不仅提升了舞蹈生成的真实感和互动性，还为相关领域的研究提供了新的思路和方法。

衍生相关工作

基于AIST-M数据集，研究者们开发了多种舞蹈生成模型，如DanY框架，该框架通过三阶段处理实现了舞伴动作的多样性控制。此外，AIST-M还激发了在舞蹈生成中引入音乐特征的研究，进一步提升了生成动作的自然度和协调性。这些衍生工作不仅丰富了舞蹈生成领域的研究内容，还推动了相关技术的实际应用。