Dance with Melody Dataset

该数据集旨在建立舞蹈动作与音乐之间的关系，包含四种舞蹈类型：恰恰、探戈、伦巴和华尔兹。每个目录中的`audio.mp3`提供舞蹈的音频文件，`skeletons.json`描述舞蹈的骨骼点，`config.json`给出舞蹈序列匹配歌曲部分的开始帧和结束帧。数据集的帧率为25帧每秒。This dataset is designed to establish the relationship between dance movements and music, encompassing four dance genres: Cha-Cha, Tango, Rumba, and Waltz. Each directory contains an `audio.mp3` file providing the audio for the dance, a `skeletons.json` file describing the skeletal points of the dance, and a `config.json` file indicating the start and end frames of the dance sequence that match the song sections. The dataset operates at a frame rate of 25 frames per second.

原始信息汇总

数据集概述

数据集介绍

本数据集旨在构建舞蹈动作与音乐之间的关系，包含四种舞蹈类型：恰恰、探戈、伦巴和华尔兹。每个目录中，audio.mp3 包含舞蹈的音频文件，skeletons.json 描述舞蹈的骨骼点，config.json 提供舞蹈序列的起始帧和结束帧，数据集的帧率为每秒25帧。

数据集内容

• 舞蹈类型：恰恰、探戈、伦巴、华尔兹
• 文件格式：
  • audio.mp3：音频文件
  • skeletons.json：骨骼点描述
  • config.json：起始帧和结束帧配置
• 帧率：25 FPS

相关论文

• 论文1：

  • 标题：Dance with Melody: An LSTM-autoencoder Approach to Music-oriented Dance Synthesis
  • 作者：Tang, Taoran and Jia, Jia and Mao, Hanyang
  • 会议：2018 ACM Multimedia Conference on Multimedia Conference
  • 页码：1598-1606
  • 年份：2018

• 论文2：

  • 标题：AniDance: Real-Time Dance Motion Synthesize to the Song
  • 作者：Tang, Taoran and Mao, Hanyang and Jia, Jia
  • 会议：2018 ACM Multimedia Conference on Multimedia Conference
  • 页码：1237-1239
  • 年份：2018

搜集汇总

数据集介绍

构建方式

Dance with Melody Dataset旨在探索舞蹈动作与音乐之间的关联，其构建方式通过收集四种舞蹈类型（恰恰、探戈、伦巴和华尔兹）的音频文件和相应的骨骼点数据。每个舞蹈类型的目录中包含`audio.mp3`音频文件、`skeletons.json`描述的舞蹈骨骼点数据，以及`config.json`文件，该文件记录了舞蹈序列与音乐片段的匹配起始和结束帧。数据集的帧率为每秒25帧，确保了舞蹈动作与音乐节奏的精确对应。

特点

该数据集的显著特点在于其专注于音乐与舞蹈动作的同步性，通过精确的帧率控制和骨骼点数据，能够细致地捕捉舞蹈动作的动态变化。此外，数据集涵盖了四种不同风格的舞蹈，提供了多样化的舞蹈动作与音乐组合，为研究舞蹈动作生成与音乐分析提供了丰富的资源。

使用方法

使用Dance with Melody Dataset时，研究者可以利用`audio.mp3`文件进行音乐分析，结合`skeletons.json`中的骨骼点数据，研究舞蹈动作与音乐节奏的对应关系。`config.json`文件提供了舞蹈序列的时间标记，便于精确匹配舞蹈动作与音乐片段。该数据集适用于舞蹈动作生成、音乐与动作同步研究等领域，为相关算法和模型的开发提供了基础数据支持。

背景与挑战

背景概述

舞蹈与旋律数据集（Dance with Melody Dataset）由Tang Taoran、Jia Jia和Mao Hanyang等研究人员于2018年构建，旨在探索舞蹈动作与音乐之间的关联性。该数据集包含了四种舞蹈类型：恰恰、探戈、伦巴和华尔兹，每种舞蹈类型均配有相应的音频文件和骨骼点数据。通过`audio.mp3`、`skeletons.json`和`config.json`文件，研究人员能够精确匹配舞蹈动作与音乐片段，为音乐导向的舞蹈合成研究提供了宝贵的资源。该数据集的构建与ACM多媒体会议的两篇论文紧密相关，展示了其在舞蹈合成领域的创新性和影响力。

当前挑战

舞蹈与旋律数据集面临的主要挑战包括：首先，如何准确捕捉和描述舞蹈动作与音乐之间的复杂关系，尤其是在不同舞蹈风格和音乐节奏之间的匹配问题。其次，数据集的构建过程中，确保舞蹈动作与音乐片段的精确对齐，以及骨骼点数据的准确性和一致性，都是技术上的难点。此外，该数据集的应用场景广泛，如何在高实时性要求下实现舞蹈动作的合成，也是一个亟待解决的问题。这些挑战不仅推动了数据集的精细化构建，也为相关领域的研究提供了新的方向。

常用场景

经典使用场景

Dance with Melody Dataset 主要用于研究舞蹈动作与音乐旋律之间的关系，特别是在音乐导向的舞蹈合成领域。该数据集通过提供四种舞蹈类型（恰恰、探戈、伦巴和华尔兹）的音频文件和对应的骨骼点数据，使得研究者能够探索如何将音乐的节奏和旋律转化为具体的舞蹈动作。通过分析 `audio.mp3` 和 `skeletons.json` 文件，研究者可以构建模型，实现从音乐到舞蹈动作的自动生成，这在舞蹈编排和虚拟表演中具有广泛的应用前景。

解决学术问题

Dance with Melody Dataset 解决了音乐与舞蹈动作之间复杂关系的建模问题。传统的舞蹈编排依赖于人工设计和经验，而该数据集通过提供精确的音乐与舞蹈动作的匹配数据，使得机器学习模型能够学习并生成符合音乐节奏的舞蹈动作。这不仅推动了音乐导向舞蹈合成技术的发展，也为跨模态数据处理提供了新的研究方向，具有重要的学术价值和应用潜力。

衍生相关工作

基于 Dance with Melody Dataset，研究者们开发了多种音乐导向的舞蹈合成模型，如 LSTM-autoencoder 方法，这些方法在 ACM Multimedia 会议上得到了展示和验证。此外，该数据集还激发了其他相关研究，如实时舞蹈动作合成系统 AniDance，进一步推动了音乐与舞蹈动作合成技术的发展。这些工作不仅在学术界引起了广泛关注，也为实际应用提供了技术支持。