XMIDI|音乐生成数据集|情感分析数据集

XMIDI是由腾讯研究团队构建的大规模符号音乐数据集，包含108,023个MIDI文件，每个文件都带有精确的情感和流派标签。该数据集是目前最大的情感标注符号音乐数据集，规模是之前最大数据集ELMG的10倍。XMIDI的数据来源于多种渠道，经过专家手动标注，确保了数据的高质量和多样性。数据集的构建旨在支持符号音乐生成的研究，特别是情感可控的高质量音乐生成。XMIDI的应用领域包括自适应配乐、视频背景音乐生成、音乐转录以及免版税音乐创作等，旨在解决AI生成音乐在情感表达和编辑灵活性方面的挑战。

AI搜集汇总

数据集介绍

构建方式

XMIDI数据集的构建过程涉及从多个在线资源（如Internet Archive、GitHub和Reddit）爬取MIDI文件，并通过自动和手动清理步骤确保数据质量。自动清理包括删除损坏或空文件，并通过MD5文件哈希进行基本去重。随后，通过将MIDI文件渲染为音频格式并提取色度特征，进一步消除重复数据。手动清理阶段，专业注释员筛选出具有明显异常的文件，确保数据集的音乐质量。最终，数据集包含108,023个MIDI文件，每个文件都经过精确的情感和流派标注。

特点

XMIDI数据集是目前规模最大的符号音乐数据集之一，包含108,023个MIDI文件，每个文件都标注了精确的情感和流派标签。数据集涵盖了11种情感类别和6种音乐流派，情感类别包括兴奋、温暖、快乐、浪漫等，流派则包括摇滚、流行、乡村等。数据集的平均音乐时长为176秒，总时长约为5,278小时。此外，数据集通过专业注释员的交叉验证确保了标注的准确性，并采用了多任务学习方案来评估生成音乐的质量。

使用方法

XMIDI数据集主要用于训练和评估符号音乐生成模型，特别是情感和流派可控的音乐生成任务。数据集通过XMusic框架中的XProjector和XComposer组件进行多模态提示解析和音乐生成。XProjector将输入的多模态提示（如图像、视频、文本、标签和哼唱）解析为符号音乐元素，而XComposer则根据这些元素生成高质量的音乐。此外，数据集还可用于音乐质量评估、情感识别和流派识别等多任务学习任务，帮助模型生成符合人类听觉偏好的音乐。

背景与挑战

背景概述

XMIDI数据集是由腾讯的研究团队于2023年构建的一个大规模符号音乐数据集，旨在支持多模态可控的符号音乐生成。该数据集包含108,023个MIDI文件，每个文件都标注了精确的情感和流派标签。XMIDI的构建是为了解决当前AI生成音乐在情感控制和输出质量方面的挑战，尤其是在符号音乐生成领域。该数据集的核心研究问题是如何通过多模态输入（如图像、视频、文本、标签和哼唱）生成情感可控且高质量的符号音乐。XMIDI的发布对音乐生成领域产生了重要影响，尤其是在情感控制和多模态音乐生成方面，推动了相关技术的进一步发展。

当前挑战

XMIDI数据集面临的挑战主要包括两个方面。首先，在领域问题方面，符号音乐生成的核心挑战在于如何有效地控制音乐的情感和风格，同时确保生成音乐的高质量。尽管现有的符号音乐生成方法在音频生成方面取得了一定进展，但在情感表达和音乐结构的长期一致性上仍存在不足。其次，在数据集构建过程中，研究人员面临的主要挑战是如何收集和标注大规模的高质量符号音乐数据。由于符号音乐数据的稀缺性和标注的复杂性，构建一个包含精确情感和流派标签的大规模数据集需要耗费大量的人力和时间。此外，如何确保数据集的多样性和平衡性，避免数据偏差，也是构建过程中需要解决的关键问题。

常用场景

经典使用场景

XMIDI数据集在音乐生成领域具有广泛的应用，尤其是在符号音乐生成任务中。该数据集通过提供大量带有精确情感和流派标签的MIDI文件，为研究人员提供了一个强大的工具，用于训练和评估音乐生成模型。XMIDI数据集的核心应用场景包括基于多模态提示（如图像、视频、文本、标签和哼唱）的符号音乐生成。通过XMusic框架，XMIDI数据集能够将这些多模态输入解析为符号音乐元素，进而生成情感可控且高质量的音乐作品。

实际应用

XMIDI数据集的实际应用场景非常广泛。它可以用于生成自适应背景音乐，如为视频、游戏或广告生成情感匹配的背景音乐。此外，XMIDI还可以用于音乐创作辅助工具，帮助作曲家快速生成符合特定情感或流派的音乐片段。在教育和娱乐领域，XMIDI可以用于音乐教学工具，帮助学生理解不同情感和流派的音乐特征。此外，XMIDI还可以用于生成免版税音乐，为内容创作者提供高质量的音乐素材。

衍生相关工作

XMIDI数据集衍生了许多相关的研究工作。例如，基于XMIDI的XMusic框架在符号音乐生成领域取得了显著进展，支持多模态输入并生成高质量的音乐。此外，XMIDI还推动了情感控制音乐生成的研究，如EMOPIA等情感标注数据集的研究。XMIDI的引入还促进了音乐质量评估和选择器模型的发展，使得生成音乐的质量得到了显著提升。其他相关工作还包括基于XMIDI的音乐表示改进，如Compound Word Transformer等模型，进一步提升了符号音乐生成的效率和效果。