MERGE

MERGE数据集由科英布拉大学的研究团队创建，是一个用于静态音乐情感识别的双模态数据集，结合了音频和歌词信息。该数据集通过半自动协议创建，旨在提高标注质量和加速标注过程。MERGE数据集包含音频、歌词及其双模态数据，是目前公开可用的最大双模态MER数据集。该数据集主要应用于音乐情感识别领域，旨在解决现有数据集的不足，如情感分类准确性低、数据集大小有限等问题。

The MERGE Dataset, developed by a research team from the University of Coimbra, is a bimodal dataset for static music emotion recognition that combines audio and lyric information. It was constructed via a semi-automatic protocol to improve annotation quality and accelerate the annotation process. Comprising audio, lyrics, and bimodal fusion data, the MERGE Dataset is currently the largest publicly available bimodal MER dataset. Primarily utilized in the field of music emotion recognition, this dataset is designed to address the limitations of existing datasets, such as low accuracy of emotion classification and limited dataset size.

搜集汇总

数据集介绍

构建方式

MERGE数据集采用了半自动的方法构建，主要分为音频和歌词两种模态，以及它们的结合模态。首先，通过AllMusic平台获取音频样本和情感标签，并使用Warriner的情感形容词列表将标签映射到Russell的情感四象限。然后，通过手动验证确保音频和歌词的质量和情感标注的准确性。最后，将匹配的音频和歌词样本组合成双模态数据集。

使用方法

使用MERGE数据集的方法包括：1）下载数据集和相关文件；2）根据研究需求选择合适的模态和分割方式；3）使用提供的元数据和标签进行数据预处理和特征提取；4）应用机器学习或深度学习算法进行音乐情感识别；5）使用TVT分割进行模型训练和验证，并使用交叉验证方法进行性能评估。

背景与挑战

背景概述

音乐情感识别（MER）领域近年来取得了稳步发展，得益于特征工程、机器学习和深度学习等方面的贡献。该领域的研究对象已从以音频为中心的系统转向结合音频和歌词的双模态集成系统。然而，公共且规模较大的双模态数据库的缺乏阻碍了双模态音频-歌词系统的开发和改进。本文提出了三个新的音频、歌词和双模态MER研究数据集，统称为MERGE，采用半自动方法创建。为了全面评估所提出的数据集并建立基准，我们使用特征工程、机器学习和深度学习方法对每种模态进行了多次实验。此外，我们还提出了固定训练-验证-测试分割方案，并通过实验验证了其有效性。所获得的结果证实了所提出的数据集的可行性，使用深度神经网络进行双模态分类时，F1分数达到了79.21%的最佳整体结果。

当前挑战

MER领域目前面临的主要挑战包括：1）缺乏公共、规模较大且质量高的数据集；2）缺乏情感相关的特征。MERGE数据集旨在解决这些问题，通过半自动方法创建，包括音频、歌词和双模态模态，为MER研究提供了丰富的数据资源。然而，构建双模态数据集的过程仍然面临一些挑战，例如：1）如何确保音频和歌词标注的一致性；2）如何处理版权问题，以允许公开共享数据集；3）如何平衡数据集中不同情感类别和音乐类型的分布。

常用场景

经典使用场景

MERGE数据集在静态音乐情感识别领域中被广泛应用，特别是在机器学习和深度学习方法的研究中。该数据集提供了音频、歌词以及两者的结合数据，使得研究人员能够评估和比较不同模态对音乐情感识别的影响。例如，通过MERGE数据集，研究人员可以训练和测试模型，以识别音乐片段中主导的情感，如快乐、兴奋、悲伤或平静等。此外，该数据集还支持对音乐情感的多标签分类研究，从而为音乐情感识别领域的发展提供了重要的数据支持。

解决学术问题

MERGE数据集解决了音乐情感识别领域中缺乏公开、规模较大且质量较高的数据集的问题。以往的研究中，由于数据集的限制，音乐情感识别系统的准确率一直处于停滞状态，难以突破所谓的“玻璃天花板”。MERGE数据集的提出，提供了更大规模和更高质量的数据，为音乐情感识别研究提供了新的可能性。此外，该数据集还解决了现有数据集在情感分类、数据收集和标注方法上的局限性，如情感分类体系的不足、数据质量低、标注过程耗时等问题。MERGE数据集的创建，为音乐情感识别领域的研究提供了重要的数据支持，推动了该领域的发展。

实际应用

MERGE数据集在实际应用中具有广泛的应用前景。例如，在音乐推荐系统中，可以通过MERGE数据集对用户进行情感识别，从而推荐符合用户情感需求的音乐。此外，MERGE数据集还可以应用于音乐情感分析、音乐生成、音乐教育等领域。通过MERGE数据集，可以更准确地识别和分析音乐中的情感，为音乐创作、音乐教育等领域提供支持。

数据集最近研究

最新研究方向

在音乐情感识别（MER）领域，MERGE数据集的提出标志着从单一模态系统向结合音频和歌词的双模态系统的转变。该数据集通过半自动方法创建，旨在解决现有MER数据集在规模、多样性和情感标注质量方面的不足。MERGE数据集的发布为研究者在音频、歌词和双模态MER领域提供了新的研究基础，有助于打破音乐情感识别领域的“玻璃天花板”，即识别准确率难以提升的问题。该数据集的最新研究方向主要集中在利用深度学习技术，结合音频和歌词信息，以更准确地预测音乐的愉悦度和兴奋度。通过实验验证，MERGE数据集在基准测试中取得了显著的成果，特别是在双模态分类中，使用深度神经网络达到了79.21%的F1分数，为MER领域的研究提供了新的可能性。

相关研究论文

• MERGE -- A Bimodal Dataset for Static Music Emotion Recognition

  科英布拉大学 · 2024年