MusAV

MusAV是一个新的公共基准数据集，用于比较验证基于音频的音乐情感识别的唤醒和效价（AV）回归模型。该数据集通过收集音乐曲目对的唤醒和效价比较注释构建而成，使用了Spotify API的曲目音频预览和元数据。数据集包含2,092个曲目预览，涵盖1,404个流派，由20名注释者和基于不同注释一致性水平的各种地面实况子集进行成对相对AV判断。

MusAV is a novel public benchmark dataset designed for comparing and validating arousal and valence (AV) regression models in music emotion recognition based on audio. This dataset is constructed by collecting pairwise arousal and valence comparison annotations of music tracks, utilizing track audio previews and metadata from the Spotify API. It encompasses 2,092 track previews spanning 1,404 genres, with pairwise relative AV judgments made by 20 annotators and various ground truth subsets based on different levels of annotation consistency.

原始信息汇总

数据集概述

数据集名称

• MusAV

数据集目的

• 用于比较验证基于音频的音乐情绪识别中的唤醒和效价（AV）回归模型。

数据集构建方法

• 通过收集音乐轨道的音频预览和元数据，使用Spotify API进行比较注释。
• 包含2,092个轨道预览，涵盖1,404个流派，由20个注释者进行成对相对AV判断。

数据集内容

• 元数据：包括所有注释池的元数据，组织成轨道三元组。
• 音频预览：提供音频预览和Spotify API元数据。
• 注释：人类对唤醒/效价的成对相对注释，覆盖块001-006，每个块有三个人类注释者。

数据集结构

• 数据格式：TSV和JSONL格式。
• 组织方式：
  • audio.songids：所有17,574个轨道预览的Spotify ID。
  • genres.jsonl：相应的流派注释。
  • triplets.jsonl：5,326个三元组，每个轨道不超过一个三元组。
  • chunks/：三元组分割成注释块。
  • annotations/：人类AV注释，包括原始注释和处理后的注释，基于不同级别的注释一致性。

数据集使用许可

• AV注释元数据：CC BY-NC-SA 4.0。
• 音频轨道预览和Spotify API元数据：仅限非商业科学研究使用。

数据集引用

• 引用方式：请参考ISMIR 2022出版物。

• 引用格式：

  @conference {bogdanov2019mtg, author = "Bogdanov, Dmitry and Lizarraga-Seijas, Xavier and Alonso-Jiménez, Pablo and Serra, Xavier", title = "MusAV: A dataset of relative arousal-valence annotations for validation of audio models", booktitle = "International Society for Music Information Retrieval Conference (ISMIR 2022)", year = "2022", address = "Bengaluru, India", url = "http://hdl.handle.net/10230/54181" }

搜集汇总

数据集介绍

构建方式

MusAV数据集的构建过程基于Spotify API的音乐曲目预览和元数据，通过收集音乐曲目对的唤醒度和效价的相对标注来完成。该数据集涵盖了1,404种音乐风格，包含2,092首曲目预览，并由20名标注者对这些曲目进行了成对的相对唤醒度和效价判断。数据集的构建过程中，采用了分块处理的方式，将曲目分为多个块，每个块由三名标注者进行标注，确保了数据的多样性和广泛性。

特点

MusAV数据集的特点在于其专注于音乐情感识别中的唤醒度和效价回归模型的验证。数据集不仅包含了丰富的音乐风格和曲目，还提供了基于不同标注一致性水平的子集，如完全一致（FA）和多数一致（MA）的标注结果。此外，数据集还提供了音频预览、Spotify API元数据以及EBU R128响度信息，为研究者提供了多维度的分析基础。

使用方法

MusAV数据集的使用方法包括下载音频预览和元数据文件，这些文件可通过Zenodo平台获取。研究者可以利用提供的脚本对唤醒度和效价回归模型的预测结果进行评估。数据集的组织结构清晰，包含TSV和JSONL格式的元数据文件，便于数据加载和处理。此外，数据集的使用需遵循CC BY-NC-SA 4.0许可，确保仅用于非商业的科学研究目的。

背景与挑战

背景概述

MusAV数据集由西班牙加泰罗尼亚音乐技术研究组（MTG）于2022年创建，旨在为音乐情感识别领域提供一种新的基准数据集，特别是用于验证基于音频的唤醒度（arousal）和效价（valence）回归模型。该数据集由Dmitry Bogdanov、Xavier Lizarraga-Seijas、Pablo Alonso-Jiménez和Xavier Serra等研究人员主导开发，通过Spotify API收集了2,092首音乐曲目的音频预览和元数据，并结合20名标注者的相对唤醒度和效价标注，覆盖了1,404种音乐流派。MusAV的发布为音乐情感计算领域的研究提供了重要的数据支持，推动了基于音频的情感模型验证方法的发展。

当前挑战

MusAV数据集在构建过程中面临多重挑战。首先，音乐情感识别本身具有高度主观性，唤醒度和效价的标注依赖于人类感知，标注一致性难以保证。尽管数据集通过多轮标注和一致性筛选（如多数一致和完全一致）来提升标注质量，但情感标注的模糊性仍然存在。其次，数据集的构建依赖于Spotify API提供的音频预览和元数据，这限制了数据的完整性和多样性，尤其是在非商业用途的限制下，数据的扩展性受到制约。此外，数据集的规模相对较小，仅包含2,092首曲目，且标注范围有限，可能不足以覆盖音乐情感识别的全部复杂性。这些挑战为未来研究提供了改进方向，例如通过更大规模的标注和多模态数据的融合来提升模型的泛化能力。

常用场景

经典使用场景

MusAV数据集在音乐情感识别领域具有广泛的应用，尤其是在基于音频的唤醒度（arousal）和效价（valence）回归模型的比较验证中。该数据集通过收集音乐曲目对的相对情感标注，为研究者提供了一个标准化的基准，用于评估不同模型在音乐情感预测任务中的表现。其丰富的音乐流派覆盖和多样化的标注方式，使得MusAV成为音乐信息检索领域的重要工具。

解决学术问题

MusAV数据集解决了音乐情感识别研究中模型验证的难题。传统的情感识别模型往往缺乏统一的评估标准，导致结果难以比较。MusAV通过提供基于相对标注的唤醒度和效价数据，为研究者提供了一个可靠的基准，使得不同模型的表现可以在同一标准下进行对比。这不仅提升了研究的可重复性，还推动了音乐情感识别技术的进一步发展。

衍生相关工作

MusAV数据集的发布催生了一系列相关研究工作，特别是在音乐情感识别和音频特征提取领域。例如，基于MusAV的研究提出了多种改进的唤醒度和效价预测模型，这些模型在ISMR等国际会议上得到了广泛讨论。此外，该数据集还被用于开发新的音乐情感标注方法，进一步推动了音乐信息检索技术的发展。