amaai-lab/merit

MERIT - 因子控制音乐三元组数据集是一个用于音频分类和特征提取任务的音乐数据集，专门设计用于支持MERIT框架，该框架从单个冻结骨干网络中学习三个独立的音乐相似性空间：旋律、节奏和音色。数据集包含由三元组组成的音频文件，每个三元组围绕一个音乐因子（旋律、节奏或音色）构建，包括一个锚点音频文件、五个正样本音频文件和一个负样本音频文件，以及元数据文件。正样本与锚点在目标因子上相似，但在其他音乐维度（如乐器、流派、调性、速度）上随机变化；负样本则在目标因子上与锚点不同。数据集基于MoisesDB的音频内容，并使用JASCO生成部分音频，适用于非商业用途，遵循CC BY-NC-SA 4.0许可证。MERIT - Factor-Controlled Music Triplet Dataset is a music dataset for audio classification and feature extraction tasks, specifically designed for the MERIT framework, which learns three independent music similarity spaces—melody, rhythm, and timbre—from a single frozen backbone. The dataset consists of audio files organized into triplets, each centered around a musical factor (melody, rhythm, or timbre), including an anchor audio file, five positive audio files, and one negative audio file, along with metadata. Positives share the target factor with the anchor but vary randomly in other musical dimensions (e.g., instrumentation, genre, key, tempo); negatives differ from the anchor on the target factor. The dataset is derived from MoisesDB audio content, with some audio synthesized by JASCO, and is intended for non-commercial use under the CC BY-NC-SA 4.0 license.

搜集汇总

数据集介绍

构建方式

MERIT数据集专为解耦音乐表征学习而设计，其核心构建单元为因子控制三元组（triplet）。每个三元组文件夹包含一个锚点样本（anchor）、五个正样本（positive）和一个负样本（negative），所有样本均为10秒、24kHz的单声道音频。数据集的构建围绕旋律、节奏与音色三个音乐因子展开：对于旋律因子，从MoisesDB中提取带音高的乐器音轨作为锚点，通过pYIN算法获取音高显著图，再借助JASCO生成模型在该显著图条件下以随机风格提示合成五个正样本，负样本则取自不同歌曲的无关旋律；节奏因子以鼓音轨为锚点，同样由JASCO生成保持相同律动的正样本；音色因子则完全使用MoisesDB的真实分离音轨，锚点与正样本为同一乐器类别但来自不同歌曲，负样本为锚点所在歌曲中的不同乐器音轨。此外，通过k²三元组扩展策略，每个文件夹可生成最多25个训练三元组，大幅提升了数据利用率。

特点

MERIT数据集的最大特点在于其精心设计的因子控制机制，确保每个三元组内仅有一个音乐维度（旋律、节奏或音色）被共享，而其他所有音乐属性（如配器、曲风、调性、速度）均随机变化，从而为模型学习独立且解耦的音乐相似性空间提供了理想训练信号。数据集规模庞大，总计包含超过29万个三元组（旋律与节奏各12.5万，音色约4.6万），且全部音频来源于高质量的音乐源分离数据库MoisesDB，保证了音频的真实性与多样性。特别地，音色因子的负样本与锚点源自同一首歌曲，共享录音环境与制作风格，这使得对比任务更具挑战性，有助于模型学习更精细的音色辨别能力。

使用方法

该数据集的使用灵活而高效。用户可选择直接下载三个因子的音频压缩包（tar.gz格式）进行本地训练，每个因子的训练与测试划分已预置于独立的JSON分割文件中（90%训练，10%测试，文件夹级别划分）。对于仅需探索数据结构的场景，可优先下载轻量级索引文件（JSONL格式，仅几MB），其中包含所有三元组的元数据而无音频内容，便于快速浏览。典型加载流程包括解压对应因子压缩包，遍历每个三元组文件夹读取锚点、正负样本路径及关联的JSON元数据文件，从而获取音频文件、生成参数与源歌曲溯源信息。官方同时提供基于HuggingFace CLI的便捷下载命令，支持按需获取单因子或多因子数据。

背景与挑战

背景概述

MERIT数据集由新加坡科技设计大学的Abhinaba Roy、Junyi Liang与Dorien Herremans团队于2026年构建，旨在攻克音乐表征学习中多维度语义解耦的难题。传统音乐相似度度量常将旋律、节奏与音色等感知维度混杂于单一向量空间，难以满足细粒度音乐检索与生成的需求。该数据集通过构建13万余个三元组（anchor-positive-negative），每个三元组仅控制单一音乐因子（旋律轮廓、鼓点节奏或乐器音色），并借助JASCO生成模型与MoisesDB源分离数据集实现维度正交化。其创新性在于首次从冻结骨干网络中分离出三个独立的相似度子空间，为音乐信息检索、生成式音频编辑与跨模态理解提供了标准化基准，推动了可解释音乐人工智能的发展。

当前挑战

MERIT聚焦于音乐因子解耦的隐式监督困境：其一，旋律、节奏与音色的感知边界模糊，传统标注难以量化因子独立性，而该数据集通过生成式控制（如固定旋律轮廓随机化配器）实现维度严格分离，却需应对JASCO合成音频与真实音源间的声学差异；其二，音色分支为避免生成模型引入噪声，直接采用MoisesDB真实多音轨分离片段，但不同曲目的同类乐器音色仍存在录音环境与混音风格偏差，需通过跨曲目正样本与同曲目异类负样本构造硬对比；此外，数据集规模达百GB级别，三元组扩展策略（k²扩展）虽倍增训练样本，却要求模型在保持因子特异性的同时避免过拟合于合成音频伪影。

常用场景

经典使用场景

MERIT数据集的核心经典使用场景在于学习音轨间细粒度的音色、节奏与旋律解耦表征。它通过精心构造的三元组结构——锚点、正例与负例仅在单一音乐维度上存在差异，而其他维度则被随机化处理——为研究人员提供了训练音素相似性模型的理想训练资源。利用该数据集，开发者可以训练出能够独立捕捉旋律轮廓、节奏型态与音色特征的多重相似性嵌入空间，从而实现对复杂音乐信号中不同声学属性的精准分离与量化，为音乐信息检索领域的基础研究提供了坚实的实验素材。

解决学术问题

在学术研究层面，MERIT数据集有效解决了长期困扰音乐信息检索领域的隐性因子解耦难题。传统方法难以区分音轨间相似性的具体来源，而该数据集通过严格的因子控制设计，使研究人员能够首次系统地训练和评估针对旋律、节奏与音色的独立相似性度量模型。这一突破不仅推动了解耦表征学习理论在音乐信号处理中的深入应用，也为探索音乐感知中不同声学维度之间的交互关系提供了可靠的实验框架，对加深对人类听觉认知机制的理解具有重要的学术意义。

衍生相关工作

MERIT数据集催生了一系列具有影响力的衍生研究工作。首先是其核心框架本身——一种无需额外微调即可学习三种独立音乐相似性空间的解耦表征方法，该工作发表于arXiv并提供了完整的预训练模型。其次，数据集依赖的两个基础技术——MoisesDB的源分离音频库与Meta AI的JASCO可控音乐生成模型——在MERIT的构建过程中得到了进一步的验证与拓展。此外，该数据集的k²三元组扩展策略与因子级训练/测试划分方案，为后续在可控音乐生成、音色迁移学习以及多模态音乐理解等领域的研究提供了重要的基准参考和可复现性保障。