five

CadenzaWoodwind, EnsembleSet, Bach10, URMP

收藏
arXiv2025-05-23 更新2025-05-28 收录
下载链接:
http://arxiv.org/abs/2505.17823v1
下载链接
链接失效反馈
官方服务:
资源简介:
Cadenza项目旨在通过音乐源分离技术改善听障人士的音乐聆听体验。为此,项目团队创建了一个新的合成木管乐队数据集(CadenzaWoodwind),以克服现有数据集(EnsembleSet)中乐器不平衡的问题。数据集包含从OpenScore弦乐四重奏语料库中选择的音乐作品,并由专业音乐制作人使用虚拟乐器进行合成。项目团队还使用了现有的弦乐四重奏数据集(EnsembleSet)和真实乐器录音数据集(Bach10和URMP)进行模型训练和评估。

Cadenza Project aims to improve the music listening experience of hearing-impaired individuals through music source separation technology. To this end, the project team developed a novel synthetic woodwind ensemble dataset named CadenzaWoodwind to address the instrument imbalance issue present in the existing dataset EnsembleSet. This dataset comprises musical works selected from the OpenScore string quartet corpus, which were synthesized by professional music producers using virtual instruments. Additionally, the project team utilized the existing string quartet dataset EnsembleSet and real-world instrumental recording datasets Bach10 and URMP for model training and evaluation.
提供机构:
谢菲尔德大学, 索尔福德大学, 诺丁汉大学, 利兹大学
创建时间:
2025-05-23
搜集汇总
数据集介绍
main_image_url
构建方式
在古典音乐源分离研究中,CadenzaWoodwind、EnsembleSet、Bach10和URMP数据集的构建展现了多样化的技术路径。EnsembleSet通过专业混音技术合成了80首17位作曲家的作品,涵盖11种乐器在18个虚拟麦克风下的演奏。CadenzaWoodwind则基于OpenScore弦乐四重奏乐谱,采用专业虚拟乐器与卷积混响技术,生成了木管四重奏的立体声版本。Bach10和URMP作为真实录音数据集,通过消声室分轨录制与人工同步技术,构建了精确的乐器分离基准。这些数据集在合成与真实录音的平衡中,为音乐信息检索提供了多维度研究素材。
特点
该系列数据集最显著的特征在于其互补性设计理念。EnsembleSet以弦乐为主体的合成数据,与CadenzaWoodwind专注木管乐器的特性形成音色维度互补;Bach10的巴洛克风格与URMP的浪漫派作品构成时代风格谱系。技术层面,合成数据集采用Mix 1专业混音与Ambisonic脉冲响应技术,而真实录音数据集通过旋转B格式实现了10°乐器间距模拟。这种多层次的差异性设计,为研究乐器频谱重叠、混响影响等核心问题提供了系统化实验条件。
使用方法
使用这些数据集时需遵循层次化验证流程。建议首先在合成数据(EnsembleSet+CadenzaWoodwind)上训练ConvTasNet模型,采用3秒片段随机采样与通道交换数据增强策略。验证阶段应关注弦乐与木管的跨类别泛化能力,通过261个15秒验证样本评估分离效果。最终测试需在Bach10和URMP的真实录音上进行,使用museval库计算1秒帧的中位数SDR。特别注意空间化处理环节,建议比较消声与厅堂混响两种条件下的性能差异,以全面评估模型鲁棒性。
背景与挑战
背景概述
CadenzaWoodwind、EnsembleSet、Bach10和URMP数据集是面向古典音乐源分离(MSS)研究的重要资源,由英国索尔福德大学、诺丁汉大学、利兹大学和谢菲尔德大学的研究团队联合开发。这些数据集创建于2020年代初期,旨在解决古典音乐源分离中的关键问题,如乐器音色的高度相似性、真实录音的稀缺性以及合成数据与真实录音之间的不匹配。研究团队通过合成木管四重奏数据(CadenzaWoodwind)弥补了EnsembleSet中乐器不平衡的缺陷,并采用ConvTasNet模型进行因果与非因果分离的对比实验。这些数据集为改善听力障碍者的音乐聆听体验提供了技术基础,填补了古典音乐MSS领域的空白。
当前挑战
古典音乐源分离面临多重挑战:在领域问题层面,乐器音色的高度重叠(如小提琴与中提琴)和复杂声学环境下的录音条件增加了分离难度;合成数据与真实录音之间的性能差距(验证集SDR 6.2-6.9 dB vs 真实数据0.3-0.4 dB)暴露了数据域适应问题。在构建过程中,真实多轨古典录音的稀缺性迫使研究者依赖合成数据,但虚拟乐器的音色有限性和混响模拟的单一性制约了模型泛化能力。此外,现有数据集(如URMP)中乐器分布不均衡,且音乐家分轨录音导致演奏交互信息缺失,进一步加剧了数据表征的局限性。
常用场景
经典使用场景
CadenzaWoodwind、EnsembleSet、Bach10和URMP数据集在音乐源分离(MSS)研究中扮演着重要角色,尤其在古典音乐领域。这些数据集主要用于训练和评估深度神经网络模型,以解决古典音乐合奏中乐器分离的难题。例如,CadenzaWoodwind和EnsembleSet提供了合成的木管和弦乐合奏音频,而Bach10和URMP则包含真实乐器的录音,用于验证模型的泛化能力。这些数据集的使用场景涵盖了从合成数据训练到真实录音测试的全流程,为研究者提供了宝贵的实验材料。
解决学术问题
这些数据集解决了古典音乐源分离中的多个关键学术问题。首先,它们填补了古典音乐合奏数据稀缺的空白,为监督学习提供了必要的训练样本。其次,通过合成数据与真实录音的结合,研究者能够探索模型在数据不匹配情况下的表现。此外,这些数据集还帮助解决了乐器音色相似性导致的分离困难问题,例如小提琴和中提琴的区分。这些问题的解决为古典音乐源分离的研究奠定了基础,推动了该领域的进一步发展。
衍生相关工作
围绕这些数据集,已经衍生出多项经典研究工作。例如,Sarkar等人利用EnsembleSet训练了基于双路径变换器架构的合奏分离模型,并在URMP数据集上取得了显著效果。Garcia-Martinez等人则通过SynthSOD数据集进一步优化了乐器分离性能。此外,ConvTasNet模型在这些数据集上的应用展示了因果和非因果处理的潜力。这些工作不仅推动了音乐源分离技术的发展,还为后续研究提供了重要的参考和基准。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作