NES Music Database (NES-MDB)

NES-MDB是由加州大学圣地亚哥分校创建的一个大型多乐器音乐数据集，包含数千首为NES音频合成器编写的曲目。数据集为每首歌曲提供了四声部乐谱以及每个声部的动态和音色表现属性。NES-MDB不仅包含音乐创作的语义信息，还详细记录了如何将这些作品转化为细腻的表演。数据集的应用领域主要集中在自动化音乐创作和表演，旨在通过机器学习方法解决音乐创作与表演中的挑战。

NES-MDB is a large-scale multi-instrumental music dataset created by the University of California, San Diego. It contains thousands of tracks composed for the NES audio synthesizer. For each song, the dataset provides four-part musical scores along with dynamic and timbre performance attributes for each musical part. NES-MDB not only contains the semantic information of musical creations, but also elaborately records how to translate these works into nuanced performances. The dataset is primarily applied in the fields of automated music composition and performance, aiming to resolve challenges in music creation and performance through machine learning approaches.

搜集汇总

数据集介绍

构建方式

NES Music Database (NES-MDB) 的构建源于对任天堂娱乐系统（NES）音频处理单元（APU）机器码的深度解析。研究团队通过模拟游戏运行，以44.1kHz的时间分辨率记录APU寄存器的写入时序与数值，从而提取出视频游戏音乐（VGM）格式的原始数据。随后，对来自400余款游戏的VGM文件进行去重与筛选，最终获得5278首歌曲。为保留音乐的表现力，团队以24Hz的降采样率将原始信号转化为包含音符、力度与音色的表现性乐谱，并进一步衍生出分离乐谱与混合乐谱两种简化表示。数据集按8:1:1比例划分为训练、验证与测试子集，并确保同一作曲家的作品不会跨集分布，以保障评估的公正性。

特点

NES-MDB 的核心特点在于其同时囊括了作曲语义与表现性演奏属性的完整信息。受限于NES APU的四声部单音合成器硬件约束，数据集天然具备分离乐谱结构，每条音轨（两路脉冲波、三角波与噪声发生器）的力度与音色参数均被精确记录，使得还原原始音频成为可能。相较于通用MIDI数据集，NES-MDB避免了多声部混合带来的退化问题，且因音乐创作集中于特定历史时期，风格高度统一。此外，数据集以24Hz的高时间分辨率呈现，为统计建模提供了丰富的时序上下文，但同时也引入了相邻时间步高度冗余的特性，这成为评估模型性能时需特别关注的挑战。

使用方法

NES-MDB 为音乐生成研究提供了三层次任务框架。在混合作曲任务中，研究者可将乐谱简化为88键位的二值矩阵，以此评估序列模型对多声部同时发声的预测能力。分离作曲任务则要求模型在四声部独立序列上学习声部间的对位关系，可采用自回归或双向LSTM等架构，并通过关注兴趣点（POI）来规避高时间分辨率带来的冗余干扰。表现性演奏任务旨在从分离乐谱映射出力度与音色参数，研究者可构建条件自回归模型，利用过往演奏决策辅助当前预测。配套的开源工具支持在NES机器码与机器学习友好格式间双向转换，使生成结果能通过模拟APU的音频渲染进行直接试听，从而完成从作曲到演奏的完整闭环验证。

背景与挑战

背景概述

在音乐生成研究领域，现有工作多聚焦于作曲语义的建模，却往往忽略了演奏表现力对作品真实感的关键作用。为此，加州大学圣地亚哥分校的Chris Donahue、Huanru Henry Mao与Julian McAuley于2018年共同构建了NES Music Database（NES-MDB），这是一个专为分离研究作曲与演奏任务而设计的大规模多乐器数据集。该数据集源自近400款任天堂娱乐系统（NES）游戏，包含5278首多声部乐曲，每首乐曲均以四声部乐谱及每个声部的力度、音色等表现属性完整记录。与通用MIDI文件不同，NES-MDB保留了精确还原原始声学演奏所需的全部信息，并配套提供了模拟NES音频处理器的渲染工具。该数据集不仅为多乐器复调作曲与表现力演奏生成提供了标准化测试平台，还推动了音乐生成领域从单纯作曲向全流程建模的范式转变。

当前挑战

NES-MDB所面临的挑战涵盖领域问题与构建过程两个层面。在领域问题上，首要挑战在于如何从分离声部乐谱中学习多乐器复调作曲的语义——传统混合乐谱表示会丢失声部信息，而分离表示则需应对高维时间依赖与采样困难。其次，表现力演奏任务要求模型从乐谱映射出合理的力度与音色变化，但现有研究多集中于钢琴独奏，缺乏多乐器表现力建模的成熟基线。在构建过程中，原始NES音乐以机器码形式嵌入游戏只读存储器，需通过模拟器记录音频处理单元寄存器的写入时序与数值，再经44.1kHz高精度离散化、降采样至24Hz后提取乐谱与表现属性。此外，脉冲发生器、三角波发生器与噪声发生器的状态空间差异悬殊（从89到4621种状态），且部分声部缺乏力度控制（如三角波仅有开关状态），这些异构性给数据统一表示与模型泛化带来了显著困难。

常用场景

经典使用场景

NES Music Database (NES-MDB) 是面向多乐器复调音乐生成与表现力建模的经典数据集，其核心应用场景在于分离式作曲与表现性演奏的联合建模。由于NES音频处理单元严格限定四声部单音合成，该数据集天然适配分离式乐谱表示，每首乐曲以四个独立声部的音符序列及对应的力度与音色属性呈现。研究者可借此探索从乐谱语义到演奏细节的完整生成管线，例如先利用深度序列模型学习多声部间的和声与对位关系，再通过条件概率映射为具有动态起伏与音色变化的逼真演奏。该场景有效弥补了传统数据集仅关注作曲而忽视表现力的缺憾，为音乐人工智能提供了兼具结构严谨性与表现丰富性的标准化实验平台。

实际应用

在实际应用中，NES-MDB 催生了多种音乐科技产品与创意工具。其配套的开源渲染库可将生成的乐谱直接转换为NES风格的波形音频，使研究者无需硬件即可试听结果。基于该数据集训练的生成模型被用于复古游戏原声的自动创作，辅助独立游戏开发者快速生成风格统一的背景音乐。此外，表现力映射模块可应用于数字音乐制作软件，为MIDI乐谱自动添加符合人类演奏习惯的力度与音色变化，提升电子音乐的自然度。音乐教育领域亦受益于此，学生可通过对比数据集中的原始演奏与模型输出，直观理解力度、音色对音乐情感表达的影响。这些应用充分展现了NES-MDB在连接学术研究与产业实践中的桥梁作用。

衍生相关工作

NES-MDB 衍生了一系列在音乐生成领域具有影响力的经典工作。其中，DeepBach模型虽最初为巴赫合唱曲设计，但其双向LSTM与条件采样机制被成功迁移至NES-MDB的四声部建模，验证了分离式乐谱表示在复调音乐中的通用性。LSTM Quartet等基线模型则探索了全序列上下文对多声部预测的增益效果，为后续的Transformer架构在音乐生成中的应用奠定了基础。在表现力建模方面，LSTM Note+Auto模型开创性地将乐谱编码与自回归力度-音色预测相结合，其设计思想被后续的Performance RNN等工作借鉴。此外，该数据集还推动了端到端音乐生成系统的评估标准化，许多后续研究均以其负对数似然与准确率指标作为性能基准，形成了可复现的对比体系。