MidiCaps

MidiCaps是由新加坡科技设计大学创建的大规模MIDI数据集，包含超过168,000个MIDI文件，每个文件配有文本描述。数据集涵盖多种音乐风格和复杂度，旨在支持音乐信息检索、音乐理解和跨模态翻译等任务。创建过程中，通过先进的音乐信息检索工具提取音乐特征，并利用大型语言模型生成描述性文本。该数据集的应用领域包括音乐生成、音乐分析和自然语言处理，旨在推动音乐与语言处理领域的交叉研究。

MidiCaps is a large-scale MIDI dataset created by the Singapore University of Technology and Design. It contains over 168,000 MIDI files, each paired with a textual description. The dataset covers a wide range of musical styles and complexity levels, aiming to support tasks such as music information retrieval, music understanding, and cross-modal translation. During its creation, musical features were extracted using advanced music information retrieval tools, and descriptive texts were generated with large language models. The application fields of this dataset include music generation, music analysis and natural language processing, with the goal of advancing interdisciplinary research at the intersection of music and language processing.

搜集汇总

数据集介绍

构建方式

MidiCaps数据集的构建始于对Lakh MIDI数据集中176,581个MIDI文件的系统化预处理，剔除时长小于3秒或超过15分钟以及存在音符无限延续等缺陷的样本。随后，利用Music21和Mido库直接从MIDI文件中提取音乐键、拍号、速度和乐器列表等特征；同时，借助Midi2Audio库将MIDI合成为音频，并运用Essentia模型提取流派与情绪标签，以及通过Chordino算法获取最频繁的和弦序列。在特征提取完成后，研究团队选取174个多样化样本，由人类标注者依据特征撰写文本描述，并以此作为上下文示例，通过Claude 3 Opus大语言模型的上下文学习能力，为全部168,407个MIDI文件生成精准且富有表现力的文本描述。

特点

MidiCaps数据集包含168,407对MIDI文件与对应的文本描述，其显著特点在于描述内容的高度结构化与丰富性。每条描述均涵盖速度、和弦进行、拍号、乐器组成、流派和情绪等核心音乐要素，且采用自然流畅的语言表达。数据集涵盖电子、流行、古典、摇滚、原声带和爵士等多种流派，乐器以钢琴、鼓和各类吉他为主，调性以C、G、F和D大调居多，拍号以4/4最为普遍，速度多集中于中速区间。通过主观聆听研究验证，AI生成的描述在整体匹配度、自然度、流派与情绪匹配等方面均达到甚至超越人类标注水平，尤其在速度匹配上表现更优，确保了数据的高质量与实用性。

使用方法

MidiCaps数据集可直接用于训练和评估文本到MIDI生成模型，以及音乐信息检索、音乐理解与跨模态翻译等任务。用户可通过Hugging Face平台访问完整数据集，并利用提供的MIDI特征提取与描述生成框架，为自己的MIDI文件生成定制化文本描述。使用时，推荐将MIDI文件与对应描述配对，作为监督学习或对比学习任务的训练样本；同时，描述中的结构化信息（如速度、和弦、流派）可用于细粒度的音乐属性控制与生成。数据集采用CC-BY 4.0许可协议，允许学术与商业用途，为音乐与自然语言处理的交叉研究提供了宝贵资源。

背景与挑战

背景概述

在生成式模型与自然语言处理深度融合的浪潮中，文本引导的音乐生成已成为多模态学习的前沿方向。然而，现有研究多聚焦于音频层面的音乐描述，而符号音乐领域（如MIDI格式）至今缺乏大规模、高质量的文本标注数据集。为填补这一空白，新加坡科技设计大学的研究团队于2024年提出了MidiCaps数据集，这是首个公开可用的大规模MIDI-文本配对资源。该数据集基于Lakh MIDI语料库，通过提取速度、和弦进行、调性、节拍、乐器、风格与情绪等丰富音乐特征，并借助Claude-3大语言模型的上下文学习能力，自动生成了超过16.8万条自然语言描述。MidiCaps的问世，为音乐信息检索、符号音乐理解与跨模态翻译等任务提供了关键数据基础，有望推动MIDI与大语言模型交叉领域的研究突破。

当前挑战

MidiCaps数据集所面临的挑战主要体现在两个层面。在领域问题层面，它致力于解决符号音乐与自然语言之间缺乏对齐映射的难题——传统MIDI数据集仅包含结构化元数据，无法直接支持文本到MIDI的生成任务，而现有音频-文本数据集又难以迁移至符号域，导致多模态音乐模型在符号层面存在显著盲区。在构建过程层面，挑战尤为突出：首先，从逾17万条MIDI文件中提取高保真音乐特征（如和弦序列与情绪标签）需依赖多种工具链的协同，而工具自身的误差（如和弦检测歧义）会直接影响后续标注质量；其次，依赖大语言模型自动生成描述时，如何避免“幻觉”现象并确保文本与MIDI内容在调性、节奏等细粒度属性上精准匹配，成为技术难点；最后，通过人工标注174个特征-描述对作为上下文示例，虽能引导模型生成，但样本的多样性与代表性仍需审慎设计，以平衡大规模数据生成的一致性与丰富性。

常用场景

经典使用场景

在符号音乐与自然语言处理的交叉领域中，MidiCaps数据集为文本到MIDI生成任务提供了基石性的数据支撑。其核心应用场景在于利用文本描述作为条件，驱动基于Transformer或扩散架构的生成模型，创作出符合语义要求的MIDI序列。研究者可借助该数据集中超过16.8万对MIDI文件与精细化的文本描述——涵盖速度、和弦进行、拍号、乐器配置、风格及情绪等维度——训练模型学习音乐特征与语言表达之间的映射关系，从而突破以往仅能通过标签或元数据进行条件生成的局限，实现从自由文本到结构化合奏音乐的端到端生成。

解决学术问题

MidiCaps的诞生填补了符号音乐领域缺乏大规模文本- MIDI配对数据的空白，直接解决了长期以来制约文本驱动的MIDI生成模型发展的瓶颈问题。此前，尽管音频-文本数据集（如MusicCaps）已推动音频音乐生成的研究，但MIDI格式因其符号化、结构化的特性，在音乐信息检索、音乐理解及跨模态翻译等学术任务中具有不可替代的优势。该数据集提供的详尽特征标注使得研究者能够系统性地探究文本语义与音乐结构参数之间的对齐机制，为构建可控性更强、可解释性更高的音乐生成模型奠定了数据基础，进而推动了音乐与自然语言处理交叉领域的理论深化与方法创新。

衍生相关工作

MidiCaps的问世催生了一系列衍生研究工作，尤其是在符号音乐与大型语言模型融合的前沿方向。基于该数据集，研究者已开始探索文本到MIDI的生成模型，例如借鉴MusicLM的架构思想，构建将文本编码器与MIDI解码器对齐的跨模态框架。同时，该数据集为音乐信息检索中的细粒度特征理解提供了新的基准，推动了诸如乐器识别、和弦序列预测、风格迁移等子任务的性能提升。此外，其标注框架的公开也激励了社区开发更高效的MIDI特征提取与字幕生成流水线，例如利用更强大的LLM（如GPT-4）进行上下文学习，进一步丰富和优化文本描述的多样性与准确性。