asigalov61/Annotated-MIDI-Dataset

Annotated MIDI数据集是一个综合性的MIDI数据集，包含原始歌词、歌词摘要、歌词情感、音乐描述、插图、预训练的MIDI分类模型和辅助Python代码。数据集适用于文本分类任务，语言为英语，大小在10K到100K之间。

原始信息汇总

Annotated MIDI Dataset

概述

• 名称: Annotated MIDI Dataset
• 许可证: CC BY-NC-SA 4.0
• 标签:
  • midi
  • dataset
  • annotations
  • annotated midis
  • midi classification
  • midi annotation
  • midi lyrics
  • midi lyrics summaries
• 大小: 10K < n < 100K
• 任务类别: text-classification
• 语言: en

内容

• 原始歌词
• 歌词摘要
• 歌词情感
• 音乐描述
• 插图
• 预训练的MIDI分类模型
• 辅助Python代码

安装

python import shutil from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="asigalov61/Annotated-MIDI-Dataset", repo_type="dataset", filename="Annotated-MIDI-Dataset-CC-BY-NC-SA.zip", local_dir="." )

shutil.unpack_archive("Annotated-MIDI-Dataset-CC-BY-NC-SA.zip", ".")

数据来源

• 歌词: 来自 song_lyrics
• 歌词摘要和情感: 使用 Mistral-7B-Instruct-v0.2 创建
• 插图和标题: 来自 coyo-hd-11m-llavanext

相关数据集

• MidiCaps
• Music Text Alignment Dataset

搜集汇总

数据集介绍

构建方式

在音乐信息检索领域，高质量标注数据集的构建是推动算法发展的基石。Annotated MIDI Dataset的构建过程体现了多源数据融合与自动化处理的结合。该数据集以MIDI文件为核心，歌词文本来源于song_lyrics数据集，确保了原始歌词的丰富性。随后，利用Mistral-7B-Instruct-v0.2大型语言模型对歌词进行自动化摘要生成与情感分析，从而衍生出歌词摘要与情感标签。同时，数据集整合了来自coyo-hd-11m-llavanext数据集的带标题插图，以及来自Gold Caps项目的音乐描述文本，最终形成了一个集音乐符号、文本描述、视觉元素与情感标签于一体的多模态标注集合。

特点

该数据集在音乐计算领域展现出鲜明的多模态与多层次特征。其核心在于将结构化的MIDI音乐符号数据与多种形式的语义标注进行了深度对齐。数据集不仅包含原始的歌词文本，还提供了由先进语言模型生成的凝练摘要与量化情感倾向，这为理解音乐内容的情感维度提供了直接依据。此外，配套的插图及其标题、以及专业的音乐描述文本，共同构建了一个从听觉符号到视觉联想再到语言描述的立体化表征体系。这种丰富的标注结构使其特别适用于需要跨模态理解与生成的音乐人工智能任务。

使用方法

对于研究者而言，该数据集为探索音乐与语言的交叉领域提供了便捷的入口。用户可通过Hugging Face Hub提供的snapshot_download接口，将整个数据集下载至本地指定目录。数据集中预置的辅助Python代码能帮助用户快速解析MIDI文件及其对应的各类标注文件，实现数据的结构化加载。该资源可直接应用于音乐分类、音乐文本生成、跨模态检索等任务的模型训练与评估。项目提供的在线演示，如音乐句子转换器、高级MIDI分类器等，亦为用户展示了数据集在具体应用场景下的潜力与使用方法。

背景与挑战

背景概述

在音乐信息检索与计算音乐学领域，MIDI数据作为结构化音乐表示的核心载体，长期支撑着自动作曲、音乐分类与情感分析等研究。由asigalov61于2024年发布的Annotated MIDI Dataset，标志着多模态音乐数据标注的重要进展。该数据集整合了原始歌词、歌词摘要、情感标签、音乐描述及插图，并辅以预训练分类模型与工具代码，旨在构建一个连接音乐符号、文本语义与视觉元素的统一框架。其创建不仅深化了对音乐内容的多维度理解，也为跨模态音乐生成、智能音乐推荐等前沿方向提供了关键数据基础，推动了音乐人工智能从单一模态分析向融合感知的范式转变。

当前挑战

该数据集致力于解决音乐多模态理解中的核心挑战，即如何精准对齐音乐符号序列与丰富的语义信息。具体而言，挑战体现在两方面：在领域问题层面，音乐情感与文本描述的映射存在主观性与文化依赖性，歌词摘要与音乐特征的自动关联需克服语义模糊性；在构建过程中，大规模MIDI数据的歌词获取依赖外部数据集，其质量与覆盖范围直接影响标注可靠性，而利用大语言模型生成摘要与情感标签时，需平衡自动化效率与人工校验的准确性，避免引入噪声或偏差。此外，跨模态数据（如插图与音乐）的协同标注缺乏统一标准，增加了数据集一致性与实用性的维护难度。

常用场景

经典使用场景

在音乐信息检索与计算音乐学领域，Annotated MIDI Dataset以其丰富的多模态标注而著称。该数据集的核心应用场景在于训练和评估音乐与文本之间的跨模态理解模型，例如通过MIDI序列与歌词、摘要、情感标签及描述性文本的配对，支持音乐自动标注、分类与生成任务。研究者常利用其结构化数据，开发能够解析音乐语义内容的机器学习系统，推动音乐人工智能从单纯音频处理向深层语义理解迈进。

解决学术问题

该数据集有效应对了音乐计算研究中长期存在的语义鸿沟问题，即如何将音乐的低级特征与高级语义概念进行关联。通过提供歌词、情感分析和文本描述等多层次标注，它使得研究人员能够系统探索音乐内容与文本描述之间的映射关系，促进了音乐情感计算、自动摘要生成以及跨模态检索等方向的发展，为构建更智能的音乐理解模型奠定了数据基础。

衍生相关工作

围绕该数据集，已衍生出若干具有影响力的研究工作，例如项目作者开发的Music Sentence Transformer、Advanced MIDI Classifier和Descriptive Music Transformer等演示系统。这些工作展示了如何利用该数据集的标注信息，训练能够进行音乐语义嵌入、精细分类以及文本到音乐生成的Transformer模型，为后续研究提供了重要的技术范例和基准。