syntheory_plus

该数据集专注于西方音乐理论概念，旨在探索Meta的MusicGen和OpenAI的Jukebox等音乐生成模型。数据集包含多个子集，分别针对复节奏、动态、七和弦、调式混合和次属和弦等特定音乐元素。数据集通过程序生成的MIDI文件和rustysynth库（使用TimGM6mb音色库）创建。每个子集包含描述音乐示例的各种字段，如乐器名称、BPM、小节数以及与子集焦点相关的特定音乐属性。数据集被划分为多个折叠，用于训练、测试和验证。

原始信息汇总

Syntheory Plus 数据集概述

基本信息

• 数据集名称: Syntheory Plus
• 作者: Derek Kwan 和 Patrick Donnelly
• 许可证: MIT
• 标签: music
• 数据规模: 100K < n < 1M
• 状态: 上传/文档整理中
• 相关论文: 待定

创建目的与依据

• 创建目的: 为探究 Meta 的 MusicGen 和 OpenAI 的 Jukebox 音乐生成模型，而隔离特定的西方音乐理论概念。
• 依据: 基于 Wei 等人创建 Syntheory 数据集的工作。

创建方法

• 过程: 遵循 Wei 等人的论文《Do Music Generation Models Encode Music Theory?》中概述的流程。
• 工具: 使用程序生成的 MIDI 文件，并采用 rustysynth 库与 TimGM6mb 音源库进行音频合成。

数据集构成与字段描述

数据集包含五个子集，每个子集均包含用于训练、验证和测试的划分（共20折，前14折为训练集，随后3折为验证集，最后3折为测试集）。

1. 复节奏 (Polyrhythms)

• 描述: 包含体现复节奏概念的音乐示例。
• 关键字段:
  • name: 音频文件名（不含 .wav 扩展名）。
  • inst1, inst2: 用于生成音乐示例的第一、第二 MIDI 乐器名（整数）。
  • bpm: 音乐示例的速度（每分钟节拍数）。
  • num_bars: 音乐示例包含的4/4拍小节数。
  • poly: 复节奏格式，如 4a5 表示“4对5”。
  • ratio 与 norm_ratio: 节奏比率及其归一化值。
  • offset_lvl 与 offset_ms: 音频起始时间的偏移等级和具体毫秒值。
  • rvb_lvl 与 rvb_val: 混响效果等级及其对应的 MIDI 值。
  • poly1, poly2, polydist: 两乐器的相对节奏速率及其绝对差值。
  • label_idx: 用于下游分类任务的复节奏索引（从0开始）。
  • fold: 示例所属的折数（1-20）。
  • set_type: 示例用途，分为 train、valid 或 test。

2. 力度 (Dynamics)

• 描述: 包含不同力度表达模式的音乐示例。
• 关键字段:
  • name: 音频文件名。
  • dyn1, dyn2: 描述力度模式的两个力度值。
  • dyn_category: 力度表达模式类型（如 flat, cresc, decresc 等）。
  • dyn_subcategory: 附带转折点信息的力度模式子类。
  • inflection_point: 力度方向发生变化的拍子位置（适用于特定模式）。
  • inst: 使用的 MIDI 乐器名。
  • beats_per_bar、num_bars、beat_subdiv、num_beats: 与乐曲结构相关的参数。
  • bpm: 固定为60 BPM。
  • offset_lvl、offset_ms、rvb_lvl、rvb_val: 偏移与混响参数。
  • fold: 示例所属的折数（1-20）。
  • set_type: 示例用途。

3. 七和弦 (Seventh Chords)

• 描述: 包含不同七和弦的音乐示例。
• 关键字段:
  • name: 音频文件名。
  • inst: 使用的 MIDI 乐器名。
  • root: 七和弦的根音及八度（如 "c4"）。
  • pitch、octave: 根音的音高（不含八度）和八度数。
  • quality 与 quality_idx: 七和弦的性质及其分类索引。
  • inv: 和弦的转位（0为原位）。
  • bpm: 固定为60 BPM。
  • fold: 示例所属的折数（1-20）。
  • set_type: 示例用途。

4. 调式混合 (Mode Mixture)

• 描述: 包含是否使用调式混合的和声进行示例。
• 关键字段:
  • name: 音频文件名。
  • inst: 使用的 MIDI 乐器名。
  • key_center: 和声进行的调性中心音及八度。
  • scale_type: 主要调式（全部为 maj）。
  • is_modemix: 布尔值，表示是否包含调式混合。
  • orig_prog 与 sub_prog: 原始与带调式混合前缀的和声进行罗马数字表示。
  • inv: 和弦转位（全部为0）。
  • bpm: 固定为60 BPM。
  • fold: 示例所属的折数（1-20）。
  • set_type: 示例用途。

5. 副属和弦 (Secondary Dominants)

• 描述: 包含使用副属和弦或其三全音替代的和声进行示例。
• 关键字段:
  • name: 音频文件名。
  • inst: 使用的 MIDI 乐器名。
  • key_center: 和声进行的调性中心音及八度。
  • scale_type: 主要调式（maj 或 min）。
  • sub_type: 和声进行类型（N为自然音，S为使用副属和弦，T为使用三全音替代）。
  • base_prog、orig_prog、sub_prog: 和声进行的多种字符串表示。
  • sub_pos: 被替代和弦在和声进行中的位置（从1开始计数）。
  • inv: 和弦转位（全部为0）。
  • bpm: 固定为60 BPM。
  • fold: 示例所属的折数（1-20）。
  • set_type: 示例用途。

搜集汇总

数据集介绍

构建方式

在音乐信息检索领域，syntheory_plus数据集的构建遵循了Wei等人提出的方法，旨在系统化地探究音乐生成模型对西方音乐理论概念的编码能力。该数据集通过程序化生成MIDI文件，并利用rustysynth库结合TimGM6mb音源库进行音频渲染，从而精确控制音乐元素的参数化表达。构建过程涵盖了复节奏、动态变化、七和弦、调式混合及次属和弦等多个音乐理论维度，每个维度均通过算法生成多样化的音乐片段，确保了数据在理论概念上的纯净性与结构性。

特点

syntheory_plus数据集以其精细的音乐理论标注和丰富的参数化设计而著称。数据集包含五个子集，分别对应复节奏、动态、七和弦、调式混合和次属和弦，每个子集均提供了详细的元数据字段，如乐器配置、节奏参数、和声属性及效果处理级别。这些字段不仅记录了音乐片段的底层理论特征，还引入了随机偏移和混响等级等变量，增强了数据的多样性和现实感。数据集采用分层折叠划分，支持训练、验证和测试集的标准化分割，为音乐生成模型的评估提供了可靠的基准。

使用方法

该数据集适用于音乐生成模型的系统性评估与理论探究，用户可通过HuggingFace平台直接加载数据，并利用其丰富的元数据进行多任务分析。在复节奏子集中，研究者可基于`poly`和`ratio`字段分析模型对复杂节奏模式的编码能力；动态子集则通过`dyn_category`和`inflection_point`支持音乐表达力的研究。每个子集均包含`fold`和`set_type`字段，便于用户按照原始实验设置进行数据分割，或自定义划分以适配特定任务。数据集以WAV音频文件与结构化元数据相结合的形式提供，支持端到端的模型训练与听觉评估。

背景与挑战

背景概述

Syntheory_Plus数据集由Derek Kwan与Patrick Donnelly等研究人员构建，旨在系统探究音乐生成模型对西方音乐理论概念的编码能力。该数据集基于Wei等人先前开发的Syntheory工作，通过程序化生成MIDI文件并利用rustysynth库与TimGM6mb音源库转换为音频，聚焦于复节奏、动态变化、七和弦、调式混合及次属和弦等多个核心音乐理论维度。其创建动机源于深入分析如Meta MusicGen与OpenAI Jukebox等先进生成模型在音乐理论理解上的局限与潜力，为音乐信息检索与计算音乐学领域提供了结构化的评估基准。

当前挑战

该数据集致力于解决音乐生成模型在复节奏、和弦进行等复杂音乐理论模式识别与生成中的挑战，其核心在于评估模型对高层次音乐结构的感知与再现能力。在构建过程中，研究人员需克服音乐理论概念的程序化抽象、MIDI到音频的高保真转换以及数据多样性与可控性之间的平衡等难题。此外，数据集中包含的偏移时间、混响级别等变量引入，旨在模拟真实音乐环境中的听觉变化，这进一步增加了数据标注与模型泛化评估的复杂性。

常用场景

经典使用场景

在音乐信息检索与计算音乐学领域，Syntheory_Plus数据集为探究生成式音乐模型的理论编码能力提供了关键实验平台。该数据集通过程序化生成的MIDI文件，系统化地封装了复节奏、动态变化、七和弦、调式混合及次属和弦等西方音乐理论概念，使得研究者能够精准评估如MusicGen和Jukebox等模型在复杂音乐结构上的表征与生成性能。其结构化的字段设计支持多维度分析，为模型在音乐理论理解方面的可解释性研究奠定了数据基础。

实际应用

在音乐科技与教育技术领域，Syntheory_Plus数据集的实际应用体现在智能作曲辅助系统与自适应音乐教学工具的研发中。基于该数据集训练的模型能够识别并生成符合特定理论规则的乐句，辅助作曲家探索新颖的和声进行或节奏组合。同时，其标注精细的音频样本可用于构建交互式音乐理论学习平台，通过实时分析学生演奏中的理论元素实现个性化反馈。

衍生相关工作

该数据集直接衍生于Megan Wei等人创建的Syntheory数据集，并在此基础上扩展了音乐理论概念的覆盖范围与数据规模。相关经典工作包括原论文《Do Music Generation Models Encode Music Theory?》中提出的模型评估框架，以及后续研究中对多模态音乐表征的探索。这些工作共同推动了音乐生成模型的理论基础研究，促进了计算音乐学与机器学习领域的交叉融合。