GigaMIDI

GigaMIDI数据集是一个包含超过143万MIDI文件、530万轨道和18亿个音符的综合语料库，附有循环和表达性音乐表演检测的注释和元数据。该数据集用于检测音乐中的表达性，通过引入新的启发式方法（如音符起始中位数度量水平）来识别表达性轨道，准确率达到99.5%。此外，数据集还标记了非表达性音乐轨道的MIDI循环，以识别700万个循环。

The GigaMIDI dataset is a comprehensive corpus comprising over 1.43 million MIDI files, 5.3 million tracks, and 1.8 billion notes, accompanied by annotations and metadata for both expressive musical performance detection and cyclic pattern detection. This dataset is utilized for musical expressiveness detection tasks, where a novel heuristic method (e.g., note onset median metric level) is proposed to identify expressive tracks, achieving an accuracy of 99.5%. Furthermore, the dataset labels MIDI loops extracted from non-expressive musical tracks to identify a total of 7 million loops.

原始信息汇总

GigaMIDI 数据集概述

数据集简介

GigaMIDI 数据集是一个包含超过 1.43M 个 MIDI 文件、5.3M 个音轨和 1.8B 个音符的综合语料库，附带有循环和表达性音乐表演检测的注释和元数据。该数据集旨在解决现有音乐数据集中符号音乐数据相对较少的问题，并提供可编辑的音乐内容版本，独立于其声音渲染。

数据集组成

• MIDI 文件数量: 1.43M
• 音轨数量: 5.3M
• 音符数量: 1.8B
• 注释: 包含循环和表达性音乐表演检测的注释
• 元数据: 用于表达性表演检测的元数据

表达性检测

• 新启发式算法: 引入了一种名为“音符起始中位数度量级别（NOMML）”的新启发式算法，用于识别表达性音轨。
• 准确率: 通过 NOMML 算法，能够以 99.5% 的准确率识别出 31% 的 GigaMIDI 音轨为表达性音轨。

循环检测

• 挑战: 检测循环时，音轨中的表达性时间变化可能导致重复模式不完全相同。
• 解决方案: 对非表达性音乐音轨进行 MIDI 循环标记，识别出 7M 个循环。

数据集访问

• 访问方式: 数据集可通过 Hugging Face 平台访问，地址为 [https://huggingface.co/datasets/Metacreation/GigaMIDI]。

数据集结构

• /GigaMIDI: 包含创建完整 GigaMIDI 数据集的代码，以及使用 datasets 库加载和处理数据集的示例代码。
• /loops_nomml: 包含循环检测算法和表达性表演检测算法的源文件。
• /scripts: 包含分析 GigaMIDI 数据集和循环数据集的脚本和代码笔记本。
• /tests: 包含表达性表演检测和循环提取的端到端测试。

数据源链接

• 数据源链接: 数据集的每个收集子集的数据源链接已整理并上传为 PDF 文件，地址为 [https://github.com/GigaMidiDataset/The-GigaMIDI-dataset-with-loops-and-expressive-music-performance-detection/blob/8acb0e5ca8ac5eb21c072ed381fa737689748c81/Data%20Source%20Links%20for%20the%20GigaMIDI%20Dataset%20-%20Sheet1.pdf]。

使用说明

循环检测

• 单个 MIDI 文件循环检测: 使用 detect_loops 函数进行单个 MIDI 文件的循环检测。
• 批量处理循环: 提供 main.py 脚本进行数据集中的所有循环批量提取。

表达性检测

• NOMML 启发式算法: 使用 NOMML 启发式算法进行表达性音轨检测，生成包含适当元数据的 JSON 文件。

管道配置

• 超参数: 通过超参数调优确定的最佳超参数配置。
• 模型: 使用逻辑回归模型进行表达性音乐表演检测。

搜集汇总

数据集介绍

构建方式

在音乐计算领域，GigaMIDI数据集的构建旨在解决现有音乐数据集中符号音乐数据相对稀缺的问题。该数据集通过整合超过1.43M的MIDI文件、5.3M的音轨和1.8B的音符，形成了一个庞大的音乐符号数据资源。为了区分表达性音乐与非表达性音乐，研究团队引入了一种名为‘note onset median metric level (NOMML)’的新启发式方法，该方法能够以99.5%的准确率识别出31%的表达性音轨。此外，数据集还包含了7M个循环标记，这些标记针对非表达性音乐音轨，解决了表达性时间变化带来的循环检测难题。

特点

GigaMIDI数据集的显著特点在于其规模庞大且内容丰富，涵盖了从音乐生成到转录等多种任务所需的数据。该数据集不仅提供了大量的MIDI文件，还通过NOMML启发式方法和循环标记，增强了数据的可解释性和实用性。此外，数据集的构建过程中还考虑了音乐表达性的检测，使得研究者能够更精确地分析和处理音乐数据。这些特点使得GigaMIDI成为音乐计算领域中一个极具价值的资源。

使用方法

GigaMIDI数据集的使用方法简便且灵活。研究者可以通过Hugging Face平台访问该数据集，并利用提供的代码示例进行数据加载和处理。例如，使用`detect_loops`函数可以检测单个MIDI文件中的循环，而`main.py`脚本则支持批量处理整个数据集中的循环。此外，数据集还提供了预训练的机器学习模型和详细的管道配置，帮助研究者快速上手并进行深入分析。这些工具和资源的整合，使得GigaMIDI不仅适用于基础研究，也适合实际应用开发。

背景与挑战

背景概述

在人工智能应用于音乐计算领域的研究中，深度学习的进步推动了音乐生成和转录等任务的模型发展。GigaMIDI数据集由超过1.43M的MIDI文件、5.3M的音轨和1.8B的音符组成，并附有循环和表现力检测的注释。该数据集由研究人员和机构共同创建，旨在解决现有音乐数据集中符号音乐数据相对较少的问题，以及如何区分由音乐家演奏的表现力符号音乐数据与非表现力数据的问题。GigaMIDI的推出，不仅丰富了音乐计算领域的数据资源，还为研究者提供了新的工具和方法来分析和理解音乐表现力。

当前挑战

GigaMIDI数据集在构建过程中面临了多项挑战。首先，如何准确区分表现力与非表现力的MIDI数据是一个复杂的问题，研究团队引入了新的启发式算法——音符起始中位数度量水平（NOMML），以99.5%的准确率识别出31%的表现力音轨。其次，检测音乐循环时，由于表现力导致的时序变化，循环模式可能不完全相同，这增加了检测的难度。此外，数据集的规模和复杂性也对存储、处理和分析提出了高要求，确保数据集的可访问性和易用性也是一项重要挑战。

常用场景

经典使用场景

在音乐计算领域，GigaMIDI数据集的经典使用场景主要集中在音乐生成和转录任务中。该数据集通过提供超过1.43M的MIDI文件、5.3M的音轨和1.8B的音符，为深度学习模型提供了丰富的符号音乐数据。这些数据不仅支持音乐生成算法的发展，还通过其包含的循环和表现力检测元数据，增强了音乐转录的准确性和效率。

衍生相关工作

GigaMIDI数据集的发布催生了一系列相关研究工作，包括基于NOMML启发式的表现力检测算法改进、循环检测技术的优化以及大规模MIDI数据集的分析方法。此外，该数据集还促进了音乐信息检索（MIR）领域的研究，推动了音乐生成和转录模型的进一步发展，为音乐计算领域的学术研究和实际应用提供了坚实的基础。

数据集最近研究

最新研究方向

在音乐计算领域，GigaMIDI数据集的最新研究方向主要集中在表达性音乐表演检测和循环模式识别上。随着深度学习技术在音乐人工智能应用中的广泛应用，MIDI数据及其元数据的重要性日益凸显。GigaMIDI数据集通过引入新的启发式算法，如音符起始中位数度量水平（NOMML），成功识别出31%的表达性MIDI轨道，准确率高达99.5%。此外，该数据集还解决了在表达性时间变化下循环模式检测的挑战，标记了700万个循环。这些研究不仅推动了音乐生成和转录模型的优化，还为音乐信息检索（MIR）领域提供了新的研究视角和工具。