GAPS

GAPS数据集由伦敦玛丽女王大学数字音乐中心创建，是一个大规模的古典吉他表演数据集，包含14小时的音频-乐谱对，涵盖超过200位表演者在多样化的录音条件下的表演。数据集不仅包括高分辨率的MIDI注释，还有相应的表演视频，以及丰富的元数据，如作曲家和表演者的详细信息。该数据集的创建过程涉及自动和手动验证乐谱与音频的对齐，确保了数据的高质量。GAPS数据集的应用领域广泛，包括自动音乐转录、乐谱跟踪、表演分析等，旨在推动音乐信息检索领域的发展，特别是在吉他音乐的处理和分析方面。

The GAPS dataset was developed by the Digital Music Center at Queen Mary University of London. It is a large-scale classical guitar performance dataset containing 14 hours of audio-score pairs, covering performances from over 200 performers under diverse recording conditions. The dataset includes not only high-resolution MIDI annotations, but also corresponding performance videos and rich metadata such as detailed information about composers and performers. The creation process of the GAPS dataset involved both automatic and manual verification of audio-score alignment, ensuring the high quality of the data. The GAPS dataset has a wide range of applications, including automatic music transcription, score following, performance analysis and more, aiming to advance the development of the field of Music Information Retrieval (MIR), particularly in the processing and analysis of guitar music.

搜集汇总

数据集介绍

构建方式

GAPS数据集的构建方式独具匠心，它基于ClassClef网站上的免费乐谱和YouTube上的相应演奏视频，通过自动化的音频-乐谱对齐方法进行数据整合。首先，研究者们从ClassClef网站收集了约5,500首古典吉他乐谱，并将其转换为MusicXML和MIDI格式。随后，他们下载了与这些乐谱相对应的YouTube演奏视频。利用动态时间规整（DTW）和现有转录模型对每首乐曲的每个和弦音符进行精确定位，实现了音频与乐谱的精准对齐。为了确保对齐的准确性，研究团队还进行了一系列手动校验，最终保留了300首乐曲的数据。GAPS数据集不仅包含了音频和乐谱，还提供了与乐曲相对应的表演视频，为音乐信息检索（MIR）领域的研究提供了丰富的资源。

特点

GAPS数据集的特点在于其规模之大、多样性之广以及数据质量之高。它包含了超过14小时的古典吉他音频记录，由超过200位表演者在不同的录制条件下演奏，共涉及超过25万次音符事件。此外，数据集还包含了高分辨率的MIDI对齐和表演视频，以及关于作曲家和表演者的元数据，包括日期、国籍、性别和链接到IMSLP或维基百科的页面。GAPS数据集在吉他调弦组合和替代调弦的分布上也进行了分析，为吉他演奏和音乐表达的研究提供了宝贵的参考。

使用方法

使用GAPS数据集的方法多样，主要应用于自动音乐转录（AMT）领域。研究者们利用GAPS数据集训练了一个具有高分辨率的吉他转录模型，该模型在GuitarSet数据集上的表现达到了最先进的水平。为了利用GAPS数据集，研究者们首先将音频文件分割成10秒的片段，并使用1秒的跳步大小进行数据增强。随后，他们将GAPS数据集随机分为90%的训练集和10%的测试集。在训练过程中，研究者们采用了与现有钢琴转录模型相同的高分辨率模型，并进行了预训练和微调。通过这种方式，研究者们能够评估不同预训练和微调策略对吉他转录性能的影响。GAPS数据集的公开和可用性，为音乐信息检索领域的研究者提供了宝贵的数据资源，有助于推动AMT技术的发展。

背景与挑战

背景概述

GAPS（Guitar-Aligned Performance Scores）是一个由伦敦玛丽女王大学数字音乐中心的研究人员创建的大型且多样化的古典吉他演奏数据集。该数据集的创建旨在解决自动音乐转录（AMT）领域，尤其是针对非钢琴乐器的AMT系统发展的挑战。GAPS数据集包含了14小时的自由音频-乐谱对齐配对，这些音频由超过200位演奏者在多种录制条件下演奏，并伴有高分辨率的音符级MIDI对齐和表演视频。该数据集的创建时间为2024年，主要研究人员包括Xavier Riley、Zixun Guo、Drew Edwards和Simon Dixon。GAPS数据集的创建填补了吉他AMT领域的空白，为相关研究提供了宝贵的资源，对音乐信息检索（MIR）领域产生了重要影响。

当前挑战

GAPS数据集的创建和应用面临着多方面的挑战。首先，吉他AMT系统的发展受到高质量数据集缺乏的限制，而GAPS数据集的创建正是为了解决这一挑战。其次，构建过程中，研究人员需要克服自动对齐过程中的误差，确保音频和乐谱的准确对齐。此外，数据集的多样性和真实性对于AMT模型的学习和泛化至关重要，因此，如何确保数据集的多样性和真实性也是一个重要挑战。最后，随着AMT技术的不断发展，如何提高模型在未知音频数据上的泛化能力，也是GAPS数据集应用过程中需要面对的一个挑战。

常用场景

经典使用场景

GAPS数据集的诞生，填补了吉他自动音乐转录领域高质量数据集的空白。该数据集为研究人员提供了14小时的音频-乐谱对齐数据，涵盖了超过200位表演者在不同条件下的演奏。GAPS数据集的构建，使得自动音乐转录模型能够在真实世界的音频数据上取得突破性的表现，为吉他自动音乐转录领域的研究提供了强有力的支撑。

衍生相关工作

GAPS数据集的引入，衍生了一系列的相关研究工作。首先，基于GAPS数据集，研究人员开发了一系列的自动音乐转录模型，这些模型在真实世界的音频数据上取得了突破性的表现。其次，GAPS数据集的引入，促进了音乐信息检索领域的研究，使得音乐推荐系统和其他相关系统取得了更高的准确率。此外，GAPS数据集的引入，也为音乐生成和音乐表演分析等领域的研究提供了新的可能性。

数据集最近研究

最新研究方向

GAPS数据集的引入填补了乐器自动音乐转录领域内高质量数据集的空白，特别是针对吉他的研究。该数据集提供了14小时的音频-乐谱对齐数据，由超过200位演奏者在不同的录制条件下演奏，为自动音乐转录、乐谱跟随、表演分析、生成音乐建模以及表情性表演时序研究等多个音乐信息检索任务提供了丰富的资源。GAPS数据集不仅包含了高分辨率的音符级别MIDI对齐和表演视频，还提供了作曲家和表演者的元数据，包括日期、国籍、性别和链接到IMSLP或维基百科的资料，这为深入研究音乐文化背景提供了可能。此外，GAPS数据集还分析了吉他特有的特征，如指板和弦组合的分布和交替调音。这些特点使得GAPS成为吉他自动音乐转录领域的基准数据集，为研究人员提供了一个全新的研究平台。

相关研究论文

• GAPS: A Large and Diverse Classical Guitar Dataset and Benchmark Transcription Model

  伦敦玛丽女王大学数字音乐中心 · 2024年