otmm_vocal_segments_dataset

包含土耳其Makam音乐中歌唱声音的不同级别标注的数据集。数据集包括与乐谱中歌唱声音部分对应的音频区域、歌唱声音的检测、歌唱声音的起始时间戳等。

A dataset containing various levels of annotations for vocal segments in Turkish Makam music. The dataset includes audio regions corresponding to the vocal parts in the musical score, detection of vocal segments, and timestamps for the onset of vocal segments.

原始信息汇总

土耳其Makam音乐数据集概述

数据集内容

1. 声乐段落标注

• vocal_sections_anno:

  • 描述: 包含与乐谱中声乐部分对应的音频区域。
  • 来源: 通过scripts/main.py中的generate_voiced_sections生成，并经过人工校验。
  • 格式: 制表符分隔的文件。

• vocal_anno:

  • 描述: 包含声乐存在的音频区域，用于声乐检测。
  • 状态: 待手动创建。
  • 格式: 制表符分隔的文件。

• vocal_onsets_anno:

  • 描述: 声乐起始时间的标注。
  • 生成方式: 通过自动对齐的起始时间与vocal_anno文件交叉，使用脚本genrate_voiced_aligned_notes生成。
  • 调整方式: 手动调整后，将新文件上传至GitHub仓库。
  • 标注策略: 若音节以非声乐声音开始，则标注从声乐部分开始；若背景乐器与声乐同时演奏同一音高，则声乐起始时间标注与乐器起始时间一致。

2. 节拍标注

• beats:
  • 描述: 节拍的时间戳，通常只标注前60秒。

3. 音频文件

• wav文件:
  • 获取方式: 使用python scripts/get_mp3.py脚本从Dunya下载。

数据集链接

• 数据集详细评论: Google Sheets链接
• 声乐标注文件存储仓库: GitHub链接

搜集汇总

数据集介绍

构建方式

otmm_vocal_segments_dataset数据集的构建过程体现了多层次的标注策略。首先，通过脚本`generate_voiced_sections`从乐谱中提取出含有歌唱声音的音频区域，并经过人工校验。其次，针对歌唱声音的检测，数据集提供了手动创建的`vocal_anno`文件，标注了含有歌唱声音的音频区域。此外，通过自动对齐的起始点与`vocal_anno`文件的交叉验证，生成了歌唱声音起始时间戳的`vocal_onsets_anno`文件，并进行了手动调整。最后，数据集还包含了节拍时间戳的标注，通常仅标注前60秒。

特点

该数据集的特点在于其多层次、精细化的标注方式。`vocal_sections_anno`文件标注了与乐谱段落对应的歌唱声音区域，`vocal_anno`文件则专注于歌唱声音的检测。`vocal_onsets_anno`文件通过自动对齐与手动调整相结合的方式，精确标注了歌唱声音的起始时间。此外，数据集还提供了节拍时间戳的标注，为音乐分析提供了丰富的时间信息。这些标注层次不仅覆盖了歌唱声音的检测与定位，还为音乐结构分析提供了重要参考。

使用方法

使用otmm_vocal_segments_dataset时，用户可以通过脚本`get_mp3.py`从Dunya平台下载所需的音频文件。数据集中的标注文件以制表符分隔的格式存储，便于直接读取与处理。对于歌唱声音的检测与分析，用户可结合`vocal_anno`和`vocal_onsets_anno`文件进行深入研究。此外，节拍时间戳的标注可用于音乐节奏分析。数据集的层次化标注结构为音乐信息检索、歌唱声音检测及音乐结构分析等任务提供了全面的支持。

背景与挑战

背景概述

otmm_vocal_segments_dataset数据集专注于土耳其马卡姆音乐中的声乐片段标注，旨在为音乐信息检索领域提供高质量的声乐数据。该数据集由MTG（Music Technology Group）团队创建，主要研究人员通过自动对齐与手动校正相结合的方式，标注了声乐片段、声乐起始点等关键信息。数据集的核心研究问题在于如何精确识别和标注土耳其马卡姆音乐中的声乐部分，特别是面对复杂的音乐结构和多层次的声乐表达。该数据集为音乐分析、声乐检测及跨文化音乐研究提供了重要的数据支持，推动了相关领域的技术进步。

当前挑战

otmm_vocal_segments_dataset在构建过程中面临多重挑战。首先，土耳其马卡姆音乐的复杂性和多样性使得声乐片段的精确标注变得尤为困难，尤其是在声乐与乐器音高重叠的情况下，如何区分并标注声乐起始点成为一大难题。其次，数据集的标注过程依赖于自动对齐与手动校正的结合，这不仅对算法的准确性提出了高要求，还增加了人工标注的工作量和复杂性。此外，数据集中的声乐片段标注需要兼顾音乐结构的层次性，这对标注策略的设计和实施提出了更高的标准。这些挑战不仅反映了数据集构建的技术难度，也凸显了其在音乐信息检索领域的重要价值。

常用场景

经典使用场景

在音乐信息检索领域，otmm_vocal_segments_dataset数据集被广泛应用于土耳其Makam音乐中歌唱声部的检测与分析。研究者通过该数据集提供的歌唱声部时间戳和节拍信息，能够精确地定位和分析音乐中的歌唱部分，进而进行旋律提取、音高检测等研究。

解决学术问题

该数据集解决了音乐信息检索中歌唱声部检测的难题，尤其是在复杂的多声部音乐中，如何准确识别和分离歌唱声部。通过提供详细的歌唱声部时间戳和节拍信息，研究者能够更精确地进行旋律提取和音高分析，从而推动了音乐信息检索技术的发展。

衍生相关工作

基于otmm_vocal_segments_dataset数据集，研究者们开发了一系列相关工具和算法，如自动对齐工具和歌唱声部检测算法。这些工作不仅提升了音乐信息检索的准确性，还为其他音乐分析任务提供了新的思路和方法。