Discogs-VI

Discogs-VI是由庞培法布拉大学的音乐技术组创建的一个大型音乐版本识别数据集，基于Discogs音乐数据库的公共编辑元数据。该数据集包含约1,900,000个版本，跨越348,000个作品，通过高精度搜索算法映射到YouTube上的官方音乐上传，形成了一个包含约493,000个版本的子集。数据集的创建过程利用了Discogs的丰富元数据，包括艺术家详情、发布信息和广泛的信用描述，通过标准化处理和精确匹配算法生成。该数据集主要应用于音乐发现、音乐学研究和版权执行等领域，旨在解决音乐版本识别中的复杂问题。

Discogs-VI is a large-scale music version identification dataset developed by the Music Technology Group at Pompeu Fabra University, based on publicly curated metadata from the Discogs music database. This dataset contains approximately 1.9 million versions spanning 348,000 works, and a subset containing around 493,000 versions was formed by mapping its entries to official music uploads on YouTube via high-precision search algorithms. The dataset was constructed using the rich metadata from Discogs, including artist details, release information and extensive credit descriptions, and generated through standardization processing and precise matching algorithms. It is mainly applied in fields such as music discovery, musicological research and copyright enforcement, aiming to address complex issues in music version identification.

原始信息汇总

Discogs-VI Dataset 概述

数据集简介

Discogs-VI 是一个包含音乐版本元数据和预计算音频表示的数据集，专为版本识别（VI）研究而创建，也称为封面歌曲识别（CSI）。该数据集通过使用来自公共 Discogs 音乐数据库的编辑元数据，识别了数百万首曲目之间的版本关系，并基于艺术家、作曲家和曲目标题元数据进行匹配。Discogs-VI 数据集包含约 190 万个版本，属于约 348,000 个“clique”（一组互为版本的曲目），而 Discogs-VI-YT 子集包含约 493,000 个版本，属于约 98,000 个“clique”。

数据集内容

• Discogs-VI: 包含所有识别的“clique”及其元数据，版本未匹配到 YouTube ID。
• Discogs-VI-YT: 包含匹配到 YouTube ID 的版本，并进行了后处理以确保每个“clique”至少有两个已下载的版本。
• 音频表示: 如 CQT（常数 Q 变换），用于 Discogs-VI 版本的音频表示。

数据下载

• 元数据: 提供主文件和中间文件的下载，主文件为 main.zip（1.4 GB 压缩，21 GB 解压），中间文件为 intermediary.zip（8.7 GB 压缩，46 GB 解压）。
• 音频: 可下载与 YouTube ID 对应的音频文件，推荐使用并行下载以提高效率。
• 音频表示: 提取的特征可用于非商业科学研究目的，需联系 Music Technology Group 请求。

数据结构

• 主文件:
  • Discogs-VI-20240701.jsonl: 包含所有识别的“clique”及其元数据。
  • Discogs-VI-YT-20240701.jsonl: 包含匹配到 YouTube ID 的版本。
  • Discogs-VI-YT-light-20240701.json: 仅包含“clique”、版本和 YouTube ID 的简化文件。
• 中间文件: 包含 Discogs 艺术家和发布数据的解析文件，以及用于识别“clique”的中间文件。

数据加载

• Python 加载示例: 提供了如何使用 Python 加载不同类型文件的示例代码。

引用

请参考相关出版物以正确引用该数据集。

许可证

数据集的使用需遵守相关许可证规定。

搜集汇总

数据集介绍

构建方式

Discogs-VI数据集的构建基于Discogs音乐数据库中丰富的编辑元数据。研究团队利用高精度搜索算法，将这些元数据映射到YouTube上的官方音乐上传，从而创建了一个包含约493,000个版本和98,000个群集的子集Discogs-VI-YT。该数据集通过使用轨道标题和轨道作者艺术家的元数据字段，结合艺术家元数据中的唯一艺术家ID、团体成员信息、艺术家别名和名称变体，实现了高精度的版本识别。此外，数据集还包括了诸如流派、风格、唱片公司、发行格式、发行日期和发行国家等潜在有用的元数据。

使用方法

Discogs-VI数据集可用于训练和评估音乐版本识别系统。用户可以通过访问公开的在线资源获取数据集及其相关工具、提取的音频特征和预训练模型。在实际应用中，数据集可用于开发基于卷积神经网络（CNN）或变压器等更大架构的系统，以提升模型性能和泛化能力。此外，数据集的详细元数据为开发和评估版本识别系统提供了新的可能性。

背景与挑战

背景概述

音乐版本识别（Version Identification, VI）在音乐信息检索领域中占据重要地位，其应用涵盖音乐发现、音乐学研究及版权执行等多个方面。然而，现有VI数据集在规模和音乐多样性上存在局限，难以训练出鲁棒的神经网络。为应对这一挑战，R. Oguz Araz、Xavier Serra和Dmitry Bogdanov等研究人员于2024年基于Discogs音乐数据库的丰富编辑元数据，创建了Discogs-VI数据集。该数据集包含约1,900,000个版本，涵盖348,000个作品，显著超越了现有数据集的规模。通过高精度搜索算法，研究人员进一步将该数据集映射到YouTube上的官方音乐上传，形成了Discogs-VI-YT子集，包含约493,000个版本和98,000个作品。这一数据集不仅在数量上大幅领先，还提供了丰富的元数据，为音乐版本识别系统的开发和评估提供了新的可能性。

当前挑战

Discogs-VI数据集的构建面临多重挑战。首先，音乐版本的识别依赖于复杂的元数据处理，包括艺术家信息、曲目标题及创作关系等，这些信息的准确匹配对算法提出了高要求。其次，数据集的构建过程中，如何有效处理不同语言和语法结构带来的文本匹配难题，以及如何应对元数据的不完整性和模糊性，都是亟待解决的问题。此外，将Discogs元数据映射到YouTube视频的过程中，确保视频的官方性和持久性，以及处理地理限制和未来URL失效问题，也是构建过程中必须克服的挑战。最后，尽管Discogs-VI数据集在规模和多样性上具有显著优势，但其与现有数据集的兼容性和模型训练的复杂性，仍需进一步研究和优化。

常用场景

经典使用场景

Discogs-VI数据集的经典使用场景主要集中在音乐版本识别（Version Identification, VI）领域。该数据集通过利用Discogs音乐数据库中的丰富编辑元数据，构建了一个包含约1,900,000个版本和348,000个群集的大规模数据集。研究者们利用这一数据集训练神经网络模型，以实现对音乐作品不同版本的精确识别。例如，通过训练卷积神经网络（CNN）或变换器（Transformer）模型，研究者能够在音乐发现、音乐学研究和版权执法等多个应用中实现高效的音乐版本识别。

解决学术问题

Discogs-VI数据集解决了当前音乐版本识别数据集在规模和音乐多样性上的不足问题。传统数据集往往由于规模有限，无法充分训练复杂的神经网络架构，如变换器，从而限制了模型的性能和泛化能力。此外，现有数据集的群集大小分布不具代表性，难以进行真实的系统评估。Discogs-VI通过提供一个更大、更具挑战性的数据集，填补了这一空白，为研究者提供了一个理想的平台，以开发和评估更强大的音乐版本识别系统。

实际应用

在实际应用中，Discogs-VI数据集被广泛用于音乐版权管理、音乐推荐系统和音乐学研究。例如，音乐版权管理机构可以利用该数据集训练的模型，自动识别和追踪音乐作品的不同版本，确保版权持有者获得应有的报酬。音乐推荐系统则可以通过分析用户对不同版本的偏好，提供更加个性化的音乐推荐服务。此外，音乐学者可以利用该数据集进行深入的音乐学分析，探索音乐作品的演变和多样性。

数据集最近研究

最新研究方向

在音乐信息检索领域，Discogs-VI数据集的最新研究方向主要集中在利用其丰富的编辑元数据进行音乐版本识别（VI）。该数据集通过高精度搜索算法与YouTube上的官方音乐上传进行映射，生成了包含约493,000个版本和98,000个群集的子集Discogs-VI-YT。这一数据集不仅在规模上远超现有数据集，还提供了详细的元数据，如流派、风格和发行年份，这些信息对于系统的详细性能评估和复杂训练方法至关重要。此外，Discogs-VI-YT的群集大小分布更具代表性，能够更好地模拟实际使用场景，为度量学习提供了丰富的实例。研究者们正探索如何利用这些丰富的元数据和多样化的音频特征，训练出更鲁棒的神经网络模型，以提升音乐版本识别的准确性和效率。

相关研究论文

• Discogs-VI: A Musical Version Identification Dataset Based on Public Editorial Metadata

  音乐技术组，庞培法布拉大学，巴塞罗那 · 2024年