EDM-98

EDM-98是从一个经过精心挑选的98首歌曲集合中创建的，带有Rekordbox cue-point标记。原始数据集以JSON格式创建，后来转换为JSONL格式以匹配SongFormer架构预期的标签文件格式。数据集包含每首歌曲的Deezer轨道标识符、严格递增的[时间，标签]对列表以及原始文件名。数据集不重新分发音频本身，但包含Deezer ID以便用户将元数据映射到外部下载的音频。

EDM-98 is created from a carefully curated collection of 98 songs with Rekordbox cue-point markers. The original dataset was initially constructed in JSON format, and later converted to JSONL format to match the label file structure expected by the SongFormer architecture. The dataset contains the Deezer track identifier for each song, a strictly increasing list of [time, tag] pairs, and the original filename. The dataset does not redistribute the audio content itself, but includes Deezer IDs to enable users to map the metadata to externally downloaded audio files.

原始信息汇总

EDM-98 数据集概述

数据集基本信息

• 数据集名称：EDM-98
• 数据来源：基于98首经过精心挑选的歌曲，使用Rekordbox cue-point进行标注。
• 原始格式：最初创建为JSON，后转换为JSONL以匹配SongFormer架构预期的标签文件格式。
• 音频数据：本包不重新分发音频本身。包含Deezer ID，以便用户将元数据映射回外部下载的音频。

数据集内容与结构

包含的组件

• 模块内打包的规范EDM-98标签工件。
• 模块内打包的规范分割文件。
• 用于数据集加载和验证的轻量级Python包。
• 一个可选的EDMFormer推理管道。
• 用于验证、预测、缓存预热和演示启动的CLI。
• 一个带有波形时间线和颜色编码部分预测的Gradio应用程序。

数据记录格式

每个打包的数据集记录包括：

• id：用作规范记录ID的Deezer曲目标识符。
• labels：一个严格递增的[时间, 标签]对列表，以end终止。
• file_path：标注时可用的原始文件名（作为来源元数据保留，不作为主要查找键）。

主要标签类别

EDMFormer设置公开的主要标签包括：

• intro
• buildup
• drop
• breakdown
• outro
• silence

数据访问与使用

加载数据集

通过Python API加载规范的数据集记录和分割： python from edm98.loaders import load_dataset_records, load_all_splits, load_records_by_split records = load_dataset_records() splits = load_all_splits() train_records = load_records_by_split("train")

音频文件关联

本地音频预处理约定：每首下载的歌曲存储为<deezer_id>.<ext>（例如1060564312.mp3）。用户需自行下载音频，并使用Deezer ID将元数据关联到本地音乐目录。

训练准备

核心流程

1. 安装edm98并加载打包的记录。
2. 使用提供的Deezer ID单独下载歌曲，并存储为<deezer_id>.<ext>。
3. 生成EDMFormer所需的MuQ和MusicFM嵌入。
4. 将训练配置指向打包的JSONL标签和分割文件。

资源位置

数据集和分割文件从edm98内的打包资源加载，位于src/edm98/resources/下。该打包副本是Python API和PyPI分发的规范源。

安装与部署

仅安装数据集

bash pip install edm98

安装推理功能（包含UI）

bash git clone https://github.com/25ohms/EDM-98.git cd EDM-98 ./scripts/install_inference_deps.sh pip install -e ".[ui]" export MUSICFMPATH="$PWD/third_party/musicfm"

工具与接口

命令行接口（CLI）

• 验证数据集：python -m edm98.cli validate-dataset
• 对单个文件运行推理：python -m edm98.cli predict --device cuda --low-memory path/to/song.mp3
• 启动Gradio演示：python -m edm98.cli demo --device cuda --server-name 0.0.0.0 --server-port 7860

Gradio演示应用

• 提供文件上传、全宽颜色编码波形时间线、标记部分区域、移动播放光标以及带分秒时间戳的预测部分表格视图。
• 演示启动后持久化，直到进程退出。

Python API

• 一次性推理：使用edm98.inference.predict_file。
• 应用集成或重复使用：创建并重用InferencePipeline对象。

平台支持

• Linux：最直接的GPU支持设置，使用--device cuda。
• macOS：在Apple Silicon上使用Metal，通过--device mps。
• Windows：建议在WSL2或Git Bash等Bash兼容环境中运行。

许可信息

• 仓库代码和模型相关材料：CC BY 4.0
• 打包的数据集元数据和分割文件：MIT

搜集汇总

数据集介绍

构建方式

在电子音乐分析领域，EDM-98数据集通过精心挑选的98首曲目构建而成，其标注过程依赖于Rekordbox的cue-point标记技术。原始数据集以JSON格式创建，随后转换为JSONL格式，以适配SongFormer架构所期望的标签文件规范。该数据集不直接包含音频文件，而是通过Deezer音轨标识符提供元数据，用户需根据这些标识符从外部获取相应音频，从而实现了数据与音频的分离管理。

特点

EDM-98数据集的核心特点在于其专注于电子舞曲的结构化分析，提供了包括intro、buildup、drop、breakdown、outro和silence在内的六种标准段落标签。每个数据记录均包含严格递增的时间-标签对序列，并以end标记终止，确保了时间标注的精确性和一致性。数据集通过规范的拆分文件支持训练、验证和测试划分，为模型开发提供了可靠的基准。

使用方法

用户可通过Python API加载数据集的元数据和拆分定义，利用Deezer标识符将标签与外部下载的音频文件进行关联。数据集支持EDMFormer风格的训练流程，要求用户预先生成MuQ和MusicFM嵌入向量。此外，该工具包提供了命令行界面和Gradio演示应用，支持本地推理和交互式段落预测，便于进行实验和应用开发。

背景与挑战

背景概述

在电子音乐分析领域，精确识别音乐结构段落是音乐信息检索的重要研究方向。EDM-98数据集应运而生，专为电子舞曲的结构分析而设计。该数据集由研究团队通过Rekordbox软件对98首精选曲目进行人工标注构建，核心研究问题聚焦于自动识别歌曲中的典型段落，如引子、铺垫、高潮、间奏、尾声及静默片段。其创建旨在为EDMFormer等模型提供高质量的训练与评估基准，推动音乐结构分割技术的发展，对智能音乐制作、DJ辅助工具及音乐流媒体平台的个性化推荐系统产生深远影响。

当前挑战

EDM-98数据集面临的挑战主要体现在两方面。在领域问题层面，电子舞曲的结构分割任务具有高度复杂性，音乐段落之间的过渡往往模糊且存在风格变异，模型需克服时序标注的歧义性，实现高精度、细粒度的段落边界检测。在构建过程中，数据集的创建依赖于专业人工标注，这带来了标注一致性维护的挑战；同时，数据集仅提供元数据与标签，不包含音频文件本身，用户需依据Deezer标识符外部获取音频，增加了数据使用的门槛与预处理复杂性。

常用场景

经典使用场景

在电子音乐结构分析领域，EDM-98数据集为研究者提供了一个精心标注的基准资源。该数据集通过Rekordbox cue-point技术对98首电子舞曲进行了精细的时间戳标注，涵盖了intro、buildup、drop、breakdown、outro和silence等典型段落标签。研究人员通常利用这些标注数据，结合EDMFormer等深度学习模型，对电子音乐的段落边界进行自动检测与分类，从而深入探究电子音乐的内在结构规律。

衍生相关工作

围绕EDM-98数据集，学术界衍生出多项具有重要意义的研究工作。EDMFormer架构作为该数据集的配套模型，开创了融合MuQ与MusicFM嵌入表示的音乐结构分析方法。后续研究在此基础上扩展了多模态特征融合策略，并探索了跨风格音乐结构迁移学习。这些工作共同推动了音乐信息检索领域向更细粒度、更高精度的方向发展，形成了以段落分析为核心的技术生态。

数据集最近研究

最新研究方向

在电子音乐结构分析领域，EDM-98数据集正推动基于深度学习的自动分段技术迈向新的高度。该数据集通过精心标注的98首曲目，为模型训练提供了intro、buildup、drop等关键段落的时间标签，成为EDMFormer等架构的核心训练资源。当前研究聚焦于利用多模态嵌入技术，如结合MuQ和MusicFM的音频表征，以提升模型对复杂节奏与和声变化的识别精度。同时，开源工具链与Gradle交互界面的集成，使得实时音乐结构预测得以应用于创作辅助与DJ软件，显著降低了专业音频分析的技术门槛。这一进展不仅深化了音乐信息检索的理论探索，也为个性化音乐推荐与智能混音系统奠定了实践基础。