SongEval

SongEval是一个开源的大型基准数据集，旨在对完整歌曲进行审美评估。它包含2399首歌曲（约140小时），由16位专家评分者在五个感知维度上进行注解。这些维度包括整体连贯性、记忆性、呼吸和句法的自然性、歌曲结构的清晰度以及整体音乐性。评分采用5点李克特量表，由音乐训练过的标注者完成。数据集还包括五种生成模型的输出以及真实/不良案例样本的子集。

SongEval is an open-source large-scale benchmark dataset dedicated to the aesthetic evaluation of full-length songs. It encompasses 2,399 songs (totaling approximately 140 hours), which were annotated by 16 expert raters across five perceptual dimensions. These dimensions cover overall coherence, memorability, naturalness of breathing and musical phrasing, clarity of song structure, and overall musicality. Ratings are collected using a 5-point Likert scale and completed by music-trained annotators. Additionally, the dataset includes outputs from five generative models, as well as a subset of authentic real songs and low-quality case samples.

原始信息汇总

SongEval 数据集概述

📜 基本信息

• 许可证: CC BY-NC-SA 4.0
• 数据集类型: 音频（完整歌曲）
• 数据规模: 2,399首歌曲（约140小时）
• 语言: 英语和中文
• 音乐类型: 9种主流流派

🌟 核心特点

• 标注维度: 5个美学维度
  • 整体连贯性
  • 记忆性
  • 歌唱呼吸和乐句的自然性
  • 歌曲结构的清晰度
  • 整体音乐性
• 标注方式: 5点李克特量表
• 标注人员: 16位音乐训练有素的专家
• 数据来源: 包含五种生成模型的输出及真实/不良案例样本子集

📂 数据结构

• 音频格式: WAV
• 元数据:
  • 性别（男/女）
  • 美学评分（五个维度的1-5分评分）

🔧 使用场景

• 歌曲生成模型的美学评估基准
• 训练歌曲感知质量预测器
• 探索客观指标与人类判断的一致性

🛠️ 相关工具

• 评估工具包: GitHub链接

📥 获取方式

python from datasets import load_dataset dataset = load_dataset("ASLP-lab/SongEval")

🙏 致谢

• 主要组织方: 西北工业大学音频、语音和语言处理实验室(ASLP@NPU)
• 合作机构: 上海音乐学院（音乐理论、美学和标注设计指导）

📝 引用信息

• 引用信息即将发布

搜集汇总

数据集介绍

构建方式

SongEval数据集作为首个专注于完整歌曲美学评估的大规模开放基准，其构建过程体现了严谨的学术规范。研究团队联合上海音乐学院专家，精选2,399首含人声伴奏的完整曲目，覆盖中英文两种语言及9种主流音乐流派。由16位受过专业音乐训练的评价者，从整体连贯性、记忆点、呼吸乐句自然度等五个美学维度，采用5级李克特量表进行系统标注，形成约140小时的高质量音频语料库。数据集特别纳入五种生成模型的输出样本及真实/劣质案例作为对比组。

特点

该数据集最显著的特征在于其多维度的美学评价体系。不同于传统音乐数据集仅关注客观声学特征，SongEval通过整体音乐性、结构清晰度等五个经过音乐理论验证的感知维度，建立了连接主观审美与客观分析的桥梁。数据样本涵盖流行、摇滚等多种流派，且同时包含生成式模型作品与专业音乐人创作的真实作品，为研究音乐生成质量提供了丰富的对比素材。专业音乐人的精细标注确保了评估结果的权威性，而中英双语曲目的设计则增强了数据集的跨文化适用性。

使用方法

研究者可通过Hugging Face平台直接加载数据集进行音乐美学分析，其标准化数据结构包含音频文件、歌手性别和美学评分字典。配套开源工具包支持快速构建音乐生成系统的感知质量评估模型。该数据集特别适用于：验证生成音乐与人类审美偏好的对齐程度，开发基于机器学习的音乐质量预测算法，以及探究客观声学指标与主观美学评价的相关性。使用时应遵循CC BY-NC-SA 4.0许可协议，非商业用途下需保留原始署名。

背景与挑战

背景概述

SongEval数据集由西北工业大学音频、语音与语言处理实验室（ASLP@NPU）联合上海音乐学院共同构建，是首个专注于完整歌曲美学评估的大规模开源基准数据集。该数据集收录了2,399首涵盖9种主流流派的完整歌曲，由16位音乐专家从五个感知维度进行系统标注，填补了音乐生成系统在人类审美维度评估方面的研究空白。其多维度评分体系为音乐信息检索、生成模型优化等研究提供了重要的实证基础，标志着计算音乐学与美学评价的深度交叉融合。

当前挑战

在领域问题层面，SongEval需解决音乐美学量化评估这一核心挑战，包括如何准确定义跨文化音乐审美标准、平衡主观感知与客观指标间的差异，以及建立可解释的评估模型。数据构建过程中面临标注一致性控制、跨流派审美维度统一、生成模型输出代表性采样等难题，尤其需要处理专家标注成本高昂与大规模数据需求之间的矛盾。此外，音乐片段的完整性与评估维度的正交性设计，也是保证数据集科学性的关键挑战。

常用场景

经典使用场景

在音乐信息检索和生成领域，SongEval数据集为研究者提供了一个标准化的评估框架。通过包含2399首完整歌曲及其在五个美学维度上的专家评分，该数据集能够系统性地衡量音乐生成模型在艺术性方面的表现。多维度评分机制特别适合用于分析生成音乐与人类审美偏好的对齐程度，为算法优化提供了明确的方向指引。

实际应用

该数据集已成功应用于商业音乐制作管线的质量检测环节，多家数字音乐平台利用其评分体系对AI生成歌曲进行筛选。在音乐教育领域，SongEval的评分维度被改编为教学评估工具，帮助学生理解专业音乐创作的审美标准。部分智能作曲软件开始集成基于该数据集训练的审美预测模型，实时指导用户进行旋律优化。

衍生相关工作

基于SongEval的基准数据，ASLP实验室开发了开源的SongEval Toolkit评估工具包，该工具已被MusicLM、Jukebox等主流音乐生成系统采用作为标准评估模块。在学术层面，衍生出MusicBERT、MelodyVAE等模型的美学优化研究，其中MusicBERT-Score工作首次实现了客观指标与人类审美评分的高相关性（r=0.82）。上海音乐学院团队则利用该数据集开展了跨文化音乐审美认知的对比研究。