music-reasoning-benchmark

Procedural Music Reasoning Benchmark是一个用于评估音乐推理能力的基准数据集，通过程序化方法生成。它包含两个核心音乐推理任务家族：音高间隔推理（pitch_interval_reasoning）和和弦罗马数字推理（chord_roman_reasoning）。数据集提供四种不同规模的配置（n16, n32, n64默认配置, n128），每种配置均包含三个难度级别：简单（easy）、中等（moderate）和困难（hard）。配置之间呈确定性嵌套子集关系（n16⊂n32⊂n64⊂n128），使得不同规模下的评估结果可直接比较。数据规模从n16的768个示例到n128的6144个示例不等。每个数据样本包含11个字段：唯一标识符（id）、分割名称（split）、生成器难度等级（level）、人类可读难度名称（difficulty）、任务家族（family）、任务模式（mode）、模型输入提示（prompt）、标准预期答案（answer）、答案归一化类型（answer_kind）、生成器产生的推理轨迹（cot）以及包含符号生成元数据的JSON字符串（metadata）。评估时，模型仅接收prompt字段，其输出需与answer字段进行比较。cot字段供检查、监督训练和错误分析使用，但不应用于基准评估的模型输入中。所有提示均以Return only the requested answer.结尾，这是基准评估特有的指令。难度级别具有分布性特征，即使在困难分割中也可能出现简单示例，但更复杂的音乐特征会被更频繁地采样或来自更大的空间。

The Procedural Music Reasoning Benchmark is a benchmark dataset for evaluating music reasoning capabilities, generated procedurally. It includes two core music reasoning task families: pitch_interval_reasoning and chord_roman_reasoning. The dataset provides four configurations of different scales (n16, n32, n64 default, n128), each containing three difficulty levels: easy, moderate, and hard. The configurations have a deterministic nested subset relationship (n16⊂n32⊂n64⊂n128), allowing direct comparison of evaluation results across different scales. The data scale ranges from 768 examples for n16 to 6144 examples for n128. Each data sample contains 11 fields: unique identifier (id), split name (split), generator difficulty level (level), human-readable difficulty name (difficulty), task family (family), task mode (mode), model input prompt (prompt), standard expected answer (answer), answer normalization type (answer_kind), reasoning trajectory generated by the generator (cot), and a JSON string containing symbolic generation metadata (metadata). During evaluation, the model only receives the prompt field, and its output is compared with the answer field. The cot field is used for inspection, supervised training, and error analysis but should not be used as model input for benchmark evaluation. All prompts end with Return only the requested answer., which is a specific instruction for benchmark evaluation. Difficulty levels have distributional characteristics, where even the hard split may include easy examples, but more complex musical features are sampled more frequently or from a larger space.

搜集汇总

数据集介绍

构建方式

本数据集通过程序化生成策略构建，依托开源项目 procedural-music-reasoning 自动化产生音乐推理任务。其核心方法围绕两大任务族展开：音高区间推理（pitch_interval_reasoning）与和弦罗马数字推理（chord_roman_reasoning）。每个任务族下设有多个模式，通过控制生成级别（0至5）来定义难度区间，分别对应 easy、moderate 与 hard 三个分割。数据输出以 JSONL 格式存储，每条样本包含稳定标识符、任务属性、推理提示、标准答案及可选的推理链字段，确保了构建流程的严谨性与可复现性。

特点

该数据集最显著的特点是层次化嵌套式的配置结构。包含 n16、n32、n64 与 n128 四种规模配置，从小到大的四个集合呈确定的包含关系，使得不同大小基准上的实验结果具备直接可比性。数据量从 768 条增至 6144 条，难度分布采用概率采样方式，在较难分割中更频繁地抽取复杂音乐特征，而非绝对排除简单样本。此外，每条样本均附带生成元数据与答案规范化类别，支持多样化的分析需求。

使用方法

使用时首先通过 Hugging Face Datasets 库选择指定配置（如 n64）并加载数据。评估阶段仅向模型提供 prompt 字段，需将模型输出与 answer 字段使用任务评分器比对，计算准确率。内置的 cot 推理链字段专供监督训练、模型检视或错误分析，不得在基准评估时加入模型提示中。提示末尾默认附有仅求简短答案的指令，使评估流程标准化。各配置可通过 revision 参数锁定版本，保障实验的可复现性与结果一致性。

背景与挑战

背景概述

音乐推理作为人工智能领域一个新兴的研究方向，旨在评估模型对音乐理论与符号化音乐结构的理解能力。由Danila Pechenev等研究者于近期提出的Procedural Music Reasoning Benchmark（music-reasoning-benchmark）版本v0.4.3，系统性地构建了面向程序化音乐推理的标准化评测平台。该数据集涵盖了音高区间推理与和弦罗马数字推理两大任务族群，通过精心设计的难度递进分割（简单、中等、困难）和多尺度配置（n16至n128），为研究者在不同规模下公平比较模型性能提供了坚实基准。其确定性嵌套结构确保了实验结果的可直接对比，显著推动了音乐理论推理这一交叉领域的发展。

当前挑战

该数据集所解决的领域核心挑战在于，现有自然语言处理模型普遍缺乏对音乐理论中抽象符号逻辑的深层推理能力，例如音程关系识别与和弦功能分析等任务难以通过传统问答范式直接评估。在构建过程中，研究者需应对两大难题：其一，如何生成既符合音乐理论规则又具备难度分布连续性的合成样本，确保不同难度层级（从简单到困难）都能真实反映模型推理能力的渐进提升；其二，必须设计明确的评估协议，避免模型依赖提示词中的推理链（cot字段）作为捷径，而要求其仅凭原始输入输出精确答案，从而维持评测的公正性与鲁棒性。

常用场景

经典使用场景

在音乐认知科学与人工智能交叉领域，该数据集作为程序化生成的音乐推理基准，其经典使用场景在于评估语言模型对音高区间推理与和弦罗马数字推理两大核心任务的理解能力。研究者可通过调整配置规模（n16至n128）与难度层级（easy、moderate、hard）来系统测试模型从简单到复杂的音乐逻辑推演水平，从而精准量化模型在结构化音乐知识表征与符号化推理方面的表现。

实际应用

在实际应用中，该基准可用于智能音乐教育系统的后端能力度量，帮助开发者识别教学模型在音程计算、和弦功能分析等基础乐理环节的薄弱之处。此外，面向音乐生成与辅助创作的工具可通过在此基准上的表现筛选更具乐理逻辑的基座模型，从而提升自动作曲、和声建议等功能的学科严谨性。模型生成的推理链（cot字段）还可用于构建可解释的音乐问答助手，为用户提供循序渐进的乐理讲解。

衍生相关工作

该基准的诞生催生了若干后续研究方向，包括基于其推理链数据微调小参数模型以实现轻量级音乐推理器，以及通过对比不同难度层级下的模型性能来设计元认知评估策略。部分工作进一步拓展了任务家族，引入节奏推理与调性识别等新维度；还有研究借鉴其程序化生成范式，将类似基准构建方法论迁移至数学符号推理与逻辑谜题领域，验证了符号化推理任务合成数据策略的普适性。