MMAE: A Massive Multitask Audio Editing Benchmark

我们介绍了MMAE，一个大规模多任务音频编辑基准，作为首个为通用指令型音频编辑设计的全面评估测试平台。MMAE涵盖广泛的实际场景，包括7种不同的音频模态（如声音、语音、音乐及其混合），建立了跨越6个任务复杂度级别（从基本修改到多跳推理和多轮编辑）、2个粒度级别和8种操作类型的全面分类体系。通过人机协作精心策划，MMAE包含2,000个高保真样本，并配有一个开创性的基于规则的评估框架。通过将自由形式任务分解为17,741个可验证标准，这一稳健的基于规则的范式能够对指令遵循和上下文一致性进行精确的多维评估。我们期望MMAE能作为智能创作社区未来进展的催化剂，提供清晰的诊断路线图，并为下一代音频编辑系统建立标准化、持久的评估范式。We introduce MMAE, a large-scale multi-task audio editing benchmark, as the first comprehensive evaluation testbed designed for general instruction-based audio editing. MMAE covers a wide range of real-world scenarios, including 7 distinct audio modalities (e.g., sound effects, speech, music, and their mixtures), and establishes a comprehensive taxonomy that spans 6 levels of task complexity (ranging from basic modifications to multi-hop reasoning and multi-turn editing), 2 granularity levels, and 8 types of editing operations. Curated through human-machine collaboration, MMAE contains 2,000 high-fidelity samples and is equipped with a groundbreaking rule-based evaluation framework. By decomposing free-form tasks into 17,741 verifiable criteria, this robust rule-based paradigm enables precise multi-dimensional evaluation of instruction following and context consistency. We anticipate that MMAE will serve as a catalyst for future advancements in the intelligent creation community, providing a clear diagnostic roadmap and establishing a standardized and enduring evaluation paradigm for next-generation audio editing systems.

原始信息汇总

MMAE 数据集概述

MMAE（Massive Multitask Audio Editing Benchmark） 是一个大规模多任务音频编辑基准数据集，专为通用指令驱动的音频编辑系统设计，提供全面的评估测试平台。

数据集核心特征

• 覆盖 7 种音频模态：包括声音、语音、音乐及其混合类型，广泛涵盖真实世界场景。
• 分层任务复杂度：建立 6 级任务复杂度分类体系，涵盖基础修改到多步推理及多轮编辑。
• 2 级编辑粒度：提供不同精细程度的编辑任务。
• 8 种操作类型：涵盖多种音频编辑操作。
• 2000 个高质量样本：通过人机协作方式精心筛选与构建。
• 17,741 条可验证评估标准：基于独创的 Rubric 评估框架，将自由形式任务分解为可量化标准，实现指令遵循与上下文一致性的多维精准评估。

数据构建流程

数据集通过系统化的五阶段流水线构建：

1. 头脑风暴：确定任务方向与覆盖范围。
2. 分类体系与范式构建：建立任务复杂度、粒度与操作类型的分类结构。
3. 以指令为中心的数据收集：围绕指令生成与音频数据配对。
4. Rubric 标注：为每条指令标注可验证的评估标准。
5. 质量检查：确保数据的高保真度与一致性。

评估方法

• 评估模型：使用 Qwen3-Omni 作为评判模型，基于 Rubric 标准评估音频编辑输出。
• 评估步骤：
  1. 部署 Qwen3-Omni 服务（参考 launch_qwen3_omni.sh 脚本，启动两个实例，分别运行在端口 8001 和 8002）。
  2. 准备模型预测结果：将 MMAE 元数据（MMAE-meta.json）中的 messages 添加 assistant 轮次，指向模型输出的音频路径。
  3. 运行评估脚本 python -m eval.score，传入预测文件、服务地址等参数。

评估输出文件

• results.jsonl：每条 Rubric 的详细评估结果，包含 3 次评判响应、每次尝试的选择、得分及模型原始输出。
• per_sample.json：每个样本的聚合得分，包括指令遵循、上下文一致性及精确匹配。
• taxonomy.json：按模态、难度类型、跨维度及操作类型分组的得分。

数据获取与资源

• 音频数据下载：HuggingFace 数据集页面
• 元数据文件：MMAE-meta.json（位于代码仓库中）
• 代码仓库：GitHub - ddlBoJack/MMAE

搜集汇总

数据集介绍

构建方式

MMAE数据集的构建遵循一套系统化的五阶段流水线，旨在兼顾多样性与高质量。首先通过集体头脑风暴生成广泛的编辑场景，随后构建涵盖7种音频模态、6级复杂度、2种粒度与8种操作类型的全面分类体系。在指令中心化的数据采集中，通过人类与智能体协作的方式，为每条样本精心设计编辑指令并配对高保真音频。接着，针对每条指令进行细粒度评分标准（rubrics）的标注，将自由形式的编辑任务拆解为可验证的评估准则。最后经过严格的质量审查，确保数据无误与一致性，从而形成包含2000条高质量样本的最终基准。

特点

该数据集最显著的特点在于其大规模多任务覆盖与细粒度评估能力。MMAE横跨声音、语音、音乐及其混合等7种音频模态，任务复杂度从基础修改延伸至多跳推理与多轮编辑，操作类型丰富多样。通过将17741条可验证的评分标准嵌入评估框架，MMAE不仅能够精准衡量模型对指令的遵循程度，还能评估上下文一致性，实现多维度的客观评价。这种基于评分标准的评估范式为音频编辑系统提供了清晰的诊断路径，且具有良好的可扩展性与标准化潜力。

使用方法

使用MMAE评估音频编辑模型时，需首先部署Qwen3-Omni作为评判模型，通过vLLM服务实例启动两个端口。随后，用户需运行自己的音频编辑模型，根据MMAE提供的元数据（MMAE-meta.json）生成预测结果，并将输出音频路径以ChatML格式填入原始消息的assistant轮次，保存为预测JSON文件。最后，使用提供的评分脚本，指定预测文件、Qwen3-Omni端点URL、音频根目录等参数，并行调用评判模型获取每个评分标准的响应，进而计算出指令遵循、一致性和精确匹配得分，最终输出按样本与分类维度聚合的评估结果。

背景与挑战

背景概述

MMAE（Massive Multitask Audio Editing Benchmark）是由学术界团队于近期创立的大规模多任务音频编辑基准，旨在填补通用指令驱动音频编辑领域系统性评估的空白。该基准由研究人员通过人机协作精细构建，涵盖声音、语音、音乐及其混合等7种音频模态，并建立了从基础修改到多跳推理与多轮编辑的6级任务复杂度分类体系，以及2级粒度和8种操作类型。其核心研究问题在于为智能音频编辑系统提供标准化的诊断工具与评估范式，通过引入基于17,741个可验证准则的创新评估框架，实现对指令遵循与上下文一致性的精确多维量化。MMAE的出现对语音合成、音乐制作及通用音频处理领域产生了重要影响，为下一代音频编辑系统的发展奠定了扎实的评测基础。

当前挑战

MMAE面临的领域挑战在于音频编辑任务的高度复杂性与多样性，现有方法难以同时在多模态混合场景下精确执行局部替换、全局风格迁移及多轮推理等操作，且缺乏统一的评估标准以衡量生成音频的保真度与语义对齐。在基准构建过程中，最大的挑战涉及数据采集与标注：通过人机协作从海量音频中筛选并编辑出2,000个高保真样本，需确保覆盖7种模态与6级复杂度的均衡分布；同时，为每个样本设计17,741条可验证评分准则，要求标注者兼具音频专业性与逻辑严谨性，以避免主观偏差并保障评估框架的鲁棒性。此外，还需协调不同来源音频的格式、采样率与时长一致性，这对数据处理流水线的可扩展性构成了严峻考验。

常用场景

经典使用场景

MMAE作为首个面向通用指令音频编辑的综合评估基准，在智能音频处理领域确立了标准化的评测范式。该数据集覆盖声音、语音、音乐及其混合形式共7种音频模态，通过构建从基础修改到多跳推理、多轮编辑的6级任务复杂度体系，配合2种粒度与8种操作类型，为研究者提供了全方位诊断音频编辑系统能力的测试平台。研究者可利用其2000个高保真样本及配套的17,741条可验证评测准则，对模型在指令遵循与上下文一致性两个核心维度进行精确、多维度的量化评估。

解决学术问题

MMAE致力于解决音频编辑领域中长期存在的评测标准缺失问题，此前学界缺乏一个能够全面覆盖多样化场景、操作类型和复杂度层次的通用评测基准。该数据集通过系统化的分类学设计，将自由形式的编辑任务解构为可验证的标准化准则，首次实现了对指令音频编辑系统在细粒度操作精度和复杂推理能力上的定量诊断。其严谨的评测框架不仅揭示了现有模型的性能边界与不足，更促进了跨研究的公平比较，为音频AI从感知理解向智能创作演进的学术探索提供了坚实的实验基础。

衍生相关工作

基于MMAE数据集，衍生出一系列推动音频编辑领域发展的经典工作。首先，其创新的基于准则的评测框架(rubric-based evaluation)被后续研究广泛采纳，启发了如何在复杂生成任务中构建可细粒度分解的评估范式。其次，众多音频编辑模型在其基础上采用Qwen3-Omni作为评测裁判，验证了将大型多模态模型用作自动化评估工具的有效性。此外，MMAE的分类学体系——涵盖7种模态、6级难度与8种操作类型——为后续构建更专业化、更细分领域的音频编辑基准提供了可复用的蓝图，促进了如语义音频编辑、跨模态音频操纵等研究方向的形成与深化。