MMAE (Massive Multitask Audio Editing benchmark)

MMAE是由上海交通大学、腾讯混元团队等机构联合创建的大规模多任务音频编辑基准数据集，旨在为基于指令的通用音频编辑系统提供首个综合性评估平台。该数据集包含2000个高保真音频样本，覆盖声音、语音、音乐及其混合等7种模态，并配备了17,741条精细化的评估准则。数据集通过人机协作精心构建，整合了启发式音频收集、多阶段精炼与严格质量控制流程，确保了数据的多样性与高质量。其核心应用在于系统评估音频编辑模型在复杂指令理解、上下文一致性保持及高保真生成等方面的能力，以推动智能音频创作领域的技术突破与标准化评估。MMAE is a large-scale multi-task audio editing benchmark dataset jointly developed by institutions including Shanghai Jiao Tong University and Tencent Hunyuan Team, among others. It aims to provide the first comprehensive evaluation platform for instruction-based general-purpose audio editing systems. This dataset includes 2,000 high-fidelity audio samples, covering 7 modalities such as sound, speech, music and their mixtures, and is equipped with 17,741 refined evaluation criteria. Meticulously constructed through human-machine collaboration, it integrates heuristic audio collection, multi-stage refinement and rigorous quality control workflows to guarantee the diversity and high quality of the data. Its core application is to systematically evaluate the capabilities of audio editing models in areas such as complex instruction understanding, context consistency preservation and high-fidelity generation, so as to advance technological breakthroughs and standardized evaluation in the field of intelligent audio creation.

原始信息汇总

MMAE：大规模多任务音频编辑基准

概述

MMAE 是一个大规模多任务音频编辑基准，专为评估通用指令式音频编辑系统而设计。其特点包括：

• 多模态覆盖：涵盖 7 种不同的音频模态，包括音效、语音、音乐及其混合。
• 任务复杂性分级：建立了一个包含 6 个任务复杂度级别的全面分类体系，涵盖从基本修改到多跳推理和多轮编辑。
• 多层级粒度：包含 2 个粒度级别。
• 多种操作类型：包含 8 种不同的操作类型。
• 高质量样本：通过人机协作精心策划，包含 2,000 个高保真样本。
• 创新性评估框架：采用基于标准（rubric-based）的评估框架，将自由形式的任务分解为 17,741 个可验证的标准，实现对指令遵循和上下文一致性的精确、多维评估。

数据构建流程

MMAE 通过一个系统的五阶段流程构建，以确保基准的多样性和高质量：

1. 头脑风暴（Brainstorming）
2. 分类体系与范式构建（Taxonomy & Paradigm Construction）
3. 以指令为中心的数据收集（Instruction-Centric Data Collection）
4. 标准注释（Rubrics Annotation）
5. 质量检查（Quality Inspection）

评估方法

MMAE 使用 Qwen3-Omni 作为评判模型，依据基于标准（rubric-based）的准则来评估音频编辑输出。

评估步骤：

1. 部署 Qwen3-Omni：克隆官方仓库并设置环境，然后启动 vLLM 服务实例。
2. 准备预测结果：在 MMAE 基准测试输入数据（元数据）上运行音频编辑模型，并将生成的音频路径填入预测文件的 assistant 轮次中。
3. 运行评估脚本：使用 eval/score.py 脚本，通过指定预测文件路径、Qwen3-Omni 端点 URL 等参数进行评估。

评估输出文件（位于 --output_dir 目录下）：

• results.jsonl：每个标准的详细结果。
• per_sample.json：每个样本的聚合得分（指令遵循率、一致性率、精确匹配率）。
• taxonomy.json：按模态、复杂度、交叉维度和操作类型分组的得分。

搜集汇总

数据集介绍

构建方式

MMAE的构建遵循一套严谨的多阶段流水线。首先，专家团队通过多轮头脑风暴，广泛收集涵盖不同模态与复杂度的创意编辑场景。继而，基于这些场景构建了涵盖模态、复杂度与操作类型三个正交维度的系统性分类体系，并确立了基于量规的评价范式。在数据收集环节，标注员从在线视频中人工检索并裁剪音频，为每个实例撰写指令并标注元数据，并采用动态平衡策略确保分类覆盖的均匀性。随后，通过人机协作进行量规标注：利用自动化管线生成初始量规草案，再由人工进行增删与精炼，最后经语言模型进行标准化处理。整个流程以严格的质量审查收尾，每位独立审查员对数据项进行盲审，不合格者经迭代修改直至达标，最终确保了2,000个高质量样本与17,741条精细量规的可靠性。

特点

MMAE作为首个面向通用指令音频编辑的综合性评测基准，其核心特点在于前所未有的广度与深度。基准覆盖了声音、语音、音乐及其混合的7种音频模态，系统性地设计了从单一操作到多跳推理与多轮编辑的6级任务复杂度层次，并区分局部与全局2种编辑粒度，涵盖了添加、移除、替换、提取、改变等8种操作类型。尤为突出的是，MMAE开创性地引入了基于量规的细粒度评价框架，将每个自由形式的编辑任务分解为平均8.87条客观、可验证的准则，分别衡量指令遵循与内容一致性两大核心维度。该设计不仅实现了对编辑正确性与生成质量的多维、精确诊断，还通过原子性、正交性与客观性等原则，避免了传统单一指标的模糊性，为模型能力提供了前所未有的解释力。

使用方法

MMAE的评估过程采用一套标准化流程。评测者首先根据基准提供的音频与开放式自然语言指令，利用待测编辑模型生成编辑后的音频输出。随后，调用一个外部高性能音频语言模型（如Qwen3-Omni）作为评判器，针对每个样本预先定义好的多条量规（每一条均为选择题）进行独立评估。评判器在接收相关音频片段与问题后，需先进行明确的感知与推理，再从选项中选择答案。为提升稳定性，每条量规会被查询三次，并采用多数投票法决定最终得分（1或0）。通过按维度平均得到指令遵循率与一致性率，同时定义精确匹配率——即所有量规均回答正确的样本比例——作为衡量完美编辑能力的严格指标。这种设置使得MMAE既能从平均维度诊断模型水平，又能敏锐捕捉其实现完美编辑的可靠性瓶颈。

背景与挑战

背景概述

MMAE（Massive Multitask Audio Editing benchmark）是由上海交通大学、南洋理工大学、腾讯混元团队等多家顶尖机构于2026年联合推出的首个面向通用指令式音频编辑的综合评估基准。随着智能创作领域从图像、视频编辑向音频交互编辑的迅猛扩展，当前评估基础设施却高度碎片化，局限于特定子域或基础操作。MMAE应运而生，旨在填补这一关键空白。该基准构建了涵盖7种音频模态（包括声音、语音、音乐及其混合）的系统化分类体系，并设计了从基础修改到多跳推理与多轮编辑的6级任务复杂度与2级粒度。通过人机协作精心筛选2000个高保真样本，并首创基于评估量规的框架，将自由形式任务分解为17741个可验证标准，实现了指令遵循与上下文一致性的精准多维评估，为下一代音频编辑系统树立了标准化的诊断蓝图。

当前挑战

当前音频编辑领域面临双重挑战。在领域问题层面，现有系统在复杂音频编辑任务中表现堪忧：精确匹配率（EMR）普遍低于5%，在混合模态的复杂任务中甚至跌至0%，暴露出模型在精准执行与结构鲁棒性上的关键瓶颈——它们难以平衡精确指令执行与无关声学上下文的严格保留，且随任务复杂度与跨域同步需求增加而严重失效。在基准构建过程中，挑战同样严峻：需要设计正交化的任务分类体系以覆盖真实场景的广度与深度，确保评估标准兼顾完整性、原子性、正交性与客观性；数据收集需动态平衡各维度的分布，并克服海量音频搜索、修剪与精准标注的重重困难；最终通过多层精细管控与跨审机制，才得以产出高质量、多样化的2000个样本及逾17000条精细评估量规。

常用场景

经典使用场景

在智能音频编辑领域，MMAE作为首个面向通用指令驱动音频编辑的综合性评估基准，其经典使用场景涵盖了对模型在复杂、多模态音频环境中执行多样化编辑指令的能力测验。该数据集精心设计了跨越七种音频模态的系统分类法，包括纯声音、语音、音乐及其混合形态，并融合了六层任务复杂度、两种编辑粒度与八种操作类型，能够全面检验模型从基础修改到多跳推理、多轮迭代编辑的综合表现。研究者常借助MMAE对最新音频编辑系统进行标准化评估，通过其独创的基于评分细则的评估框架，精确衡量模型在指令遵循与内容一致性两大维度上的表现，从而诊断系统在精准执行与结构鲁棒性方面的深层次瓶颈。

实际应用

在实际应用中，MMAE所定义的编辑场景紧密贴合智能音频创作与内容生产的真实需求，涵盖从个性化语音内容修改、背景音乐替换、音效增删、到说话人音色迁移等多重实用功能。该数据集能够有效指导面向普通用户的智能音频编辑工具开发，例如帮助内容创作者快速将视频中的环境音效替换为指定风格、在播客制作中精准去除背景噪声并保留语音内容、或在音乐创作中按语义指令调整乐器音色与人声参数。此外，MMAE的评估框架可直接迁移至智能语音助手、有声书制作、在线教育及虚拟主播等产业场景，为这些领域的系统可靠性诊断与性能优化提供标准化的测试基准，推动下一代人机交互式音频编辑技术的落地与迭代。

衍生相关工作

MMAE的发布催生了多项围绕智能音频编辑系统评估与改进的衍生工作。其系统化的分类法与基于评分细则的评估范式已被后续研究采纳为标准化评测工具，例如在Step-Audio-EditX、Ming-UniAudio、MMEdit、Audio-Omni及SmartDJ等前沿模型的性能诊断中，研究者直接采用MMAE的指标体系来定位模型在指令执行与上下文保持方面的短板。此外，该数据集推动了对智能体引导编辑策略的深入探究，如SmartDJ结合外部规划器的实验结果揭示了高层符号规划器在理解阶段与生成阶段的瓶颈，进而催生了关于提升基础模型原子编辑保真度与跨模态同步鲁棒性的后续研究。MMAE还促进了面向混合模态、多轮推理与多指令组合场景的新型编辑架构探索，为统一语音理解、生成与编辑的端到端系统提供了关键的诊断性指导与演进蓝图。