AudioSetMix

AudioSetMix是一个高质量的音频-文本数据集，由普林斯顿大学创建。该数据集通过将音频变换应用于AudioSet的剪辑，并结合大型语言模型（LLM）生成的自然语言描述，形成了音频与文本的配对。数据集包含49,971对音频-文本数据，支持多种音频变换，如速度、音高、音量和持续时间，以及混合和串联变换。这些变换使得数据集能够支持文本引导的音频编辑研究，并提供原始和编辑后的音频数据。AudioSetMix数据集的应用领域包括文本到音频的检索和模型对音频事件修饰符的理解，旨在解决现有音频-语言数据集中修饰符（如形容词和副词）缺失的问题。AudioSetMix is a high-quality audio-text dataset created by Princeton University. This dataset generates audio-text pairs by applying audio transformations to AudioSet clips and combining them with natural language descriptions generated by Large Language Models (LLMs). It contains 49,971 audio-text pairs, supporting a variety of audio transformations including speed, pitch, volume, duration, mixing and concatenation operations. These transformations enable the dataset to support text-guided audio editing research, providing both original and edited audio data. The application fields of AudioSetMix include text-to-audio retrieval and model comprehension of audio event modifiers, aiming to solve the problem of missing modifiers such as adjectives and adverbs in existing audio-language datasets.

搜集汇总

数据集介绍

构建方式

在音频-语言多模态学习领域，现有数据集普遍面临规模有限与标注质量不足的困境。为突破这一瓶颈，AudioSetMix数据集应运而生，其构建过程融合了音频信号处理与大语言模型的智能生成能力。具体而言，研究团队以Temporally-Strong AudioSet（TS-AudioSet）为原始数据源，首先通过时长过滤与类别过滤剔除低质量样本。随后，对音频片段施加音量、音高、速度与时长四类单片段变换，以及拼接与混合两类多片段组合操作，随机生成多样化的增强音频。在此基础上，利用GPT-3.5大语言模型，依据包含原始标签、变换关键词与时间顺序信息的JSON格式查询，为每个增强音频生成自然语言描述。最终，经过词数阈值筛选与人工抽检，形成包含约五万对高质量音频-文本对的数据集。

特点

AudioSetMix数据集的核心特色在于其系统性地引入了音频事件修饰词（如响度、音高、速度、时长等形容词与副词），填补了现有音频-语言数据集在修饰语义层面的空白。相较于AudioCaps、Clotho等人类标注数据集，AudioSetMix的每条描述平均长度更长（20.04词），且通过GPT-2评估的困惑度更低（286.46），表明其文本质量与自然度更优。此外，数据生成管线天然支持硬负样本的构造：通过对同一音频事件施加相反的变换操作（如将“响亮”反转为“安静”），可生成仅修饰词不同的对抗性样本，有效提升模型对细微语义差异的判别能力。该数据集还提供了原始音频与编辑后音频的配对，为文本引导的音频编辑研究奠定了数据基础。

使用方法

AudioSetMix可直接用于文本到音频检索（Text-to-Audio Retrieval）任务的监督训练与微调。使用时，研究人员可将其与AudioCaps、Clotho等基础数据集合并，构建更大规模的训练集（如本文中合并后达13.2万对）。模型架构常采用双编码器结构，以ResNet38作为音频编码器，BERT或RoBERTa作为文本编码器，通过InfoNCE对比损失函数进行优化。为充分发挥数据集优势，建议在训练过程中引入硬负样本挖掘机制：从每个小批量中随机选取部分AudioSetMix样本，生成其修饰词反转的对抗性版本，并加入损失计算，从而强制模型关注修饰语义。评估时，除标准Recall@K指标外，可使用修饰词理解测试（MUT）与修饰词区分测试（MDT）专项衡量模型对音量、音高、速度、时长等修饰属性的感知能力。

背景与挑战

背景概述

在音频-语言多模态学习领域，数据集的规模与质量始终是制约模型性能提升的关键瓶颈。相较于视觉-语言任务中拥有MSCOCO等大规模高质量数据集，音频-语言任务长期受限于数据匮乏与标注成本高昂的困境。为此，普林斯顿大学David Xu等人于2024年提出了AudioSetMix数据集，旨在通过结合大语言模型与音频信号处理技术，系统性生成高质量的音频-描述配对数据。该数据集基于TS-AudioSet中的时间强标签音频片段，通过音量、音调、速度、时长等单片段变换以及混合、拼接等多片段组合操作，并借助GPT-3.5生成与变换后音频对齐的自然语言描述，最终形成包含近5万对音频-描述样本的语料库。AudioSetMix不仅填补了现有数据集在修饰词（如形容词与副词）描述上的空白，还通过引入难负样本挖掘技术，显著提升了模型在文本到音频检索等下游任务中的表现，为音频-语言多模态研究提供了新的数据基础。

当前挑战

AudioSetMix所应对的核心领域挑战在于音频-语言数据集的规模不足与描述质量低下。现有数据集如AudioCaps、Clotho等规模有限，且人工标注需完整聆听音频片段，成本高昂；同时，传统模板化描述缺乏多样性，难以表达音频事件中的修饰属性（如音量大小、速度快慢）。构建过程中面临的挑战包括：首先，原始AudioSet标签为弱标签，存在背景噪声干扰导致标签与音频内容不匹配的问题，需采用TS-AudioSet的时间强标签进行过滤；其次，音频变换操作需保证语义合理性，例如对“树倒下”应用高音调变换可能缺乏实际意义；此外，大语言模型生成的描述需与音频变换精准对齐，避免产生不合理的语义偏差；最后，难负样本的生成需在保持音频事件相同的前提下反转修饰属性，这对数据管线的设计提出了精细化的要求。

常用场景

经典使用场景

在音频-语言多模态学习领域，AudioSetMix数据集被广泛用于训练和评估文本到音频检索模型。该数据集通过对TS-AudioSet中的音频片段施加多种变换（如音量、音高、速度、时长调整以及混合与拼接），并借助大语言模型生成与之对齐的自然语言描述，从而提供了丰富且多样化的音频-文本对。研究者通常利用该数据集在DCASE挑战等基准任务上训练双编码器架构，通过对比学习优化音频与文本的联合嵌入空间，显著提升了模型在复杂场景下的检索精度。

实际应用

在实际应用中，AudioSetMix推动了一系列音频-语言交互技术的落地。基于该数据集训练的模型可应用于智能语音助手，使其能够根据用户描述（如“播放一段响亮而急促的汽车鸣笛声”）精准检索或生成对应音频。此外，该数据集还支持文本引导的音频编辑任务，如调整音频片段的音量、速度或混合不同声音，为多媒体内容创作、虚拟现实场景音效设计以及辅助听觉障碍人士的音频描述系统提供了关键技术支撑。

衍生相关工作

AudioSetMix的提出催生了多项后续研究工作。其数据生成范式启发了WavCaps等采用LLM辅助构建音频-文本数据集的工作，推动了弱监督学习在音频领域的应用。此外，研究者基于该数据集提出的难负样本挖掘方法，被后续工作借鉴以改进对比学习中的细粒度对齐。在模型架构方面，AudioSetMix促进了面向音频修饰词理解的专门评测基准（如MUT与MDT）的建立，并推动了双编码器与扩散模型在文本到音频生成任务中的融合探索。