KWS, AudioSet Temporally-Strong Labels, Drums

该论文研究了对音频分类模型进行时序定位解释的方法，并提出了一个评估这些解释方法的基准。数据集包括从Librispeech数据集中提取的KWS数据集，用于检测单词"little"；AudioSet Temporally-Strong Labels数据集，包含人类标注的语音、音乐和狗吠等事件；以及由鼓声生成的合成数据集，用于检测鼓点。这些数据集均可在论文的网站上访问。

搜集汇总

数据集介绍

构建方式

该数据集通过从Librispeech数据集中提取样本构建，专注于检测关键词“little”的出现。构建过程中，采用了深度神经网络模型，结合wav2vec 2.0基础特征提取，通过加权平均和均值池化处理时间序列数据，最终通过多层感知机预测目标词的出现概率。时间标注通过Montreal Forced Aligner工具获得，确保了时间定位的精确性。

特点

KWS数据集的特点在于其专注于单一关键词的检测，且时间标注精确，为模型解释性研究提供了可靠的基础。该数据集通过合成和真实音频样本的结合，涵盖了多样化的语音环境和背景噪声，增强了模型的泛化能力。此外，其构建方法确保了时间局部化解释的可行性，为音频分类模型的解释性研究提供了重要支持。

使用方法

该数据集主要用于评估音频分类模型的解释性方法。研究人员可以通过生成扰动样本并训练替代模型，分析时间局部化解释的效果。具体步骤包括：生成扰动音频样本，运行黑盒模型获取预测分数，训练替代模型以估计各时间段的重要性。最终通过ROC曲线下面积（AUC）评估解释质量，适用于关键词检测和时间局部化解释的优化研究。

背景与挑战

背景概述

KWS, AudioSet Temporally-Strong Labels, Drums数据集由阿根廷布宜诺斯艾利斯大学计算机科学系的研究团队于2025年创建，旨在为音频分类模型提供时间局部化解释的基准测试。该数据集通过事件检测和计数任务，利用已知事件位置作为解释的代理真实标签，解决了音频模型可解释性评估中缺乏真实解释基准的难题。其创新性地将时间注释转化为解释质量评估标准，为音频可解释性研究提供了重要工具，尤其对语音关键词检测、音乐事件识别等时序敏感任务具有显著影响。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，音频事件的时间边界模糊性导致解释模型难以精确匹配人类标注的关键区域，尤其当音频能量分布不均时（如鼓声样本的衰减部分）；在构建过程中，需平衡扰动策略的多样性（如掩码窗口大小、噪声类型）与计算效率，同时要解决代理模型（如随机森林与线性回归）对时序交互特征建模能力的差异问题。此外，评估指标Faithfulness与真实解释质量的相关性不足，也暴露出当前可解释性度量体系的局限性。

常用场景

经典使用场景

在音频信号处理领域，KWS、AudioSet Temporally-Strong Labels和Drums数据集被广泛用于评估时间局部化解释方法的性能。这些数据集通过提供精确的时间标注，为解释音频分类模型的决策过程提供了可靠的基准。特别是在关键词检测、声音事件识别和鼓声分类等任务中，这些数据集能够帮助研究人员验证解释方法的准确性和鲁棒性。

解决学术问题

这些数据集解决了音频分类模型解释性研究中的关键问题，即缺乏可靠的地面真实解释。通过提供时间标注的事件位置，研究人员可以评估解释方法是否准确地识别了模型决策所依赖的音频片段。这不仅提高了模型的可信度，还为揭示潜在的虚假相关性提供了有力工具。

衍生相关工作

基于这些数据集，研究人员开发了多种解释方法，如SLIME、AudioLIME和TimeSHAP。这些方法通过扰动输入信号并分析模型输出的变化，生成时间局部化的解释。此外，这些数据集还催生了多项关于虚假相关性检测的研究，如Clever-Hans效应的识别和纠正，进一步推动了音频解释性研究的发展。