AT-DIFFER

AT-DIFFER是由东京大学与日本产业技术综合研究所构建的开源音频–文本差异描述数据集，旨在刻画音频与文本语义不一致的具体表现。它包含音频–文本对及差异描述文本，覆盖单一、同时与顺序音频结构，以及语义差异、文本遗漏、声音遗漏、顺序倒置和同时性差异等类型，共197280条，并按FSD50K划分训练、验证与测试集。数据构建以FSD50K-Solo单事件片段为源音频，随机组合有效音频结构与差异类型，依据模板替换声音事件标签生成样本。该数据集用于微调与评测多模态大语言模型，服务于文本到音频生成、音频描述和音频检索中的语义对齐评估与可解释分析。