ByteDance/Attention2Probability

Attention2Probability（A2P）是一个用于语音术语的轻量级干预方案。其核心方法是通过使用交叉注意力机制检索音频中可能出现的术语，并将这些术语添加到llm的提示中，以完成术语干预。该数据集不提供LibriSpeech和aishell2的音频数据，训练数据以JSON格式存储。Attention2Probability (A2P) is a lightweight intervention scheme for speech terminology. The core approach is to use the cross-attention mechanism to retrieve the terms that may appear in the audio and add these terms to the prompt of the llm to complete the term intervention. The dataset does not provide audio data for LibriSpeech and aishell2, and the training data is stored in JSON format.

搜集汇总

数据集介绍

构建方式

Attention2Probability（A2P）数据集旨在为语音到文本系统中的术语干预提供支持，其构建基于交叉注意力机制。数据集的训练数据以JSON格式提供，位于data_json文件夹中，用户需在使用前调整前缀路径以匹配本地音频文件位置。对于英文任务，首先利用LibriSpeech数据集进行预训练，随后通过修改数据集配置进行第二阶段训练。中文任务则直接使用Aishell-2数据集训练检索器，因为单独检索单个字符缺乏实际意义。最终，两种语言的模型均在真实世界数据上进行微调，以提升泛化能力。

特点

该数据集的核心特点在于其轻量级的干预方案，通过交叉注意力机制从音频中检索可能出现的术语，并将其注入大语言模型的提示中，从而实现术语干预。它涵盖了中英文双语任务，包括翻译和自动语音识别，数据规模在10万到100万条之间。数据集本身不提供原始音频，而是聚焦于术语概率估计的元信息，使得模型能够更鲁棒地处理语音中的专业词汇和罕见词汇，显著提升语音转写系统的准确性。

使用方法

使用该数据集时，用户需从外部来源下载LibriSpeech或Aishell-2的音频数据，并修改data_json文件夹中配置文件的路径参数。对于英文模型，推荐分两阶段训练：先预训练再微调；中文模型则可直接训练检索器。训练过程中，数据集的JSON格式提供了术语与音频的关联信息，用户可基于交叉注意力机制构建提示，将检索到的术语注入到大语言模型中。具体实现细节可参考配套的论文和模型仓库，以复现实验或进行定制化开发。

背景与挑战

背景概述

在语音识别领域，术语的准确转写始终是一项严峻挑战，尤其是面对专有名词、生僻词汇或领域特定术语时，传统端到端模型往往因缺乏外部知识支撑而产生错误。针对这一痛点，字节跳动研究团队于2025年提出了Attention2Probability（A2P）框架，由杜彦凡、张军等研究人员共同开发，其核心思想在于利用交叉注意力机制从音频中检索可能出现的术语，并将其注入大语言模型的提示中，从而实现精准的术语干预。该工作发表于arXiv，并同步开源了配套数据集与模型。A2P不仅为鲁棒语音转文本系统提供了轻量级且高效的解决方案，更推动了音频-文本跨模态对齐研究的发展，对提升语音识别在真实场景中的可靠性具有里程碑式的意义。

当前挑战

A2P所面对的核心挑战在于如何从复杂音频信号中准确估计术语出现的概率，并有效利用这些概率指导后续的术语干预过程。在领域层面，语音识别系统长期受困于术语召回率低的问题，尤其是当术语在训练数据中稀疏或出现领域迁移时，模型极易产生替代性错误。在数据集构建过程中，挑战尤为突出：其一，需要设计能够捕捉术语与音频片段间细粒度关联的注意力机制，同时保证推理效率；其二，中文场景下单独检索单字符缺乏实际意义，必须构建基于词的检索策略；其三，项目仅提供标注数据而不含原始音频，要求使用者自行下载LibriSpeech和Aishell-2并调整路径，增加了复现门槛。此外，如何平衡术语检索的精确度与计算开销，也是训练阶段需持续优化的难题。

常用场景

经典使用场景

在语音识别与自然语言处理的交叉领域中，术语准确性是衡量系统鲁棒性的关键指标。Attention2Probability（A2P）数据集专为探索跨注意力机制在术语概率估计中的潜力而设计，其经典使用场景聚焦于通过注意力驱动的轻量级干预方案，提升端到端语音转文本系统对特定领域术语的识别能力。研究者可基于该数据集，利用交叉注意力从音频中检索可能出现的术语，并将其融入大型语言模型的提示中，从而在不增加模型复杂度的前提下实现术语级纠错与增强。

解决学术问题

该数据集系统性地解决了语音识别中术语混淆与低频词识别困难的学术难题。传统方法依赖外部语言模型或后处理规则进行术语修正，而A2P通过注意力概率估计直接建模术语与音频片段的关联，为术语干预提供了可解释的概率框架。其意义在于揭示了跨注意力机制不仅服务于序列对齐，更能作为术语置信度评估的桥梁，推动了鲁棒语音转文本系统从黑盒优化向可解释干预的范式转变，为低资源术语场景下的研究奠定了数据基础。

衍生相关工作

A2P数据集的发布催生了一系列衍生工作，包括基于对比学习的术语表征优化、多模态注意力对齐的跨语言术语迁移，以及注意力权重与术语概率的联合蒸馏方法。后续研究进一步探索了将A2P框架与端到端语音识别模型（如Whisper、Conformer）融合的路径，并衍生出面向动态术语库的在线干预策略。这些工作共同拓展了注意力机制在语音术语处理中的理论边界，形成了从概率估计到干预决策的完整研究链条。