AISHELL-4

AISHELL-4是由西北工业大学等机构合作创建的大型普通话语音数据集，专为会议场景设计。该数据集包含211个会议记录，总时长120小时，涵盖4至8名发言者，具有真实的声学特性和丰富的自然对话特征。数据集创建过程中，通过8通道圆形麦克风阵列收集，确保了高质量的语音记录和准确的转录。AISHELL-4主要用于推动多发言人语音处理的研究，包括语音前端处理、语音识别和发言人分割等，旨在解决实际会议场景中的语音技术挑战。

AISHELL-4 is a large-scale Mandarin speech dataset jointly created by Northwestern Polytechnical University and other institutions, specifically designed for conference scenarios. The dataset contains 211 meeting recordings with a total duration of 120 hours, involving 4 to 8 speakers, and features realistic acoustic properties and rich natural conversation characteristics. During the dataset construction, the recordings were collected using an 8-channel circular microphone array, ensuring high-quality speech records and accurate transcriptions. AISHELL-4 is primarily used to advance research on multi-speaker speech processing, including speech front-end processing, speech recognition and speaker diarization, aiming to address speech technology challenges in real-world conference scenarios.

搜集汇总

数据集介绍

构建方式

AISHELL-4数据集构建于真实的会议场景之中，旨在弥补多说话人语音处理领域与实际应用之间的鸿沟。该数据集通过8通道环形麦克风阵列，在10个不同尺寸与材质的会议室中采集了211场会议录音，总计120小时。每场会议包含4至8名参与者，他们围绕麦克风阵列进行自然对话，麦克风与说话人距离从0.6米至6.0米不等。为获取精准标注，研究人员首先利用头戴麦克风记录近场信号，并与阵列第一通道对齐，随后通过自动语音识别辅助人工转写，最终由三名专业标注员逐场复核，确保文本、说话人活动及时间戳的准确性。所有标注结果以TextGrid格式存储，包含说话人信息、片段起止时间、转写文本及非语音事件标记。

使用方法

AISHELL-4数据集的使用方法灵活多样，可支持多项语音处理任务的独立或联合研究。研究者可直接利用其8通道多麦克风阵列信号进行语音增强与分离实验，或结合说话人活动标注进行说话人日志化与识别。对于自动语音识别，数据集提供了非重叠部分的纯净语音片段用于模型训练。为促进可复现研究，团队还发布了基于PyTorch的基线系统，该系统集成了说话人日志化（基于Kaldi的SAD与ResNet嵌入提取）、语音前端处理（含LSTM掩码估计与MVDR波束成形）以及Transformer端到端语音识别模块。研究者可参照基线流程，从会议录音中依次提取说话人归属、分离重叠语音并生成带说话人标签的转写文本，从而系统评估各模块性能。

背景与挑战

背景概述

会议场景下的语音处理是当前研究的前沿方向，涉及语音增强、分离、识别与说话人日志等多重任务的协同优化。然而，真实会议中存在的语音重叠、快速话轮转换、环境噪声及非语法化表达等复杂声学特性，使得该领域面临数据稀缺与标注成本高昂的双重困境。为弥合先进算法与实际应用之间的鸿沟，西北工业大学联合微软、北京希尔贝壳科技有限公司及中国科学技术大学等机构，于2021年发布了AISHELL-4数据集。该数据集包含120小时的真实会议录音，采用8通道圆形麦克风阵列采集，涵盖211场4至8人参与的讨论，并提供精确的转写文本与说话人活动标注。作为首个面向会议场景的开源中文多说话人数据集，AISHELL-4填补了语种多样性的空白，为多模态建模与联合优化研究提供了关键支撑。

当前挑战

AISHELL-4所应对的核心挑战在于真实会议场景中多说话人语音的复杂交织与声学退化。具体而言，会议录音中平均重叠率高达19.04%，且存在大量非平稳噪声（如键盘敲击、门声、风扇声），这使得传统基于单通道或合成数据的语音分离与识别方法难以泛化。构建过程中，为获取高质量标注，研究团队需对头戴麦克风与阵列信号进行对齐，并依赖专业标注员多次回听以精准切分重叠区域，同时利用Praat工具进行二次校准，每场会议平均由三名标注员协作完成。此外，数据集的多样性设计——涵盖三种会议室类型、不同混响时间（RT60 0.2-0.8秒）、麦克风-说话人距离0.6-6.0米以及从0%到40%以上的重叠率分布——进一步增加了采集与标注的工程复杂度。基线实验表明，即便经过前端处理，说话人相关任务的字符错误率仍高达39.86%，凸显了真实场景下多模块联合优化的严峻挑战。

常用场景

经典使用场景

AISHELL-4数据集专为会议场景下的多说话人语音处理任务而设计，其核心应用场景涵盖语音增强、语音分离、自动语音识别与说话人日志化。该数据集通过8通道环形麦克风阵列采集真实会议中的多说话人对话，包含丰富的自然语音特征，如短暂停顿、语音重叠、快速说话人切换及环境噪声。研究者可基于该数据集开展从语音前端处理到端到端会议转录的全链路研究，尤其适用于评估和优化多说话人场景下的语音分离与识别系统。

解决学术问题

该数据集有效填补了中文会议语音领域高质量开源数据的空白，解决了现有数据集多为英文合成数据、缺乏真实会议声学特性的问题。AISHELL-4提供了精确的转录文本与说话人语音活动标注，使研究者能够深入探索语音前端处理、说话人日志化、自动语音识别等任务的联合优化。其真实录音环境与丰富的重叠比例分布，促进了多说话人语音处理从实验室理想条件向实际应用场景的迁移研究，显著推动了会议转录系统的学术进展。

实际应用

在实际应用中，AISHELL-4直接服务于智能会议系统的开发与部署。基于该数据集训练的模型可用于自动化会议纪要生成、实时说话人身份识别与语音转写，提升企业办公与协作效率。会议记录系统可借助该数据集的真实多通道录音，优化在嘈杂、多说话人重叠环境下的语音增强与分离性能，从而支持远程会议、法庭记录、课堂互动等场景的精准语音分析。此外，其基线系统为工业界提供了可复现的评估基准，加速了技术落地。

数据集最近研究

最新研究方向

AISHELL-4作为首个大规模真实录制的中文会议场景多说话人语音数据集，正推动语音处理领域向复杂会议场景下的联合建模与端到端优化迈进。当前前沿研究方向聚焦于多模态融合与任务协同优化，例如将声学前端处理、说话人日志与语音识别模块进行联合训练，以应对真实会议中高重叠率、快速话者切换及环境噪声等挑战。该数据集的发布填补了中文会议语音资源的空白，为跨语言会议转录系统的泛化研究提供了关键支撑，其120小时8通道环形麦克风阵列录音与精细标注，显著促进了可复现研究与工业级应用之间的桥梁搭建，尤其在国际热点如CHiME挑战和LibriCSS基准中，为多说话人场景下的鲁棒性评估树立了新标杆。

相关研究论文

• AISHELL-4: An Open Source Dataset for Speech Enhancement, Separation, Recognition and Speaker Diarization in Conference Scenario

  西北工业大学 · 2021年