ABCS Corpus

这是一个用于端到端多模态语音识别的空气和骨传导语音语料库，用于TASLP 2023。

This is an air and bone conduction speech corpus designed for end-to-end multimodal speech recognition, intended for use in TASLP 2023.

原始信息汇总

数据集名称

ABCS Corpus

数据集下载

• 主数据集下载链接：ABCS Corpus
• 噪声空气传导数据下载链接：
  • Onedrive
  • Baidu Cloud

数据准备

• 解压噪声数据命令：

  unzip -d <ABCS dir>/Audio/ ns_air_data.zip

• 数据准备脚本：

  • 仅推理：

    python3 data_prep --dataset_root <ABCS dir> --test

  • 完整实验：

    python3 data_prep --dataset_root <ABCS dir>

推理

• 模型参数文件下载链接：

  • Onedrive
  • Baidu Cloud

• 推理命令：

  bash test.sh

结果（字错率 %）

	SNR=-5dB	SNR=0dB	SNR=5dB	SNR=10dB	SNR=15dB	SNR=20dB	Clean
The proposed MMT	17.5	14.9	11.8	9.4	7.9	7.1	6.7

搜集汇总

数据集介绍

构建方式

ABCS Corpus数据集的构建基于多模态语音识别的需求，涵盖了空气传导和骨传导语音数据。该数据集通过采集不同信噪比（SNR）条件下的语音样本，确保了数据的多维度特性。具体而言，数据集包括了不同SNR下的空气传导语音数据（ns_air_data.zip），并通过特定的数据准备脚本进行处理，以支持端到端的多模态语音识别任务。

特点

ABCS Corpus数据集的显著特点在于其多模态特性，结合了空气传导和骨传导语音数据，能够有效应对复杂环境下的语音识别挑战。此外，数据集提供了不同信噪比条件下的语音样本，使得研究者能够在不同噪声环境下评估和优化语音识别模型。数据集的多样性和丰富性为多模态语音处理领域的研究提供了坚实的基础。

使用方法

使用ABCS Corpus数据集时，用户需先下载数据集并解压缩至指定目录。随后，通过执行数据准备脚本，用户可以选择仅进行推理或进行完整的实验。推理阶段，用户需确保已正确安装kaldi和ESPnet，并调整相关配置文件。最后，通过运行测试脚本，用户可以评估模型在不同信噪比条件下的性能。

背景与挑战

背景概述

ABCS Corpus（Air and Bone Conducted Speech Corpus）是由Wang Mou、Chen Junqi、Zhang Xiao-Lei和Rahardja Susanto等研究人员于2023年创建的多模态语音识别数据集，旨在推动语音识别技术在空气传导和骨传导语音处理领域的应用。该数据集的核心研究问题是如何在多模态环境下实现端到端的语音识别，特别是在低信噪比（SNR）条件下。通过结合空气传导和骨传导语音数据，ABCS Corpus为研究者提供了一个独特的平台，以探索多模态语音处理的前沿技术，并对语音识别领域的研究产生了深远影响。

当前挑战

ABCS Corpus在构建过程中面临了多重挑战。首先，数据集的构建需要处理空气传导和骨传导语音的同步问题，确保两种模态数据的时序一致性。其次，低信噪比环境下的语音识别是一个重大挑战，尤其是在SNR为-5dB到5dB的极端条件下，如何有效提取和融合多模态特征以提高识别准确率是一个关键问题。此外，数据集的扩展性和多样性也是一个挑战，如何在保证数据质量的同时，涵盖更多语音场景和多样化的语音特征，以提升模型的泛化能力。

常用场景

经典使用场景

ABCS Corpus数据集在多模态语音识别领域中展现了其经典应用场景。该数据集通过整合空气传导和骨传导语音数据，为研究者提供了一个全面的语音信号处理平台。其主要应用场景包括但不限于：多模态语音识别系统的开发与优化、噪声环境下的语音识别性能评估、以及语音信号的增强与降噪技术的研究。通过利用该数据集，研究者能够深入探索不同传导方式对语音识别精度的影响，从而推动语音识别技术在复杂环境中的应用。

解决学术问题

ABCS Corpus数据集在学术研究中解决了多模态语音识别的关键问题。传统的语音识别系统通常依赖于单一的语音输入方式，而该数据集通过提供空气传导和骨传导两种语音数据，使得研究者能够探索多模态融合对语音识别性能的提升。此外，该数据集还解决了噪声环境下语音识别的难题，通过不同信噪比（SNR）条件下的数据，研究者可以评估和优化语音识别系统在复杂环境中的鲁棒性。这一研究不仅推动了语音识别技术的发展，还为相关领域的研究提供了宝贵的实验数据。

衍生相关工作

ABCS Corpus数据集的发布催生了一系列相关的经典研究工作。研究者们基于该数据集开发了多种多模态语音识别模型，这些模型在不同噪声环境下的表现得到了显著提升。此外，该数据集还激发了对语音信号处理技术的深入研究，包括语音增强、噪声抑制和语音特征提取等方面。在学术界，ABCS Corpus数据集成为了多模态语音识别研究的标准数据集之一，推动了该领域的快速发展。这些衍生工作不仅丰富了语音识别技术的理论基础，还为实际应用提供了强有力的技术支持。