CleanSky EC-H2020 ATCO2

CleanSky EC-H2020 ATCO2数据集由Idiap研究所创建，旨在解决航空交通控制（ATC）环境中语音通信的自动化问题。该数据集包含超过176小时的ATC语音数据，来源于多个国家和机场，涵盖多种口音和词汇变体。数据集的创建过程涉及从公开可访问的无线电频率频道收集数据，并进行自动预处理。该数据集主要用于训练和评估ASR系统，以提高其在ATC环境中的性能，特别是在处理非英语口音和环境噪音方面的能力。

The CleanSky EC-H2020 ATCO2 dataset was created by the Idiap Research Institute, aiming to address the automation of voice communications in air traffic control (ATC) environments. This dataset contains over 176 hours of ATC speech data sourced from multiple countries and airports, covering a wide range of accents and lexical variants. The dataset creation process involves collecting data from publicly accessible radio frequency channels and performing automated preprocessing. It is primarily employed for training and evaluating automatic speech recognition (ASR) systems to improve their performance in ATC environments, especially their ability to handle non-English accents and ambient environmental noise.

搜集汇总

数据集介绍

构建方式

CleanSky EC-H2020 ATCO2数据集的构建依托于欧洲清洁天空联合计划，旨在解决空中交通管制（ATC）领域语音数据稀缺的难题。该数据集整合了六个与ATC指令高度相关的子数据库，涵盖MALORCA、LDC ATCC、HIWIRE、ATCOSIM、UWB ATCC和AIRBUS，总计超过170小时的语音数据。这些数据来源于不同国家和地区的管制员与飞行员通信录音，包括德语、法语、捷克语、美式英语等多种口音。构建过程中，研究团队对原始录音进行了静音去除、语音活动检测和人工转写，并采用半监督学习方法提升标注效率。最终，数据集被划分为三个训练集（Train1、Train2及两者合并的Tr1+Tr2）和四个测试集（Vienna、Prague、Airbus、Atcosim），以评估不同数据规模和口音对自动语音识别（ASR）模型性能的影响。

特点

该数据集的核心特点在于其跨口音、跨机场的多样性，真实反映了全球ATC通信中的口音变异性和词汇差异。数据集不仅包含标准的ICAO短语，还涵盖了非英语母语者的独特发音、环境噪声和指令性术语，如航站楼名称、航路点等。与现有单一来源的ATC语料库相比，CleanSky EC-H2020 ATCO2通过融合多个子库，显著提升了数据的覆盖范围和鲁棒性。实验中，基于该数据集训练的TDNNF和CNN+TDNNF模型在四个测试集上实现了平均7.75%的词错误率（WER），特别是在Atcosim测试集上达到5.0%的WER，展现了跨口音训练的优越性。此外，字节对编码（BPE）技术的引入有效降低了未登录词（OOV）的删除错误，尤其在Prague测试集上相对改善达37.9%。

使用方法

该数据集适用于训练和评估面向ATC场景的端到端ASR系统。用户可依据论文中的划分方案，使用Train1（38.7小时）、Train2（137.7小时）或Tr1+Tr2（176.4小时）作为训练数据，并搭配Librispeech或Commonvoice等通用语料库进行迁移学习。模型架构推荐采用Kaldi工具链中的TDNNF或CNN+TDNNF，结合LF-MMI训练准则和i-vector特征。对于词汇处理，建议构建基于Phonetisaurus的G2P词表，并试验BPE子词单元（如2000次合并）以应对OOV问题。语言模型方面，可训练三至六元N-gram模型进行解码和重评分。测试时，需使用Vienna、Prague等特定测试集评估模型对多口音和指令的泛化能力，并通过WER指标对比不同训练策略的性能。

背景与挑战

背景概述

空中交通管制（ATC）领域长期依赖语音通信作为飞行员与管制员之间的核心交互方式，然而，由于非英语母语者的口音多样性、驾驶舱噪声、说话者个体偏差以及领域内标注数据的稀缺，自动语音识别（ASR）技术在ATC环境中的应用面临严峻挑战。CleanSky EC-H2020 ATCO2数据集由Idiap研究所、瑞士洛桑联邦理工学院、北京理工大学和布尔诺理工大学等机构的研究人员于2020年创建，旨在构建一个基于ASR的平台，用于收集、整理和自动预处理空中交通管制语音数据。该数据集整合了超过170小时的管制相关语音数据，涵盖六个不同来源的语料库，核心研究问题在于评估基于深度神经网络的ASR模型在跨口音、跨机场场景下的泛化能力。其影响力体现在为ATC领域的ASR研究提供了首个大规模、多来源的基准测试框架，显著推动了该方向的技术进步。

当前挑战

该数据集面临的核心挑战包括：第一，领域内数据稀缺且标注成本高昂，一小时的原始录音经过去静音后仅能提取10至15分钟的有效语音片段，而转录工作需耗费八至十个人工时，严重制约了模型训练的数据规模。第二，跨区域的口音与词汇差异显著，不同国家甚至同一国家不同机场的管制员口音各异，导致未适应模型对未见口音和词汇外（OOV）词项的识别性能大幅下降。第三，构建过程中需整合来自多个项目的异构语料库，这些语料在录音环境、信噪比、术语体系及标注规范上存在差异，增加了数据归一化与模型迁移的难度。第四，OOV词项引发的删除错误在高频出现专有名词（如呼号、航路点）的ATC通信中尤为突出，传统词级模型难以有效处理，而基于字节对编码（BPE）的子词模型虽能缓解此问题，却在部分测试集上表现不稳定，需进一步优化权衡。

常用场景

经典使用场景

在航空交通管制这一高度复杂且对安全性要求严苛的领域中，语音通信仍是飞行员与管制员之间最核心的信息交互方式。CleanSky EC-H2020 ATCO2数据集应运而生，其经典使用场景聚焦于构建和评估面向空中交通通信的自动语音识别系统。研究人员利用该数据集训练深度神经网络模型，在超过170小时的管制员语音数据上开展基准测试，涵盖多种口音、噪声环境及专业术语，旨在实现高精度的语音转文本任务，从而为空中交通管制的自动化奠定基础。

解决学术问题

该数据集有效解决了航空通信领域长期存在的两大学术难题：一是缺乏大规模、多口音、高标注质量的管制员语音数据库，二是跨口音和跨机场的语音识别泛化能力不足。通过整合六个来自不同国家与项目的管制相关语音语料库，ATCO2为研究者提供了统一且丰富的训练与测试资源。它使得基于迁移学习、字节对编码等前沿技术的ASR系统得以验证，在维也纳、布拉格等多个测试集上实现了显著的词错误率下降，证明了大规模跨口音数据训练能够有效缓解口音偏差问题。

衍生相关工作

ATCO2数据集的发布催生了一系列衍生研究工作。基于该基准，研究者进一步探索了卷积神经网络与因子化时延神经网络结合的混合架构，在特定测试集上实现了低至5.0%的词错误率。字节对编码技术的引入开创了开放词汇识别的先河，显著降低了专有名词和外来呼号的误删率。此外，该数据集还被用于半监督学习与语义知识提取的研究，以提升低资源场景下的ASR性能。同时，基于PyTorch的轻量级声学模型训练工具包Pkwrap的诞生，也为后续研究提供了便捷的复现与扩展平台。