STEAK

STEAK（Speech-to-Text for Error of Atc readbacK）是一个专为空中交通管制读回错误任务设计的合成语音数据集。它完全通过合成方式生成，包含管制员与飞行员之间无线电通话交换的文本和对应音频。文本生成基于形式化规则和ATC通信本体，涵盖82种命令类型（如爬升/下降、航向、速度、频率转换等），这些命令通过加权抽样（权重源自真实ATC语料库ATCO2和UWB-ATCC）组合成语句，并遵循命令间的不兼容规则以确保逻辑一致性。具体数值（如航路点、机场、频率、航空公司呼号）来自OpenNav、VATEUD、Wikipedia等公开资源。音频通过TTS合成、基于Speech Accent Archive参考语音的音色/口音转换，以及添加真实ATCO2录音的噪声配置文件生成，以模拟真实ATC通信环境。数据集总规模为2,519,694条音频，每条音频对应一个角色（管制员或飞行员）的单次话语，并通过`pair_id`字段关联形成完整的对话对。数据根据音频的RMS值分为三个难度子集：STEAK-rare（简单/清晰）、STEAK-medium和STEAK-tough（困难/嘈杂）。训练/测试分割以对话对为单位，确保同一对话对的两个角色始终处于同一分割中，防止数据泄漏。该数据集适用于自动语音识别任务，特别是针对空中交通管制领域的语音理解和错误检测研究。

STEAK (Speech-to-Text for Error of Atc readbacK) is a synthetic speech dataset designed for the task of Air Traffic Control (ATC) readback error detection. It is entirely generated synthetically, containing text and corresponding audio of radio communication exchanges between air traffic controllers (ATCO) and pilots. Text generation is based on formal rules and an ATC communication ontology, covering 82 command types (e.g., climb/descent, heading, speed, frequency change), which are combined into utterances through weighted sampling (weights derived from observations in real ATC corpora ATCO2 and UWB-ATCC) and follow incompatibility rules between commands to ensure logical consistency. Specific values (such as waypoints, airports, frequencies, airline call signs) are sourced from public resources like OpenNav, VATEUD, and Wikipedia. Audio is generated via TTS synthesis, voice/accent conversion based on reference speech from the Speech Accent Archive, and addition of noise profiles from real ATCO2 recordings to simulate realistic ATC communication environments. The dataset totals 2,519,694 audio clips, each corresponding to a single utterance by one role (ATCO or pilot), linked into complete dialogue pairs via the `pair_id` field. Data is divided into three difficulty subsets based on audio RMS values: STEAK-rare (easy/clear), STEAK-medium, and STEAK-tough (hard/noisy). Train/test splits are performed at the dialogue pair level, ensuring both roles of the same pair remain in the same split to prevent data leakage. This dataset is suitable for automatic speech recognition tasks, particularly for research on speech understanding and error detection in the air traffic control domain.

原始信息汇总

数据集名称

STEAK (Speech-to-Text for Error of ATC readbacK)

数据集简介

STEAK 是一个合成生成的数据集，模拟空中交通管制员（ATCO）与飞行员之间的无线电通话。数据集中的文本和音频均为合成生成，包含约 252 万条音频样本。

任务类型

• 自动语音识别（Automatic Speech Recognition, ASR）

语言

• 英语（en）

标签

• 空中交通管制（air-traffic-control, atc）
• 合成语音（synthetic-speech）

数据规模

• 约 250 万至 1000 万条样本（size_categories: 1M<n<10M）

许可证

• MIT（license: mit）

数据集配置

数据集包含三个子集，按难度（基于音频 RMS 值）划分：

子集名称	难度	RMS 范围 (dBFS)	训练集样本数	测试集样本数	总计
STEAK-rare	简单（清晰）	≤ -13.08	419,716	420,218	839,934
STEAK-medium	中等	(-13.08, -11.55]	420,434	419,479	839,913
STEAK-tough	困难（嘈杂）	> -11.55	419,864	419,983	839,847

数据生成方法

• 文本生成：基于正式规则和空中交通管制本体论，可生成 82 种指令。单条话语最多包含 7 条指令（平均 2.2 条），指令权重来自真实 ATC 语料库（ATCO2 和 UWB-ATCC）的探索性数据分析。每条指令有多种管制员侧措辞和飞行员侧复诵方式，随机抽取。同时包含不兼容规则（如垂直指令互斥、地面/飞行状态冲突等）。具体数值（航路点、机场、频率、航空公司等）来源于公开数据源。
• 音频渲染：
  • 声音/音色：使用 Kokoro TTS 合成，随机选取音色。
  • 口音：通过 seed-vc 进行语音转换，参考音频来自 Speech Accent Archive（约 3000 名不同母语者），按性别分配（ATCO 角色男性约 70%，飞行员角色男性约 90%）。
  • 噪音：添加来自真实 ATCO2 录音的噪声配置文件。
• 难度划分：基于渲染音频的 RMS 值（dBFS）的三分位数。

训练/测试集划分

• 划分基于 pair_id，确保每一对 ATCO-飞行员通话完整地位于训练集或测试集中，避免角色间信息泄漏。
• 每个子集中，训练集与测试集样本数基本平衡（约各占 50%）。

数据文件格式

• 文件格式：Parquet
• 数据集加载方式：使用 Hugging Face datasets 库，通过 load_dataset("DEEL-AI/STEAK", subset_name, split="train/test") 加载。

数据列说明（部分关键列）

• audio: 音频文件
• text: 转录文本
• pair_id: 通话对唯一标识，同一对 ATCO 和飞行员样本共享此 ID
• role: 角色（atco / pilot）
• voice: 使用的合成语音
• accent_ref: 口音参考音频来源
• atco2_noise_profile: 添加的 ATCO2 噪声配置文件
• rms: 音频 RMS 值（dBFS），用于划分难度
• commandes: 包含指令和条件信息（atco_condition、pilot_condition_readback 等）

搜集汇总

数据集介绍

构建方式

STEAK数据集由文本与音频两部分合成，旨在模拟真实空中交通管制员与飞行员之间的无线电通信。文本生成基于形式化规则与空中交通管制本体论，涵盖82种指令，通过加权随机抽样确定种子指令，权重源自真实语料ATCO2与UWB-ATCC的探索性数据分析。每条话语最多包含7条指令，平均2.2条，并融入互斥规则以避免冲突。具体数值（如航路点、机场代码）源自公开权威数据源。音频渲染则经由Kokoro TTS合成语音，再利用seed-vc模型将语音转换为来自Speech Accent Archive的参考音色，最后叠加真实ATCO2录音中的噪声，以模拟管制频率的实际声学环境。

特点

STEAK数据集的显著特点在于其规模宏大、难度分级明确，且保持了通信对之间的完整性。数据集包含约252万条音频，按均方根值分为三个难度子集：STEAK-rare（简单、清晰）、STEAK-medium（中等）与STEAK-tough（困难、嘈杂），便于模型渐进式训练。每条音频均标注了角色（ATCO或飞行员）、配对标识符、具体指令与条件，以及音色与噪声参考来源。尤为关键的是，训练集与测试集按配对标识符切分，确保同一通信对的两条音频始终位于同一划分中，避免数据泄露，从而评估模型在完整通信场景下的泛化能力。

使用方法

使用STEAK数据集时，可通过Hugging Face Datasets库加载，支持按子集（STEAK-rare、STEAK-medium、STEAK-tough）分别或合并获取。推荐开发者利用配对标识符字段，基于Python中的defaultdict结构，将同一通信对的ATCO与飞行员音频重组为完整对话，以进行端到端语音识别或对话建模任务。数据集文本与音频均以Parquet格式存储，配有详细的指令、条件及声学参数列，便于过滤或定制子集。建议在训练前根据应用需求选择合适的难度子集，或混合使用以增强模型鲁棒性，同时注意测试集仅用于最终评估以保持公平性。

背景与挑战

背景概述

在航空交通管制（ATC）领域，自动语音识别（ASR）技术对于提升运行效率与安全性具有关键作用，然而真实管制员与飞行员之间无线电通话数据的稀缺性与标注成本高昂，严重制约了相关研究的发展。在这一背景下，由DEEL-AI团队于近年发布的STEAK数据集应运而生，其全称为“Speech-to-Text for Error of ATC Readback”，旨在通过合成数据模拟管制-飞行员对话场景，为ASR系统在高噪声、复杂术语环境下的性能评估提供标准化基准。该数据集基于形式化规则与航空领域本体生成文本内容，并借助文本转语音、音色转换及真实噪声叠加等技术手段，构建了超过250万条包含角色配对信息的音频样本。STEAK的出现填补了公开ATC语音数据集在规模可控、难度可调方面的空白，为跨语种、多指令类型的雷达语音识别任务开辟了新路径，对推进航空人机交互与安全校验研究具有重要影响力。

当前挑战

STEAK数据集所面临的挑战首先体现在领域问题的复杂性上：真实ATC无线电通信常伴随高噪声、突发中断、口音多样化及非常规指令变体，现有ASR模型在模拟环境下虽能达到较高准确率，但在面临类似STEAK-tough子集的高噪声与低频稀有指令时，识别鲁棒性显著下降。此外，数据集的构建过程中亦遭遇多重困难：文本生成需严格确保指令兼容性与语义合理性，避免出现垂直方向矛盾或地面/空中操作混用等逻辑错误，这要求细致的不兼容规则设计与验证；语音合成面临口音迁移的失真风险，需借助seed-vc模型从有限的口音参考库中提取特征，兼顾性别比例与角色区分；而噪声叠加环节需从真实ATCO2录音中提取噪声轮廓，确保频率特征的逼真性，同时避免混响对录音质量的影响。这些挑战共同要求数据集在规模、保真度与难度梯度之间实现平衡，以支撑可靠的下游实验。

常用场景

经典使用场景

STEAK数据集专为航空交通管制（ATC）领域中的自动语音识别（ASR）任务而设计，其核心应用场景聚焦于管制员与飞行员之间无线电通话的语音转文本处理。该数据集通过合成方式生成大量ATCO-飞行员无线电对话，涵盖了82种指令类型、多种语法变体以及真实噪声环境，为构建和评估面向ATC场景的ASR模型提供了标准化的训练与测试基准。研究者可利用其分难度等级（STEAK-rare、medium、tough）的子集，系统性地检验模型在从干净到高噪声条件下的识别鲁棒性。

解决学术问题

该数据集精准回应了航空安全领域中因语音识别错误引发的学术痛点，特别是管制指令误读（readback error）的检测与预防。传统ASR模型在嘈杂、多口音、高频段的ATC通信中表现脆弱，STEAK通过引入基于真实ATC语料库统计的指令权重分布、多源口音转换及噪声注入，模拟了极端工况下的语音退化过程，使学术界得以量化分析模型在关键指令（如高度、航向修正）上的识别失败模式，推动了面向高可靠性人机交互的鲁棒语音处理理论发展。

衍生相关工作

围绕STEAK数据集已衍生出一系列代表性研究工作，包括基于对比学习的口音解耦语音识别框架、融合ATC领域知识图谱的端到端指令解析模型，以及利用其成对ATCO-飞行员结构进行跨角色说话人验证的方法。其中，部分工作通过在STEAK-tough子集上引入音素级信噪比分析，提出了针对噪声鲁棒性的分层注意力机制；另有研究将其作为预训练语料，结合少量真实ATC数据微调，实现了在ATCO2和UWB-ATCC基准上最先进的词错误率表现。