SEP-28K

SEP-28K是一个专门用于检测播客中口吃事件的数据集，由苹果公司创建。该数据集包含超过28,000个标记有五种事件类型的片段，包括阻塞、延长、声音重复、单词重复和插入语。音频来源于公共播客，主要由口吃者采访其他口吃者。数据集的创建过程涉及手动筛选播客，使用语音活动检测器提取3秒间隔的片段，并由至少三名非临床人员进行标注。SEP-28K的应用领域包括帮助言语病理学家跟踪个体的流畅性，以及改进对非典型言语模式的语音识别系统。

SEP-28K is a dataset dedicated to detecting stuttering events in podcasts, developed by Apple Inc. This dataset contains over 28,000 segments annotated with five types of stuttering-related events, including blocks, prolongations, sound repetitions, word repetitions, and interjections. The audio is sourced from public podcasts, which primarily feature interviews conducted by people who stutter with other people who stutter. The dataset creation process involves manually screening podcasts, extracting 3-second segments using voice activity detectors, and having the segments annotated by at least three non-clinical personnel. Applications of SEP-28K include assisting speech-language pathologists in tracking individuals' speech fluency, as well as improving speech recognition systems for atypical speech patterns.

搜集汇总

数据集介绍

构建方式

在口吃事件检测领域，现有数据集规模有限且标注不足，难以支撑泛化性强的系统构建。SEP-28k数据集应运而生，其构建过程严谨而系统：首先，通过播客搜索引擎筛选与口吃相关元数据，初步锁定约40个节目与数百小时音频；随后，人工剔除不含口吃者语音的内容，最终从8个节目的385集片段中提取音频。利用语音活动检测器，在静音附近精准截取3秒间隔，共获得28,177个剪辑，形成28k个标注样本，涵盖阻塞、延长、声音重复、单词重复及插入语五类事件。

特点

该数据集的核心优势在于规模与多样性：包含超过28k个剪辑（约23小时），较现有公开数据集数量级提升，且来源于多位口吃者间的真实对话，语音风格与情境差异显著。标注由至少三名非临床人员完成，采用时间间隔评估法，除五类口吃事件外，还标注自然停顿、不可理解语音等非口吃标签，并针对播客媒介增设无声、音频质量差及背景音乐标注。类间分布显示无口吃事件占56.9%，插入语占21.2%，阻塞与延长各约10%，体现了真实场景的复杂性。

使用方法

数据集明确划分为训练集（25k样本）、验证集（2k）与测试集（1k），便于标准化评估。使用方法灵活多样：研究者可直接利用预提取的3秒音频剪辑与二元标注，训练基于声学特征的时序模型（如LSTM或ConvLSTM），通过多任务学习同时预测流畅/口吃状态及五类事件概率。论文还推荐采用F1分数与等错误率作为评价指标，并鼓励探索不同数据拆分以分析说话者或节目差异。此外，SEP-28k可与FluencyBank联合使用，通过数据量提升显著改善检测性能。

背景与挑战

背景概述

口吃作为一种言语流畅性障碍，其核心表现为声音重复、词语重复、延长音和阻塞等非典型言语事件，这些事件不仅影响个体的社交互动，也对其使用智能语音助手等现代技术构成显著障碍。尽管自动检测口吃事件在临床评估和包容性语音识别领域具有重要价值，但长期以来，受限于标注数据规模小、标注不一致等问题，相关研究进展缓慢。在此背景下，Apple公司的Colin Lea、Vikramjit Mitra等人于2021年发布了SEP-28k数据集，该数据集从公开播客中精心筛选并标注了超过28,000个音频片段，涵盖阻塞、延长音、声音重复、词语重复和插入语五种口吃事件类型。SEP-28k的发布将公开可用口吃事件标注数据量提升了一个数量级，为构建更具泛化能力的口吃检测模型奠定了数据基础，并对言语病理学自动化评估与无障碍语音技术的发展产生了深远影响。

当前挑战

SEP-28k数据集所解决的领域问题面临多重挑战。其一，口吃事件表现形式高度多样，同一事件类型在不同个体间及不同情境下差异显著，例如阻塞事件在音频中常难以与正常停顿区分，导致标注一致性较低（Fleiss Kappa系数仅为0.25）。其二，现有模型对部分事件类型检测性能欠佳，如阻塞和词语重复因持续时间长、表达变异大，其F1分数显著低于插入语和延长音。在数据集构建过程中，挑战同样严峻。从播客中提取口吃事件需依赖语音活动检测器在停顿附近截取片段，但口吃事件并非均匀分布于停顿周围，采样策略需兼顾代表性与效率。此外，标注工作依赖非临床人员，面对言语不可辨识或背景噪声等复杂情况时，标注者间一致性难以保证，最终不得不引入“不确定”“无语音”等额外标签来管理噪声，这进一步增加了模型训练的难度。

常用场景

经典使用场景

SEP-28K数据集在言语病理学与语音技术交叉领域中，为口吃事件检测提供了前所未有的规模化标注资源。该数据集从公开播客中精心提取超过28,000条三秒音频片段，覆盖阻塞、延长、声音重复、词语重复及插入语五类典型口吃事件，并辅以流畅语音及音频质量标签。其经典使用场景在于训练和评估基于声学特征的深度学习模型，如长短期记忆网络与卷积神经网络，以自动识别不同口吃类型。通过对比基线模型与多任务学习架构，研究者可系统探索数据规模、特征融合（如梅尔滤波器组与音高特征）对检测性能的影响，为构建泛化性强的口吃检测系统奠定基础。

解决学术问题

SEP-28K数据集主要解决了口吃事件检测领域长期存在的标注数据匮乏与样本规模不足的学术瓶颈。此前，公开数据集如UCLASS和FluencyBank仅包含数百至数千条样本，且标注不一致或未公开，导致模型难以泛化至多样化的说话风格与口吃模式。SEP-28K通过提供超过28,000条标注片段（约23小时音频），使训练数据量提升一个数量级，实验表明仅增加数据量即可在FluencyBank上实现24%的F1相对提升。该数据集还推动了多标签分类、跨数据集迁移学习及标注不确定性建模等研究，为口吃事件的细粒度识别提供了基准平台，显著促进了言语障碍自动化评估方法的科学进展。

衍生相关工作

SEP-28K数据集衍生了一系列经典研究工作，主要集中于多模态特征融合与模型架构创新。例如，Kourkounakis等人提出深度残差网络结合双向长短期记忆的架构，在声学特征基础上引入音高与发声特征，显著提升阻塞与延长事件的检测精度。Riad等人则利用语言模型与声学模型联合分析，探索跨数据集训练策略，验证了SEP-28K在FluencyBank上的迁移学习潜力。此外，Bayerl等人开发了基于SEP-28K的德语口吃严重程度评估系统，拓展了数据集的多语言适用性。这些工作共同推动了口吃检测从单一事件识别向多类型、多场景、多语言综合分析的范式转变，成为言语障碍计算领域的重要里程碑。