An open-access EEG dataset for speech decoding

本数据集为公开可用的EEG数据集，用于语音解码研究，探索发音和协同发音的作用。数据集包含两个验证集（N=8和N=16），用于音素和单词级别的分类，以及音素的发音特性。EEG信号通过64个通道记录，受试者在听和重复六个辅音和五个元音时进行。通过在不同的语音环境中组合单个音素，产生了四十个辅音-元音对、二十个真实单词和二十个伪词的协同发音变异。在控制条件和经颅磁刺激下，针对特定的发音过程抑制或增强EEG信号。This dataset is a publicly available EEG dataset designed for speech decoding research, exploring the roles of articulation and coarticulation. The dataset includes two validation sets (N=8 and N=16) for phoneme and word-level classification, as well as the articulatory characteristics of phonemes. EEG signals were recorded through 64 channels while subjects listened to and repeated six consonants and five vowels. By combining individual phonemes in various speech contexts, forty consonant-vowel pairs, twenty real words, and twenty pseudowords with coarticulatory variations were generated. Under controlled conditions and transcranial magnetic stimulation, EEG signals were either suppressed or enhanced for specific articulatory processes.

原始信息汇总

数据集概述

数据集名称

An open-access EEG dataset for speech decoding: Exploring the role of articulation and coarticulation

数据集内容

• EEG信号记录：从64个通道记录EEG信号。
• 实验任务：受试者听并重复六个辅音和五个元音。
• 数据组成：
  • 四十个辅音-元音对，包含共通音变化。
  • 二十个真实单词。
  • 二十个伪词。
  • 控制条件下的数据和经颅磁刺激（TMS）下的数据，用于抑制或增强与特定发音过程相关的EEG信号。

数据集用途

• 用于语音解码的脑机接口（BCI）系统的研究。
• 支持在音素和单词级别的分类，以及根据音素的发音特性进行分类。

数据集规模

• 两个验证数据集：N=8和N=16。

代码和数据可用性

• 数据和代码可在OSF和GitHub上获取，遵循CC BY 4.0许可。
• 代码位于Study/EEG_Data_Processing/Code文件夹，用于技术验证部分的分析。
• 信号处理技术的结果也存储在同一文件夹中。

数据处理方法

• 使用ICA和信号清洗技术，基于EEGLab库（MATLAB 2022.0和2022.1版本）进行数据处理。

图示说明

• Figure 1：展示了数据处理的代码结构。

搜集汇总

数据集介绍

构建方式

该数据集的构建基于脑电图（EEG）技术，旨在探索语音解码中的发音和协同发音机制。研究团队通过64通道的EEG设备记录了8名和16名受试者在听并重复六个辅音和五个元音时的脑电信号。为了模拟自然语音环境，研究将单个音素组合成不同的语音环境，生成了40个辅音-元音对、20个真实单词和20个伪单词。此外，实验还设置了控制条件，并在特定发音过程中使用经颅磁刺激（TMS）来抑制或增强EEG信号。

特点

该数据集的特点在于其专注于语音解码的复杂任务，涵盖了音素、单词以及发音属性等多个层次的分类任务。数据集不仅包含了自然语音环境下的协同发音变化，还通过TMS技术引入了对特定发音过程的干预，从而提供了丰富的实验条件。此外，数据集经过严格的信号处理流程，包括独立成分分析（ICA）和基于EEGLab库的信号清洗，确保了数据的高质量和可靠性。

使用方法

该数据集的使用方法包括通过公开的代码和数据文件进行复现和分析。数据集和代码可在OSF平台和GitHub上获取，遵循CC BY 4.0许可。用户可以通过MATLAB环境下的EEGLab库（版本2022.0和2022.1）运行提供的代码，进行事件相关电位（ERP）的提取和信号处理。代码结构清晰，涵盖了从数据清洗到结果分析的全流程，便于用户进行版本控制和讨论。

背景与挑战

背景概述

脑电图（EEG）作为非侵入性神经活动测量手段，在脑机接口（BCI）设备中展现出巨大潜力。随着基于EEG的BCI系统日益受到关注，公开可用的数据集成为推动自然语音解码研究的关键工具。由João Pedro Carvalho Moreira等人于近期创建的开放EEG数据集，旨在探索发音和协同发音在语音解码中的作用。该数据集由巴西米纳斯吉拉斯联邦大学、加州大学洛杉矶分校等机构的研究团队共同开发，包含8名和16名受试者的EEG信号记录，涵盖音素、单词及发音属性的分类任务。研究通过64通道EEG设备记录受试者在听音和重复发音时的脑电活动，并结合经颅磁刺激技术，为语音解码研究提供了丰富的数据支持。该数据集的发布为BCI领域建立了新的性能标准，推动了语音解码技术的进一步发展。

当前挑战

该数据集在构建和应用中面临多重挑战。首先，EEG信号本身易受多种噪声干扰，如肌电伪迹和环境噪声，如何有效去除噪声并提取可靠的语音解码特征成为核心难题。其次，语音解码任务需要处理复杂的协同发音现象，不同音素在连续语音中的动态变化增加了分类难度。此外，数据集需确保跨会话和跨受试者的泛化能力，避免过拟合特定任务或个体。在数据构建过程中，研究团队还需克服经颅磁刺激对EEG信号的潜在干扰，确保实验设计的科学性和数据的可靠性。这些挑战不仅反映了语音解码领域的复杂性，也为未来研究提供了重要的改进方向。

常用场景

经典使用场景

在脑机接口（BCI）研究领域，该数据集被广泛应用于语音解码任务。通过记录受试者在听和重复不同音素和单词时的脑电图（EEG）信号，研究者能够深入分析发音和协同发音对神经活动的影响。这一数据集为开发基于EEG的语音解码算法提供了宝贵的实验数据，尤其是在自然语音处理任务中，帮助研究者理解大脑如何处理复杂的语音信息。

实际应用

在实际应用中，该数据集为开发基于EEG的语音辅助设备提供了重要支持。例如，在医疗康复领域，该数据集可用于设计帮助失语症患者恢复语言能力的脑机接口系统。此外，该数据集还可用于开发实时语音识别系统，为无法通过传统方式交流的患者提供新的沟通途径。

衍生相关工作

该数据集衍生了一系列经典研究工作，特别是在语音解码和脑机接口领域。例如，基于该数据集的研究开发了新的信号处理技术，用于提高EEG信号的信噪比。此外，该数据集还启发了对发音和协同发音神经机制的深入研究，推动了跨学科合作，如神经科学、语言学和计算机科学的融合。