PhyAAt: 听觉注意力生理学数据集

PhyAAt数据集由伦敦玛丽女王大学智能传感中心创建，专注于自然语音的听觉注意力生理信号研究。该数据集包含来自25名非英语母语参与者的14通道脑电图(EEG)、皮肤电反应(GSR)和光电容积脉搏波(PPG)信号，总计每个参与者144个刺激。数据集通过在不同听觉条件下播放英语句子并记录参与者的生理反应来创建，旨在通过生理信号量化听觉注意力，以改进脑机接口系统。该数据集不仅限于听觉注意力研究，还可用于探索自然语音大脑听觉处理的其它机制，如基于听觉注意力的游戏难度设计。

The PhyAAt dataset was developed by the Centre for Intelligent Sensing at Queen Mary University of London, focusing on research into physiological signals associated with auditory attention during natural speech. This dataset includes 14-channel electroencephalography (EEG), galvanic skin response (GSR), and photoplethysmography (PPG) signals from 25 non-native English-speaking participants, with a total of 144 stimuli per participant. The dataset was constructed by presenting English sentences under varying auditory conditions and recording the participants' physiological responses. Its core objective is to quantify auditory attention via physiological signals to advance brain-computer interface (BCI) systems. Beyond auditory attention research, the dataset can also be used to explore other mechanisms of natural speech-related brain auditory processing, such as designing game difficulty levels based on auditory attention.

搜集汇总

数据集介绍

构建方式

在听觉认知神经科学领域，对自然语音的听觉注意力机制进行量化分析具有重要价值。PhyAAt数据集的构建基于一项精心设计的双耳聆听实验，招募了25名非英语母语参与者。实验过程中，每位参与者需聆听并转录在多种听觉条件下呈现的英语句子，这些条件包括不同的背景噪声水平、语义性及句子长度。同时，采用14通道脑电图设备、皮肤电反应传感器和光电容积描记仪，以128Hz的采样率同步采集参与者的生理信号，最终形成了包含脑电、皮肤电和脉搏波的多模态生理数据集。

特点

该数据集的核心特点在于其多模态生理信号的同步采集与精细标注。数据集不仅涵盖了14通道脑电图、皮肤电反应和光电容积描记信号，还针对每个听觉刺激提供了基于转录准确度的注意力分数，以及噪声水平、语义性和任务阶段的详细标签。这种结构化的设计使得数据能够支持从回归到分类的多种预测任务，包括注意力评分估计、噪声水平预测、语义性判断及任务阶段分类，为探索听觉注意力与生理响应之间的复杂关联提供了丰富的研究素材。

使用方法

研究人员可通过公开的Python库phyaat便捷地访问与预处理该数据集。该工具库提供了数据下载、信号分段、特征提取及模型构建的功能模块，支持用户基于整个实验片段或滑动时间窗口提取频谱等特征。数据集适用于训练支持向量机、动态贝叶斯网络或循环神经网络等模型，以完成听觉注意力水平的预测或听觉条件的分类任务。通过这种方式，研究者能够深入探究在不同听觉环境下大脑处理自然语音时的生理机制，并推动脑机接口等相关应用的发展。

背景与挑战

背景概述

听觉注意力作为认知神经科学的核心议题，其量化研究对脑机接口系统的发展具有深远意义。PhyAAt数据集由伦敦玛丽女王大学与热那亚大学的研究团队于2020年联合创建，旨在填补自然语音听觉注意力生理信号数据的空白。该数据集通过双耳聆听实验，采集了25名非英语母语参与者在不同听觉条件下的脑电图、皮肤电反应与光电容积脉搏波信号，并结合语音转录准确度生成注意力评分。这一资源为探索大脑在复杂听觉环境中的信息处理机制提供了实证基础，推动了注意力建模与自适应交互系统的前沿研究。

当前挑战

在听觉注意力研究领域，核心挑战在于从多模态生理信号中解码复杂认知状态，其难点体现于信号噪声抑制、个体差异建模以及注意力机制的动态表征。数据构建过程中，研究者需克服实验设计的生态效度与可控性平衡：一方面，通过引入语义性、背景噪声与语句长度等多变量模拟真实场景；另一方面，需确保生理信号采集的同步精度与伪影去除，尤其在使用便携式脑电设备时，运动伪影与环境干扰的消除成为技术瓶颈。此外，非母语参与者的语言认知差异亦增加了注意力评分标准化的复杂性。

常用场景

经典使用场景

在听觉认知神经科学领域，PhyAAt数据集为研究自然语音处理中的听觉注意力机制提供了关键实验平台。该数据集通过记录参与者在不同听觉条件下（如背景噪声水平、语义性及刺激长度）的生理信号，包括脑电图、皮肤电反应和光电容积脉搏波，构建了一个多模态的注意力评估框架。其经典使用场景在于利用这些生理特征，训练机器学习模型以预测个体的注意力水平，从而揭示大脑在复杂听觉环境中的信息处理模式。

实际应用

在实际应用中，PhyAAt数据集为开发自适应人机交互系统提供了重要支撑。例如，在教育技术中，基于生理信号的注意力监测可用于优化在线学习平台的语音内容交付，根据学生注意力状态动态调整讲解节奏或难度。在医疗康复领域，该数据集有助于设计针对听觉障碍患者的认知训练工具，通过实时反馈提升康复效果。此外，其在智能助听器或噪声抑制系统中的集成，能够增强用户在嘈杂环境下的语音理解能力。

衍生相关工作

PhyAAt数据集衍生了一系列经典研究工作，主要集中在多模态信号融合与深度学习模型的创新上。例如，研究者利用其EEG频谱特征开发了支持向量机与循环神经网络结合的分类器，用于提升听觉任务识别的准确率。后续工作进一步探索了小波变换与动态贝叶斯网络在特征提取中的应用，以捕获注意力瞬态变化。这些研究不仅扩展了数据集的用途至情感计算与游戏化学习场景，还为脑机接口的实时注意力反馈系统奠定了算法基础。