KU Leuven audiovisual, gaze-controlled auditory attention decoding (AV-GC-AAD) dataset

KU Leuven视听觉注意力解码（AV-GC-AAD）数据集由鲁汶大学创建，旨在研究在不同视听条件下，参与者对两个竞争说话者的注意力方向。数据集包含16名正常听力参与者的脑电图（EEG）信号，记录了他们在不同视觉条件下的注意力反应。数据集分为4种条件，每种条件有2个10分钟的试验，总计8个试验。数据集的创建旨在揭示现有空间注意力解码算法中的视觉注意力偏差，并提供一个基准用于未来的注意力解码算法评估。该数据集的应用领域主要集中在认知控制助听器和空间注意力解码算法的改进。

The KU Leuven Auditory-Visual Attention Decoding (AV-GC-AAD) Dataset was developed by KU Leuven to investigate participants' attentional orientation towards two competing speakers under diverse audiovisual conditions. It comprises electroencephalogram (EEG) signals from 16 normal-hearing participants, capturing their attentional responses across varying visual conditions. The dataset is categorized into 4 conditions, with two 10-minute trials per condition, totaling 8 trials in all. The core objective of this dataset is to uncover visual attentional biases existing in current spatial attention decoding algorithms, and to provide a benchmark for evaluating future attention decoding algorithms. Its main application areas focus on cognitive hearing aids and the improvement of spatial attention decoding algorithms.

搜集汇总

数据集介绍

构建方式

KU Leuven audiovisual, gaze-controlled auditory attention decoding (AV-GC-AAD) 数据集通过记录16名年轻、听力正常的参与者在不同视听条件下对两个竞争说话者的注意力选择时的脑电图（EEG）信号构建而成。参与者被指示在±90°的空间分离下聆听其中一个说话者，并通过插入式耳机呈现相关头部相关传递函数来实现这种空间分离。实验包括四种不同条件，每种条件包含两个10分钟的试验，共计8个试验。EEG信号使用64通道BioSemi ActiveTwo系统记录，同时使用4个眼电图（EOG）电极记录眼球运动。数据集的设计旨在分离视觉注视方向与听觉注意力方向，以揭示现有空间听觉注意力解码算法中可能存在的视觉注视相关捷径。

特点

该数据集的主要特点在于其视听条件和眼球运动的控制，旨在揭示现有算法在解码听觉注意力时可能依赖的视觉注视相关捷径。通过四种不同条件的设计，数据集能够评估视觉注视对听觉注意力解码的影响，特别是在视觉注视与听觉注意力方向不一致的情况下。此外，数据集的公开性及其详细的实验设计和数据处理步骤，为研究人员提供了一个可靠的基准，用于评估和改进听觉注意力解码算法。

使用方法

研究人员可以使用该数据集来训练和验证听觉注意力解码算法，特别是那些旨在从EEG信号中直接分类或重建听觉刺激的算法。数据集提供了详细的预处理步骤和评估方法，包括线性刺激解码算法和交叉验证策略，如留一试验交叉验证（LOTO-CV）和留一条件交叉验证（LOCO-CV）。此外，数据集还提供了源代码，以确保实验的可重复性。通过这些方法，研究人员可以评估算法在不同视听条件下的表现，并验证其在跨条件和跨被试中的泛化能力。

背景与挑战

背景概述

KU Leuven audiovisual, gaze-controlled auditory attention decoding (AV-GC-AAD)数据集由KU Leuven大学的Simon Geirnaert、Iustina Rotaru、Tom Francart和Alexander Bertrand等人创建，旨在通过记录参与者在不同视听条件下的脑电图（EEG）信号，解码其对两个竞争说话者的注意力方向。该数据集的核心研究问题在于区分视线方向与听觉注意力的方向，以揭示现有空间听觉注意力解码（AAD）算法中存在的视线相关捷径。该数据集的创建对听觉注意力解码领域具有重要影响，特别是在揭示现有算法可能依赖于视线而非实际神经过程的问题上。

当前挑战

AV-GC-AAD数据集在构建过程中面临多项挑战。首先，数据集的多样性视听条件增加了数据处理的复杂性，可能导致模型训练时的数据异质性问题。其次，参与者在复杂指令下难以集中听觉注意力，这影响了数据的质量和一致性。此外，数据集的规模相对有限，可能不足以训练出高效的工作模型。这些挑战不仅影响了数据集本身的可用性，也对其在听觉注意力解码算法评估中的应用提出了更高的要求。

常用场景

经典使用场景

KU Leuven audiovisual, gaze-controlled auditory attention decoding (AV-GC-AAD) 数据集的经典使用场景在于解码听觉注意力的方向，特别是在多声源环境中。该数据集通过记录参与者在不同视听条件下的脑电图（EEG）信号，旨在区分视线方向与听觉注意力的方向，从而揭示现有空间听觉注意力解码算法中可能存在的视线相关捷径。

实际应用

在实际应用中，AV-GC-AAD 数据集可用于开发和优化认知控制助听器。通过解码用户的听觉注意力方向，这些助听器能够自动调整以增强用户关注的对话，从而在嘈杂环境中提供更好的听觉体验。此外，该数据集还可应用于其他需要精确听觉注意力解码的领域，如语音识别和人机交互。

衍生相关工作

基于 AV-GC-AAD 数据集，研究者们开发了多种线性和非线性听觉注意力解码算法，这些算法在不同视听条件和参与者间展示了良好的泛化能力。此外，该数据集还激发了对视线干扰在听觉注意力解码中影响的进一步研究，推动了相关领域的发展。