NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset

NeuBCI多类目标检测RSVP脑电图与眼动数据集由中国科学院自动化研究所创建，旨在支持多类目标快速序列视觉呈现（RSVP）任务的研究。该数据集包含43名受试者的脑电图（EEG）和眼动（EM）信号，数据通过三个独立的多类目标RSVP任务收集，任务A、B、C分别涉及非民用与民用飞机、储罐与中心、港口与停车场等目标类别。数据集的创建过程包括设计实验范式、招募受试者并进行数据采集。该数据集的应用领域主要集中于脑机接口（BCI）系统，旨在通过融合EEG和EM信号提升多类目标RSVP解码性能，解决传统单类目标检测在实际应用中的局限性。

The NeuBCI Multi-class Object Detection RSVP EEG and Eye Movement Dataset was developed by the Institute of Automation, Chinese Academy of Sciences, to support research on multi-class object rapid serial visual presentation (RSVP) tasks. This dataset contains electroencephalogram (EEG) and eye movement (EM) signals from 43 participants. The data was collected via three independent multi-class object RSVP tasks: Tasks A, B, and C cover target categories including non-civilian and civilian aircraft, storage tanks and centers, ports and parking lots, respectively. The development of this dataset involved designing experimental paradigms, recruiting human subjects, and conducting data acquisition. The primary application scenarios of this dataset focus on brain-computer interface (BCI) systems, aiming to improve the decoding performance of multi-class object RSVP tasks by fusing EEG and EM signals and address the limitations of traditional single-class object detection in practical applications.

搜集汇总

数据集介绍

构建方式

NeuBCI多类目标检测RSVP EEG和EM数据集的构建基于43名受试者在三个独立的多类目标RSVP任务中的实验数据。每个任务包含两类目标图像和一类非目标图像，目标图像以10Hz的速度呈现。EEG信号通过64通道的电极帽记录，EM信号则通过眼动仪记录瞳孔面积和注视坐标。数据预处理包括下采样至128Hz，并通过带通滤波器处理EEG信号。最终，每个受试者在每个任务中生成5000个EEG-EM样本对，目标样本和非目标样本的比例约为6%。

特点

该数据集的特点在于其多模态特性，结合了EEG和EM信号，能够捕捉到目标检测任务中的脑电活动和眼动反应。EEG信号提供了丰富的时空特征，而EM信号则反映了视觉任务中的认知过程。数据集中的目标类别具有较高的相似性，这为多类目标RSVP解码算法提供了挑战。此外，数据集的开放性和大规模样本量为算法开发和性能评估提供了坚实的基础。

使用方法

该数据集的使用方法包括多模态特征提取和融合。首先，通过多尺度卷积神经网络提取EEG信号的时空特征，同时使用单层卷积网络压缩EM信号的特征。随后，通过双互补模块增强单模态特征的跨类别区分能力，并采用动态加权策略进行多模态特征融合。最后，通过层次自蒸馏模块减少非目标样本的误分类率。该数据集可用于开发多类目标RSVP-BCI系统，并评估多模态融合算法的性能。

背景与挑战

背景概述

NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset是由中国科学院自动化研究所的Xujin Li等人于2025年创建的，旨在解决基于快速序列视觉呈现（RSVP）的脑机接口（BCI）系统在多类目标检测中的局限性。传统RSVP-BCI系统主要用于单类目标检测，而现实应用场景中往往需要同时检测多个目标类别。该数据集通过融合脑电图（EEG）和眼动（EM）信号，探索多模态融合对多类目标RSVP解码性能的提升。该数据集的创建为多类目标RSVP-BCI系统的开发提供了重要的实验基础，推动了脑机接口领域在多类目标检测方向的研究进展。

当前挑战

NeuBCI数据集面临的挑战主要包括两个方面：首先，多类目标RSVP解码的挑战在于不同目标类别诱发的脑电信号（ERP）高度相似，导致分类难度增加。其次，数据集的构建过程中，如何有效融合EEG和EM信号以提升解码性能是一个关键问题。现有的多类RSVP解码算法主要依赖单一模态的EEG信号，忽略了EM信号的潜在补充作用。此外，多模态融合算法的优化缺乏明确的模态贡献指导，可能导致融合效果不理想。这些挑战需要通过创新的算法设计和高质量的多模态数据集来解决。

常用场景

经典使用场景

NeuBCI Multi-Class Target Detection RSVP EEG and EM Dataset 主要用于基于快速序列视觉呈现（RSVP）范式的多类目标检测研究。该数据集结合了脑电图（EEG）和眼动（EM）信号，旨在通过多模态融合提升多类目标检测的解码性能。经典的使用场景包括在脑机接口（BCI）系统中，通过识别不同类别目标图像诱发的ERP信号，实现高效的多类目标检测。

实际应用

NeuBCI数据集的实际应用场景广泛，包括遥感图像中的目标检测、无人机目标识别、以及智能监控系统中的异常检测。通过结合EEG和EM信号，该数据集能够有效区分复杂场景中的多类目标，例如在遥感图像中识别飞机、储罐和港口等目标类别，为实际应用中的多类目标检测提供了可靠的技术支持。

衍生相关工作

基于NeuBCI数据集，研究者提出了多类目标RSVP EEG和EM融合网络（MTREE-Net），该网络通过双互补模块、贡献引导的重加权模块和分层自蒸馏模块，显著提升了多类目标检测的解码性能。此外，该数据集还催生了多种多模态融合算法，如CMGFNet和FGFRNet，这些工作进一步推动了多模态BCI系统的发展。