结合EEG、眼动追踪和高速视频的眼部活动分析数据集

本研究介绍了一个大型的多模态数据集，该数据集结合了脑电图（EEG）信号、眼动追踪、高速相机录像以及参与者的心理状态和特征，以对眼部相关运动进行多因素分析。数据集包含超过46小时的数据，来自31名参与者在63次实验中的数据，每个参与者进行了2520次试验。数据集旨在开发能够有效处理眼部诱导伪影并提高特定任务分类算法的算法。此外，它还提供了评估跨范式鲁棒性的机会，涉及相同的参与者。数据集包括电机想象、电机执行、稳态视觉诱发电位和P300拼写者四种范式。该数据集提供了同时进行电生理记录、视频捕捉和同步眼动追踪的记录，所有数据和代码均可在网上获取以重现实验。

This study introduces a large-scale multimodal dataset that combines electroencephalogram (EEG) signals, eye-tracking, high-speed camera footage, as well as participants’ mental states and characteristics for multi-factor analysis of eye-related movements. The dataset contains over 46 hours of data collected from 31 participants across 63 experimental sessions, with each participant completing 2520 trials. It is designed to develop algorithms that can effectively handle eye-induced artifacts and improve task-specific classification algorithms. Furthermore, it offers the opportunity to evaluate cross-paradigm robustness using the same cohort of participants. The dataset encompasses four paradigms: motor imagery, motor execution, steady-state visual evoked potential (SSVEP), and P300 spellers. It provides simultaneous recordings of electrophysiological signals, video footage, and synchronized eye-tracking data; all datasets and code are publicly available online for experimental reproducibility.

搜集汇总

数据集介绍

构建方式

该数据集通过整合脑电图（EEG）、眼动追踪和高速视频技术，构建了一个多模态的眼部活动分析数据集。研究团队选取了31名健康受试者，在63次实验会话中采集了超过46小时的数据。实验设计涵盖了四种脑机接口（BCI）范式：运动想象、运动执行、稳态视觉诱发电位和P300拼写器，以激发不同的感觉运动反应并研究其对眼部活动的影响。数据采集过程中，受试者被要求避免主动眨眼，同时通过问卷和生物测量收集了人口统计学和生理状态信息。所有数据均经过同步处理，确保时间基准一致，并通过严格的预处理流程剔除异常信号。

特点

该数据集的核心特点在于其多模态和多范式的设计。数据集不仅包含高密度的EEG信号（65通道，采样率1000Hz），还同步记录了高精度眼动追踪数据（300Hz）和高速视频（150fps），为眼部活动提供了多角度的观测。数据集覆盖了四种经典的BCI范式，每种范式均包含大量试次（2520-5670次），确保了统计效力。此外，数据集还包含了丰富的元数据，如受试者的生理特征、心理状态和任务表现，为跨范式分析和个体差异研究提供了可能。数据的高质量和多样性使其成为开发抗眨眼伪影算法和提升BCI分类性能的理想基准。

使用方法

该数据集适用于多方面的研究应用。研究者可利用EEG信号开发新型的眼动伪影校正算法，或结合眼动追踪数据探究认知负荷与注意机制。高速视频提供了直观的眨眼动力学参考，可用于验证基于EEG的检测方法。数据集支持跨范式比较研究，例如分析不同任务中眼部活动的异同。使用时建议先进行数据质量检查，参考提供的预处理流程（如坏道剔除和信号滤波）。配套的Python/Matlab/R加载脚本简化了数据访问流程。对于特定研究目标，可分别利用不同模态数据：EEG用于神经信号分析，眼动数据用于注视模式研究，视频数据用于精确标注眨眼事件。

背景与挑战

背景概述

脑机接口（BCI）研究作为神经科学与人工智能交叉领域的前沿方向，其核心挑战在于如何准确解码大脑神经活动。由上海交通大学Eva Guttmann-Flury团队于2025年发布的EEG-眼动-高速视频多模态数据集，创新性地整合了脑电图、眼动追踪与毫秒级视频记录，旨在解决传统BCI研究中眼动伪迹干扰的瓶颈问题。该数据集包含31名受试者在运动想象、运动执行、稳态视觉诱发电位和P300拼写器四种范式下的46小时实验数据，通过多模态同步技术首次实现了眼部活动与神经信号的时空关联分析，为认知状态解码提供了新的研究维度。

当前挑战

该数据集面临的挑战主要体现在两个层面：在科学问题层面，需解决自发眨眼对EEG信号的瞬时干扰（持续约0.3秒且频率达20次/分钟）与范式诱发神经活动的分离难题；在技术构建层面，多设备同步（EEG 1000Hz、眼动仪300Hz、高速摄像机150fps）带来的时间对齐精度要求超过3毫秒，且需克服头部微动导致的视频帧偏移。此外，跨范式数据一致性（如P300拼写器5670次试验与其他范式2520次试验的样本平衡）以及个体差异（眨眼电位峰峰值变异达56.4μV）均为算法鲁棒性验证带来严峻考验。

常用场景

经典使用场景

在脑机接口（BCI）研究中，结合EEG、眼动追踪和高速视频的眼部活动分析数据集为研究眨眼行为提供了多模态数据支持。该数据集通过捕捉四种BCI范式（运动想象、运动执行、稳态视觉诱发电位和P300拼写器）下的脑电信号、眼动轨迹和高速视频，为研究者提供了丰富的实验数据。经典使用场景包括分析眨眼对EEG信号的干扰机制，以及探索眨眼作为潜在特征在认知状态解码中的应用。

衍生相关工作

该数据集衍生了多项经典工作，包括基于多模态数据的眨眼检测算法、跨范式BCI分类模型以及眨眼行为与认知状态关联性研究。例如，研究者利用该数据集开发了自适应眨眼校正算法（ABCD），显著提高了运动想象任务的分类准确率。此外，数据集还被用于探索眨眼频率与认知负荷之间的关系，为BCI和HCI领域的进一步研究提供了重要参考。

数据集最近研究

最新研究方向

在脑机接口（BCI）研究领域，结合EEG、眼动追踪和高速视频的眼部活动分析数据集正成为前沿探索的重要工具。该数据集通过多模态数据融合，为解析眨眼等眼部活动对神经信号的干扰机制提供了全新视角。近期研究聚焦于开发跨范式的鲁棒性算法，以区分自发眨眼产生的噪声与潜在认知特征，并探索其在疲劳监测、注意力评估等HCI场景的应用价值。数据集涵盖四种经典BCI范式下46小时的同步多模态记录，为建立眼动-神经信号关联模型、优化实时artifact校正算法提供了标准化基准，有望推动自适应BCI系统的精准度突破。

相关研究论文

• Dataset combining EEG, eye-tracking, and high-speed video for ocular activity analysis across BCI paradigms

  上海交通大学机械工程系 · 2025年