MOBBA EEG-ImageNet

Name: MOBBA EEG-ImageNet
Creator: 杭州电子科技大学, 澳门科技大学, 深圳大学, 深圳大数据研究院
Published: 2025-06-27T09:26:52+08:00

arXiv2025-06-27 更新2025-07-01 收录

脑机接口

三维视觉重建

数据链接：

https://github.com/gegen666/EEGTo3D 数据链接链接失效反馈

官方服务：

资源简介：

MOBBA EEG-ImageNet数据集是由MOBBA平台提供的，包含约40个类别，大约2000张图像及其对应的脑电图记录。该数据集用于研究如何从脑电图信号中重建三维视觉刺激，对于脑机接口（BCI）和帮助有沟通障碍的个人具有重要意义。数据集的创建过程涉及收集受试者在观看图像时的脑电图记录，并记录下这些图像。该数据集的应用领域主要集中在脑机接口和三维视觉重建，旨在解决从脑电图信号中准确重建三维视觉信息的问题。

The MOBBA EEG-ImageNet Dataset is provided by the MOBBA platform. It contains approximately 40 categories, around 2000 images and their corresponding electroencephalogram (EEG) recordings. This dataset is designed for research on reconstructing 3D visual stimuli from EEG signals, and holds significant importance for brain-computer interfaces (BCI) and assisting individuals with communication disorders. The dataset was developed by collecting EEG recordings from subjects while they viewed the images, while also recording the corresponding images. Its primary application areas focus on brain-computer interfaces and 3D visual reconstruction, aiming to address the challenge of accurately reconstructing 3D visual information from EEG signals.

提供机构：

杭州电子科技大学, 澳门科技大学, 深圳大学, 深圳大数据研究院

创建时间：

2025-06-27

原始信息汇总

数据集概述：3D-Telepathy EEG-to-3D

1. 摘要

研究目标：从脑电图（EEG）数据重建3D视觉刺激场景，应用于脑机接口和辅助沟通障碍人群表达。
创新点：首次提出EEG到3D的转换方法，通过双掩码对比学习和多模态联合自监督学习获取EEG编码器。
技术亮点：
- 利用2D扩散作为先验分布。
- 通过变分分数蒸馏（VSD）训练神经辐射场（NeRF）。
- 从EEG数据生成具有视觉吸引力和明确结构的3D场景。
额外成果：生成多视角图像，从单视角EEG数据中提取多视角视觉和3D空间信息。

2. 方法概述

EEG编码器：通过双掩码对比学习和多模态联合自监督学习训练。
3D生成流程：结合2D扩散先验和NeRF训练，使用VSD技术优化3D场景生成。

3. 准备工作

数据集：
- EEG数据来源：eeg_visual_classification。
- Imagenet子集：imagenet。
模型参数：使用标准SD1.5，参数下载地址：stable-diffusion-v1-5。

4. 训练流程

4.1 MERL第一阶段

脚本：stageA1_mbm_pretrain_contrast.py
参数：
- 学习率：0.001
- 批量大小：10
- 自对比损失权重：1
- 交叉对比损失权重：0.5
- 掩码比例：0.75
- 训练轮数：150

4.2 MERL第二阶段

脚本：stageA2_mbm_finetune_cross.py
参数：
- 批量大小：4
- 训练轮数：60
- fMRI重建权重：0.25
- 图像重建权重：1.5
- 图像掩码比例：0.5
- 掩码比例：0.75

4.3 优化U-Net

脚本：finetune/sd/train_sd_with_con.py

4.4 3D生成

脚本：3dGeneration/main.py
参数：
- 迭代次数：100000
- 熵权重：10
- 缩放比例：3
- 粒子数：4
- 图像尺寸：512x512
- T5迭代次数：20000

搜集汇总

数据集介绍

构建方式

MOBBA EEG-ImageNet数据集的构建采用了多模态神经信号采集技术，通过128导联脑电设备记录受试者在观看ImageNet图像时的脑电活动。数据采集过程中，每幅图像呈现时长为0.5秒，每50幅图像后设置10秒休息间隔以降低疲劳效应。原始EEG信号经过5-95Hz带通滤波预处理，并标准化为512个时间点的时序数据。为提升信号表征能力，采用四时间步合并策略生成1024维嵌入向量，有效解决了脑电信号噪声大、时空分辨率不平衡的固有挑战。

特点

该数据集的核心价值在于其独特的跨模态对齐特性，包含约2000组EEG-图像配对数据，覆盖40个语义类别。其创新性体现在三个方面：首先，通过精确的时间锁定设计，实现了毫秒级精度的视觉刺激与神经响应关联；其次，采用分层注意力机制编码，可同时捕获脑电信号的空间拓扑特征和时间动力学模式；最后，数据集配套提供了经过变分分数蒸馏优化的神经辐射场模型，支持从二维脑电信号到三维物体表征的端到端重建。这些特性使其成为探索视觉神经解码与三维生成的理想基准。

使用方法

使用该数据集需遵循跨模态学习框架：首先通过双自注意力EEG编码器提取时空特征，其中空间注意力层建模电极间拓扑关系，时间注意力层捕捉长程依赖。随后采用混合训练策略，结合掩码自编码器的对比学习与跨模态注意力机制，将脑电特征映射到稳定扩散模型的潜空间。最终利用变分分数蒸馏方法优化神经辐射场，实现三维重建。具体实施时需注意：EEG信号需按75%比例随机掩码以增强鲁棒性，图像数据采用50%掩码率；训练过程应采用分阶段策略，先进行γC=0.5、γS=1的自监督预训练，再进行γE=0.25、γI=1.5的跨模态微调。

背景与挑战

背景概述

MOBBA EEG-ImageNet数据集由杭州电子科技大学和澳门科技大学等机构的研究团队于2025年提出，旨在解决脑机接口领域中的三维视觉信息解码难题。该数据集基于MOBBA平台采集的EEG-ImageNet配对数据，包含约40个类别的2000余幅图像及其对应的128导联脑电信号。作为首个专注于从EEG信号重建3D物体的开源数据集，其创新性体现在将神经信号处理与神经辐射场（NeRF）技术相结合，突破了传统EEG解码研究局限于二维图像生成的范式。该工作发表在计算机视觉顶会论文《3D-Telepathy: Reconstructing 3D Objects from EEG Signals》中，为跨模态三维生成领域提供了重要的基准数据。

当前挑战

该数据集面临的核心挑战包含两个维度：在领域问题层面，EEG信号固有的低信噪比（5-95Hz频带）与时空分辨率矛盾，使得从毫秒级电位波动中提取稳定三维视觉特征异常困难；在构建过程层面，需解决三大技术难题：1) EEG与3D几何信息的跨模态对齐，要求设计新型双自注意力机制编码器处理128通道×512时间点的稀疏信号；2) 神经辐射场训练中的视角一致性维护，需开发变分分数蒸馏(VSD)方法补偿单视角EEG数据的三维信息缺失；3) 数据采集时0.5秒的图像刺激时长导致视觉皮层响应信号微弱，需通过混合对比学习与自监督策略增强特征表示。这些挑战使得该数据集成为测试三维神经解码算法的严格基准。

常用场景

经典使用场景

MOBBA EEG-ImageNet数据集在脑机接口（BCI）和神经解码领域具有广泛的应用。该数据集通过记录被试者在观看ImageNet图像时的脑电图（EEG）信号，为研究视觉刺激与脑电活动之间的关系提供了宝贵的数据支持。其经典使用场景包括从EEG信号中重建视觉刺激，尤其是3D物体的生成。通过结合深度学习模型，如神经辐射场（NeRF）和变分分数蒸馏（VSD），该数据集为探索大脑如何处理和编码3D空间信息提供了重要工具。

衍生相关工作

该数据集衍生了一系列经典研究工作。3D-Telepathy框架首次实现了端到端的EEG到3D物体生成，其双自注意力机制成为后续研究的基准。DreamDiffusion和Brain2Image等研究在此基础上发展了EEG信号到2D图像的生成方法。CapsEEGNet创新性地采用胶囊网络结构提升EEG特征提取能力。近期Neuro-3D和EEG-driven 3D Reconstruction等研究进一步优化了3D生成质量，这些工作共同构成了脑电视觉解码领域的技术谱系。

数据集最近研究