THINGS-EEG2

该包提供了下载、预处理原始THINGS-EEG2 EEG数据以及从各种视觉模型生成图像嵌入的工具。

This package provides utilities for downloading, preprocessing the raw THINGS-EEG2 EEG data, and generating image embeddings from various visual models.

原始信息汇总

THINGS-EEG2 数据集概述

数据集基本信息

• 数据集名称: THINGS-EEG2
• 数据来源: 原始数据处理基于 Gifford 等人 (2022) 的工作。
• 关联论文: The THINGS-EEG2 dataset
• 许可证: 遵循原始 THINGS-EEG2 许可证条款（CC BY-NC 4.0）。

数据集内容与目的

该数据集提供用于下载、预处理原始 THINGS-EEG2 脑电图（EEG）数据以及从各种视觉模型生成图像嵌入的工具。

数据采集与结构

• 被试数量: 支持处理被试 1 至 10 的数据。
• 数据类型: 原始 EEG 数据。
• 数据组织: 数据结构的定义参考 paths.py 文件，所有代码均以此结构为基准。

数据处理与特征

图像嵌入生成

支持使用多种先进的视觉模型生成图像嵌入：

模型	嵌入器类	描述
open-clip-vit-h-14	OpenClipViTH14Embedder	OpenCLIP ViT-H/14（SDXL 图像编码器）
openai-clip-vit-l-14	OpenAIClipVitL14Embedder	OpenAI CLIP ViT-L/14
dinov2	DinoV2Embedder	带寄存器的 DINOv2（自监督）
ip-adapter	IPAdapterEmbedder	IP-Adapter Plus 投影

生成的嵌入类型:

• 池化嵌入: 每张图像单个向量（例如 ViT-H-14 为 (1024,)）。
• 完整序列嵌入: 所有令牌（例如 ViT-H-14 为 (257, 1280)）。
• 文本嵌入: 来自图像标题的相应文本特征。

输出文件结构示例:

embeddings/ ├── ViT-H-14_features_training.pt # 池化嵌入 ├── ViT-H-14_features_training_full.pt # 完整令牌序列 ├── ViT-H-14_features_test.pt └── ViT-H-14_features_test_full.pt

数据加载与使用

提供 ThingsEEGDataset 数据加载器，支持参数化配置，例如指定图像模型、数据路径、训练/测试图像目录、嵌入目录、是否为训练集以及时间窗口。

引用

若使用此代码，请引用 THINGS-EEG2 论文：

Gifford, A. T., Lahner, B., Saba-Sadiya, S., Vilas, M. G., Lascelles, A., Oliva, A., ... & Cichy, R. M. (2022). The THINGS-EEG2 dataset. Scientific Data.

搜集汇总

数据集介绍

构建方式

在认知神经科学领域，THINGS-EEG2数据集通过严谨的实验设计构建而成。研究团队招募了多名受试者，在严格控制的环境下，向其呈现来自THINGS图像库的多样化视觉刺激，同时利用高密度脑电图设备同步记录其神经活动。数据采集过程遵循标准化的实验协议，确保了时间锁定事件与脑电信号之间的精确对齐，为后续的神经解码与表征分析奠定了可靠基础。

特点

该数据集的核心特征在于其多模态与高时空分辨率的结合。它不仅包含了原始的脑电图时间序列数据，还整合了来自现代视觉模型（如CLIP、DINOv2）生成的图像嵌入向量，从而实现了神经活动与计算表征之间的直接关联。数据集结构经过精心组织，提供了清晰的训练与测试划分，并支持灵活的时间窗口截取，便于研究者针对特定认知过程进行深入分析。

使用方法

为便利科研应用，该数据集提供了配套的Python工具包。用户可通过命令行界面轻松完成数据的下载与预处理流程，并利用集成的数据加载器，以参数化方式载入特定受试者、会话或时间窗口的神经信号与对应的图像特征。该工具包支持生成多种视觉模型的嵌入向量，研究者可据此构建编码模型，探索大脑如何表征复杂的视觉信息。

背景与挑战

背景概述

THINGS-EEG2数据集由Gifford等人于2022年创建，隶属于认知神经科学领域，旨在探究人类大脑如何对视觉对象进行神经表征。该数据集整合了高密度脑电图（EEG）记录与大规模物体图像刺激，核心研究问题聚焦于视觉感知的神经编码机制及其与计算模型预测的关联。作为THINGS数据集的延伸，它推动了跨学科研究，为理解大脑视觉信息处理提供了关键实证基础，对神经科学、计算机视觉及脑机接口领域产生了深远影响。

当前挑战

该数据集致力于解决视觉神经表征解码的复杂挑战，包括从高噪声、低空间分辨率的EEG信号中提取稳定且可解释的神经模式，以及建立大脑活动与高层次视觉特征之间的映射关系。在构建过程中，研究人员面临数据采集的严谨性要求，需确保多被试、多会话EEG记录的时间同步与刺激呈现的一致性；同时，大规模图像刺激的选择与预处理、跨模态数据的对齐与标准化，以及公开数据集的伦理合规与可重复性保障，均是实现其科学价值的关键难点。

常用场景

经典使用场景

在认知神经科学领域，THINGS-EEG2数据集为研究视觉感知与神经表征之间的映射关系提供了关键实验平台。该数据集最经典的使用场景在于构建脑电信号与视觉刺激的编码模型，研究者通过呈现大量物体图像并同步记录高密度脑电图，能够系统分析大脑对不同视觉特征的响应模式。这种范式使得科学家能够探究从初级视觉皮层到高级语义加工脑区的动态神经活动，为理解人类视觉系统的层次化处理机制奠定数据基础。

实际应用

在实际应用层面，THINGS-EEG2数据集为脑机接口与神经工程领域提供了重要的基准测试资源。基于该数据集训练的编码模型能够实现从脑电信号中解码视觉内容，为开发新型视觉假体或辅助通信系统奠定技术基础。同时，数据集支持的多模态嵌入生成功能，如结合CLIP、DINOv2等先进视觉模型，为构建神经启发的人工智能系统提供了跨模态对齐的参考标准，促进了神经科学与机器学习领域的协同创新。

衍生相关工作

围绕THINGS-EEG2数据集已衍生出系列经典研究工作，其中最具代表性的是基于深度神经网络的脑电编码模型构建。研究者利用该数据集验证了卷积神经网络与变换器架构在预测视觉诱发电位方面的有效性，并进一步探索了神经表征与模型语义空间的对齐关系。这些工作不仅深化了对视觉皮层信息处理机制的理解，还催生了新型神经解码算法的开发，为后续大规模多模态神经数据集的构建与分析提供了方法论范例。