Neural Encoding Dataset

Neural Encoding Dataset提供了训练好的fMRI和EEG响应模型，用于合成任意图像的fMRI和EEG响应。数据集包含约150,000张来自ImageNet 2012 Challenge、THINGS Database和Natural Scenes Dataset的自然图像的预生成合成fMRI和EEG响应，适用于研究目的。

Neural Encoding Dataset汇聚了经过训练的fMRI与EEG响应模型，旨在合成对应任意图像的fMRI与EEG响应。该数据集涵盖了约150,000张源自ImageNet 2012 Challenge、THINGS Database及Natural Scenes Dataset的自然图像，并预先生成了相应的fMRI与EEG响应，专为研究之用而精心设计。

原始信息汇总

数据集概述

名称： Neural Encoding Dataset (NED)

描述： NED 提供了一系列功能和教程，用于使用训练好的编码模型来合成 fMRI 和 EEG 响应，这些模型基于多个受试者对图像的 fMRI 和 EEG 响应。用户可以使用这些模型来合成任何图像的 fMRI 和 EEG 响应。

数据来源：

• ImageNet 2012 Challenge (Russakovsky et al., 2015)
• THINGS Database (Hebart et al., 2019)
• Natural Scenes Dataset (Allen et al., 2022)

预生成的合成响应： 约150,000张自然图像的预生成 fMRI 和 EEG 响应，这些图像来自 ImageNet 2012 Challenge、THINGS Database 和 Natural Scenes Dataset。

可用编码模型

模态	训练数据集	模型	受试者	ROI
fmri	nsd	fwrf	1, 2, 3, 4, 5, 6, 7, 8	V1, V2, V3, hV4, EBA, FBA-2, OFA, FFA-1, FFA-2, PPA, RSC, OPA, OWFA, VWFA-1, VWFA-2, mfs-words, early, midventral, midlateral, midparietal, parietal, lateral, ventral
eeg	things_eeg_2	vit_b_32	1, 2, 3, 4, 5, 6, 7, 8, 9, 10	–

使用方法

初始化 NED 对象

python from ned.ned import NED

ned_dir = ../neural_encoding_dataset/ ned_object = NED(ned_dir)

合成神经响应

python

合成 fMRI 响应

encoded_fmri, fmri_metadata = ned_object.encode( images, modality=fmri, train_dataset=nsd, model=fwrf, subject=1, roi=V1, return_metadata=True, device=auto )

合成 EEG 响应

encode_eeg, eeg_metadata = ned_object.encode( images, modality=eeg, train_dataset=things_eeg_2, model=vit_b_32, subject=1, roi=None, return_metadata=True, device=auto )

加载预生成的合成神经响应

python

加载合成 fMRI 响应

synthetic_fmri, fmri_metadata = ned_object.load_synthetic_neural_responses( modality=fmri, train_dataset=nsd, model=fwrf, imageset=things, subject=1, roi=V1, return_metadata=True )

加载合成 EEG 响应

synthetic_eeg, eeg_metadata = ned_object.load_synthetic_neural_responses( modality=eeg, train_dataset=things_eeg_2, model=vit_b_32, imageset=things, subject=1, roi=None, return_metadata=True )

教程

• fMRI 教程： 可在 Google Colab 或 Jupyter Notebook 中访问。
• EEG 教程： 可在 Google Colab 或 Jupyter Notebook 中访问。

数据集创建代码

• 数据准备： 准备用于训练编码模型的数据。
• 模型训练： 训练编码模型并保存权重。
• 模型测试： 测试编码模型并计算其编码准确性。
• 元数据创建： 为编码模型及其合成神经响应创建元数据文件。
• 神经响应合成： 使用训练好的编码模型合成约150,000张自然图像的神经响应。

搜集汇总

数据集介绍

构建方式

神经编码数据集（Neural Encoding Dataset）的构建基于对fMRI和EEG响应的训练模型，这些模型针对多个受试者对图像的反应进行了训练。数据集整合了来自ImageNet 2012 Challenge、THINGS Database和Natural Scenes Dataset的约150,000张自然图像，生成了预先计算的模拟fMRI和EEG响应。构建过程包括数据准备、编码模型训练、模型测试、元数据创建以及模拟神经响应的合成，确保了数据集的全面性和实用性。

特点

神经编码数据集的显著特点在于其包含的预生成模拟fMRI和EEG响应，覆盖了广泛的图像来源和多种神经数据模态。此外，数据集提供了详细的元数据，包括训练数据集、模型类型、受试者信息和感兴趣区域（ROI）等，便于用户选择和应用合适的编码模型。数据集的模块化设计允许用户根据需求下载部分数据，提高了数据使用的灵活性和效率。

使用方法

使用神经编码数据集首先需要通过终端安装NED工具箱，并下载数据集文件。用户可以选择下载全部或部分数据，具体操作可参考数据手册。使用NED工具箱时，用户需初始化NED对象，并通过get_encoding_model方法加载所需的编码模型。随后，使用encode方法生成任意图像的模拟神经响应，或通过load_insilico_neural_responses方法加载预生成的模拟响应。数据集还提供了详细的教程，帮助用户熟悉工具箱的功能和数据集的使用。

背景与挑战

背景概述

神经编码数据集（Neural Encoding Dataset，简称NED）是由Alessandro Gifford和Mariusz Cichy在2024年共同创建的，旨在提供一个用于生成模拟fMRI和EEG响应的工具。该数据集的核心研究问题是如何利用训练好的编码模型来预测大脑对图像的响应。NED不仅包含了针对多个受试者的训练模型，还预先生成了约15万张自然图像的模拟响应，这些图像来源于ImageNet、THINGS数据库和Natural Scenes Dataset。这一数据集的创建对神经科学和计算神经科学领域具有重要意义，为研究人员提供了一个强大的工具来探索大脑如何编码视觉信息。

当前挑战

神经编码数据集在构建过程中面临了多个挑战。首先，整合来自不同数据源（如ImageNet、THINGS数据库和Natural Scenes Dataset）的图像数据，并确保这些数据能够有效用于训练和测试编码模型，是一个复杂的过程。其次，生成模拟神经响应需要高精度的编码模型，这要求模型在训练过程中达到高预测准确性。此外，数据集的扩展性也是一个重要挑战，如何持续引入新的神经数据集、数据模式（如MEG/ECoG/动物数据）或刺激类型（如视频、语言），以保持数据集的前沿性和广泛适用性，是当前和未来需要解决的问题。

常用场景

经典使用场景

在神经科学领域，Neural Encoding Dataset（NED）数据集的经典使用场景主要集中在生成模拟的fMRI和EEG响应。研究者可以利用该数据集中的预训练编码模型，对任意图像生成模拟的神经响应，从而在无需实际实验的情况下，探索视觉刺激与大脑活动之间的关系。这种模拟响应的生成不仅加速了研究进程，还为跨学科研究提供了强有力的工具，特别是在需要大规模数据分析和模型验证的场景中。

衍生相关工作

Neural Encoding Dataset的发布催生了一系列相关研究工作，特别是在计算神经科学和人工智能领域。例如，研究者利用该数据集开发了新的神经影像分析算法，优化了现有的脑机接口技术，并探索了大脑对复杂视觉刺激的响应机制。此外，该数据集还促进了跨学科的合作，特别是在神经科学、计算机科学和心理学领域，推动了大脑编码和解码模型的进一步发展。

数据集最近研究

最新研究方向

在神经编码领域，Neural Encoding Dataset（NED）的最新研究方向主要集中在利用预训练的编码模型生成模拟的fMRI和EEG响应，以探索大脑对视觉刺激的反应机制。该数据集整合了来自ImageNet、THINGS Database和Natural Scenes Dataset的图像数据，为研究者提供了丰富的资源。前沿研究不仅关注模型的预测准确性，还致力于扩展数据集的覆盖范围，包括新的神经数据集、数据模式（如MEG、ECoG、动物数据）以及刺激类型（如视频、语言）。这些研究不仅推动了神经编码技术的发展，也为理解大脑功能和视觉认知提供了新的视角。