NSD-synthetic

NSD-synthetic数据集是由柏林自由大学等机构的研究人员创建的，包含8名受试者在观看284个精心控制的合成图像时的7T fMRI响应。这些图像被分为8类，包括各种类型的噪声、自然场景、操作过的自然场景、对比度调制、相位一致性调制、单字位置变化、螺旋光栅以及色度噪声变化等。该数据集旨在为视觉处理模型的OOD泛化测试提供支持，以促进更稳健的视觉处理模型的发展，并形成更准确的人类视觉理论。The NSD-synthetic dataset was created by researchers from Freie Universität Berlin and other institutions. It comprises 7T fMRI responses collected from 8 participants while they viewed 284 meticulously controlled synthetic images. These images are divided into 8 categories, including various types of noise, natural scenes, manipulated natural scenes, contrast modulation, phase consistency modulation, single-word position changes, spiral gratings, and chromatic noise variations. This dataset aims to support out-of-distribution (OOD) generalization tests for visual processing models, advance the development of more robust visual processing models, and foster more accurate theories of human vision.

搜集汇总

数据集介绍

构建方式

NSD-synthetic数据集通过收集8名受试者在观看284张精心设计的合成图像时的7T fMRI响应构建而成。这些图像被分为8个类别，每个类别包含多个子类别，每个子类别包含4张图像。图像类别包括各种类型的噪声、自然场景、处理过的自然场景、对比度调制、相位一致性调制、单字位置变化、螺旋光栅以及色度噪声。实验中，受试者执行了两种不同的任务：注视任务和1-back任务。在注视任务中，受试者报告注视点的亮度变化；在1-back任务中，受试者判断当前图像是否与上一张图像相同。

使用方法

NSD-synthetic数据集可用于进行OOD泛化测试，以评估和改进计算模型的鲁棒性。研究人员可以使用NSD-core训练编码模型，并在NSD-synthetic上进行测试，以评估模型在OOD情况下的性能。此外，该数据集还允许研究人员研究特定视觉维度如何影响脑部反应，以及认知任务如何影响神经表征。

背景与挑战

背景概述

随着神经科学和人工智能领域的快速发展，大规模视觉神经数据集如自然场景数据集（NSD）在推动计算神经科学研究中发挥着重要作用。NSD-synthetic数据集是NSD的补充，旨在解决现有数据集缺乏分布外（OOD）成分的问题，这对于开发更鲁棒的模型至关重要。NSD-synthetic由7T fMRI对8个NSD受试者在284个精心控制的合成图像上的反应组成，旨在为神经模型的分布外泛化测试提供支持，从而推动视觉处理模型的发展，并形成更准确的人类视觉理论。

当前挑战

NSD-synthetic数据集的主要挑战在于其合成图像的分布与NSD-core中的自然场景图像分布不同，这要求构建的模型能够在OOD条件下进行有效的泛化。此外，NSD-synthetic数据集的fMRI响应主要在早期到中间视觉皮层区域编码，这表明其可能最适合测试计算模型在低级视觉皮层区域的OOD泛化。为了克服这些挑战，研究人员需要考虑数据集的特性，并在模型开发中采用合适的策略，以提高模型在OOD条件下的泛化能力。

常用场景

经典使用场景

NSD-synthetic数据集主要被用于视觉神经科学的计算模型研究中，特别是在评估模型对超出训练分布的视觉刺激的泛化能力方面。通过对合成图像的7T fMRI响应进行编码模型训练和测试，研究人员可以评估模型在不同视觉场景下的表现，并揭示模型在真实世界应用中的局限性。此外，NSD-synthetic还可以用于探索不同视觉特征对大脑响应的影响，以及认知任务如何影响神经表征。这些应用场景有助于推动视觉处理模型的发展，并促进更准确的人类视觉理论的形成。

解决学术问题

NSD-synthetic数据集解决了现有大规模视觉神经数据集缺乏超出训练分布（OOD）组件的问题，这对于开发更鲁棒的模型至关重要。通过提供与自然场景数据集（NSD-core）分布不同的fMRI响应，NSD-synthetic使得研究人员能够进行严格的OOD泛化测试，从而揭示模型在训练分布之外的泛化能力。此外，NSD-synthetic还可以用于评估不同编码模型在OOD场景下的性能差异，为模型改进提供明确的目标，并促进视觉处理理论的完善。

实际应用

NSD-synthetic数据集在实际应用中可以用于开发更鲁棒的视觉处理模型，这些模型能够在真实世界的各种视觉场景下表现出色。此外，NSD-synthetic还可以用于探索不同视觉特征对大脑响应的影响，以及认知任务如何影响神经表征。这些应用场景有助于推动视觉处理模型的发展，并促进更准确的人类视觉理论的形成。

数据集最近研究

最新研究方向

NSD-synthetic数据集的发布为神经科学和人工智能领域的研究提供了新的机遇。该数据集旨在解决现有视觉神经数据集中缺乏出分布（OOD）组件的问题，从而推动更鲁棒的视觉处理模型的发展。NSD-synthetic包含7T fMRI响应数据，这些数据来自于对284个精心控制的合成图像的刺激。该数据集的主要研究方向是出分布泛化测试，旨在评估视觉处理模型的鲁棒性和有效性。研究结果表明，NSD-synthetic的fMRI响应可靠地编码了与刺激相关的信息，并且与NSD-core的响应相比具有不同的分布。此外，出分布泛化测试揭示了在NSD-core上未检测到的模型之间的差异，这表明NSD-synthetic在模型开发和理论形成方面具有独特的洞察力。

相关研究论文

• A 7T fMRI dataset of synthetic images for out-of-distribution modeling of vision

  柏林自由大学教育心理学系、柏林神经科学中心、柏林计算神经科学伯恩斯坦中心、柏林心智与大脑学校、明尼苏达大学磁共振研究中心、明尼苏达大学神经科学系 · 2025年