BOLD5000

BOLD5000是由卡内基梅隆大学创建的一个大型公共fMRI数据集，包含近5000张真实世界场景的图像。该数据集不仅在规模上远超以往的fMRI研究，还通过包含来自标准计算机视觉数据集（如SUN、COCO和ImageNet）的图像，确保了数据多样性和重叠性。BOLD5000的设计采用慢事件相关fMRI方法，使得能够精细探索广泛视觉特征、类别和语义的神经表征。该数据集旨在促进人类和计算机视觉领域之间的更大合作，实现Marr的单一视觉科学梦想。BOLD5000 is a large-scale public fMRI dataset developed by Carnegie Mellon University, containing nearly 5,000 images of real-world scenes. It not only surpasses previous fMRI studies in scale, but also ensures data diversity and overlap by incorporating images from standard computer vision datasets such as SUN, COCO, and ImageNet. Adopting the slow event-related fMRI paradigm, BOLD5000 enables fine-grained exploration of neural representations across a wide range of visual features, categories and semantics. This dataset aims to foster greater collaboration between the fields of human and computer vision, realizing Marr's vision of a unified science of vision.

搜集汇总

数据集介绍

构建方式

BOLD5000数据集旨在突破传统人脑功能磁共振成像（fMRI）研究中刺激图像数量有限的瓶颈，通过整合计算机视觉领域的大规模图像资源，构建了一个包含近5000张真实世界场景图像的人类fMRI数据集。研究团队从三大标准计算机视觉数据集中精心筛选刺激材料：从SUN数据集中选取1000张涵盖250个类别的室内外场景图像，从COCO数据集中按类别分布比例采样2000张包含多物体交互的复杂场景图像，并从ImageNet数据集中排除42个可能引发负面情绪的类别后，为剩余958个类别各随机选取2张图像，共获得1916张以单一物体为中心的图像。所有图像均经过统一预处理，包括分辨率筛选、尺寸归一化为375×375像素、灰度世界法亮度均衡化，并针对COCO图像进行了中心裁剪与人工校验以确保内容完整性。实验采用慢速事件相关设计，每张图像呈现1秒后跟随9秒注视十字，以分离单次试次的BOLD信号，四名受试者每人完成约20小时扫描，共获取5254次图像呈现数据。

特点

BOLD5000数据集的核心特点在于其前所未有的规模、多样性与跨领域重叠性。相较于此前fMRI研究通常使用的数十至百余张图像，该数据集将刺激数量提升了一个数量级，为统计学习方法在神经科学中的应用提供了数据基础。图像来源覆盖场景理解、物体检测与物体分类三大计算机视觉基准任务，使数据天然兼容于计算机视觉模型的训练与评估框架。慢速事件相关设计确保了每个试次的BOLD信号在时间上可分离，无需反卷积即可直接分析。此外，数据集包含113张重复呈现的图像，可用于评估信噪比；全脑覆盖的fMRI数据结合功能定位器定义的感兴趣区域，支持从早期视觉皮层到场景选择区域（如海马旁回位置区、压后皮层、枕叶位置区）的多层级分析。代表性相似性分析与t-SNE可视化验证了数据质量，显示高级视觉区域在神经表征空间中对场景、物体与生命体类别存在清晰的聚类结构。

使用方法

BOLD5000数据集以BIDS格式公开于OpenNeuro平台，并提供预处理后的fMRI数据、感兴趣区域掩膜、行为评分及图像标签等丰富资源。研究者可直接下载原始DICOM或BIDS格式数据，利用fMRIPrep预处理流程进行标准化分析，或使用已提取的感兴趣区域时间序列进行后续建模。数据使用方法灵活多样：可采用一般线性模型估计单张图像的响应幅值，结合代表性相似性分析比较脑区与深度神经网络（如AlexNet）的表征空间；也可利用t-SNE可视化探索神经表征的类别组织。重复呈现图像可用于计算试次间信噪比，而图像标签（包括所属数据集、ImageNet超类别及受试者效价评分）支持细粒度的类别分析。代码与刺激图像均公开提供，便于其他实验室扩展受试者样本或复现实验范式，推动生物视觉与计算机视觉的交叉研究。

背景与挑战

背景概述

在视觉科学领域，尤其是机器视觉，大规模图像数据集与统计学习方法的引入已带来革命性突破。然而，人类视觉感知的神经影像学研究长期受限于实验流程的时间约束，通常仅使用约百张图像，这严重阻碍了计算模型与神经科学的深度融合。为弥合这一鸿沟，卡内基梅隆大学与福特汉姆大学的研究团队于2018年发布了BOLD5000数据集。该数据集包含近5000张真实世界场景图像，其规模较既往慢事件相关功能磁共振成像研究提升了一个数量级，并创新性地整合了来自SUN、COCO和ImageNet三大标准计算机视觉数据集的图像，实现了生物视觉与机器视觉在刺激材料上的历史性重叠，为探索视觉特征、类别与语义的神经表征提供了前所未有的数据基础。

当前挑战

BOLD5000所应对的核心挑战在于数据规模、多样性与重叠性的三重匮乏。传统神经影像研究因实验时长限制，图像数量稀少，难以支撑统计学习方法的有效应用；同时，刺激集的有限性导致图像多样性不足，无法覆盖自然图像空间的广阔范畴。此外，生物视觉与计算机视觉研究长期使用截然不同的图像素材——前者多为居中单物体背景简洁的图像，后者则包含复杂场景与多物体交互——这种素材间的割裂严重阻碍了跨领域模型比较与神经数据驱动的网络训练。构建过程中，研究人员需在保证图像质量的前提下，从海量候选图像中精心筛选，并实施灰度世界归一化以消除亮度差异对脑响应的影响，同时设计慢事件相关实验范式以分离单次试次的BOLD信号，最终完成了每位被试约20小时的高强度扫描。

常用场景

经典使用场景

在视觉神经科学领域，BOLD5000数据集被广泛用于探究人脑对复杂自然场景的神经表征机制。研究者利用其包含的近5000张来自SUN、COCO和ImageNet的真实世界图像，结合慢速事件相关fMRI设计，得以精细刻画从早期视觉皮层到高级场景选择区域（如海马旁回位置区、压后皮质）的层级化响应模式。该数据集尤其适用于通过表征相似性分析和t-SNE可视化等方法，揭示不同图像类别（如场景、物体、社交互动）在脑中的分布式编码规律，为理解视觉信息处理的组织原则提供了前所未有的数据基础。

实际应用

在实际应用中，BOLD5000为构建生物启发的计算机视觉模型提供了珍贵的神经标注数据。研究者可利用其全脑BOLD响应作为监督信号，训练或微调深度学习模型，使其在物体识别、场景理解等任务中更接近人类视觉的鲁棒性与泛化能力。此外，该数据集在脑机接口领域具有潜在价值，可用于解码视觉刺激内容，进而开发基于fMRI的神经反馈系统。在临床神经科学中，它也为研究视觉感知障碍（如失认症、精神分裂症中的视觉异常）提供了健康对照的参考基准，助力于揭示病理状态下的神经表征偏差。

衍生相关工作

BOLD5000的发布催生了一系列开创性工作。例如，研究者利用其数据训练了能够预测脑区响应的编码模型，如基于AlexNet、VGG和ResNet的体素级响应预测器，揭示了深度网络层级与视觉皮层区域之间的功能对齐。此外，基于该数据集的表征相似性分析被拓展为多模态比较框架，用于评估生成对抗网络和自监督学习模型在模拟人类视觉时的逼真度。在方法学层面，衍生工作包括开发针对大规模fMRI数据的降维与可视化技术，以及提出结合神经数据与计算模型的双向优化策略，这些工作共同推动了“神经-计算”交叉领域的范式革新。