Serrelab/SerreOlivaPoggio-PNAS07

该数据集是用于快速动物/非动物分类心理物理学任务的自然图像刺激集，基于Serre、Oliva和Poggio在2007年发表在《美国国家科学院院刊》上的研究。它包含1,200张256×256 RGB JPEG图像，组织为两个顶级组（目标组和干扰项组），每组进一步分为四个子类别（Heads、CloseBody、MediumBody、FarBody），每个子类别有150张图像。目标组包含动物图像（共600张），干扰项组包含非动物自然图像（共600张），且干扰项的子类别与目标组在平均视网膜大小和场景深度上匹配，以排除低层次距离/大小线索的影响。图像源自Corel Stock Photo Library、网络和个人照片，经过裁剪和重采样为灰度图像（用于原始实验），但在此版本中存储为3通道JPEG格式。该数据集被广泛应用于快速视觉分类、前馈网络模型和人类-模型比较研究中。许可：CC BY-NC 4.0（Creative Commons Attribution-NonCommercial 4.0 International） 任务类别： - 图像分类（image-classification） 语言： - 英语（en） 标签： - 视觉（vision） - 神经科学（neuroscience） - 快速视觉分类（rapid-visual-categorization） - 心理物理学（psychophysics） - 物体识别（object-recognition） - 前馈（feedforward） 正式名称："Serre、Oliva与Poggio（美国国家科学院院刊2007）——动物/非动物刺激集" 样本规模类别： - 1000<n<10000 # 动物/非动物刺激集 —— Serre、Oliva与Poggio（PNAS 2007） 本数据集为下述论文中使用的自然图像刺激集： > Serre, T., Oliva, A. 与 Poggio, T. (2007). **前馈架构可解释快速分类任务**。*美国国家科学院院刊（Proceedings of the National Academy of Sciences，简称PNAS）*，104(15)，6424–6429。https://doi.org/10.1073/pnas.0700622104 该数据集是该论文中快速动物/非动物分类心理物理学任务的基础，此后被众多后续研究复用，用于快速视觉分类、腹侧流前馈模型以及人类-模型对比等方向的研究。 原数据集分发地址`http://cbcl.mit.edu/software-datasets/serre/SerreOlivaPoggioPNAS07/`现已无法访问（原CBCL网站已重组为`poggio-lab.mit.edu`，该静态页面不再提供数据集下载）。本Hugging Face副本旨在为该刺激集提供永久可引用的存储位置。 ## 内容 共1200张256×256的RGB JPEG（联合图像专家小组格式）图像，分为2个顶级分组 × 4个子类别 × 150张图像： 目标集（Targets） # 动物图像（600张） 头部（Heads） # 动物头部特写（150张） 近景全身（CloseBody） # 动物全身特写（150张） 中景全身（MediumBody） # 场景中的动物（150张） 远景全身（FarBody） # 小型远距离动物（150张） 干扰集（Distractors） # 非动物自然图像（600张），与目标集匹配距离尺度 头部（Heads） # 自然物体/纹理特写（150张） 近景场景（CloseBody） # 近景自然场景（150张） 中景场景（MediumBody） # 中景自然场景（150张） 远景场景（FarBody） # 远景自然场景（150张） 四个子类别对应论文中提及的四种动物观察距离层级（头部特写、全身特写、场景中的动物、小型/远距离动物）。干扰子类别的选取均匹配对应目标子类别的平均视网膜尺寸与场景深度，因此动物-非动物分类的效应无法归因于低级的距离/尺寸视觉线索。 原始图像来源于Corel图库、网络资源以及个人摄影作品，随后被裁剪并重采样为256×256的8位灰度图像，对应心理物理学实验中的7°×7°视角。本发布版本中的文件以3通道JPEG格式存储（为Reza Ebrahimpour存档时保留的格式）；其源内容与原始实验中使用的灰度图像一致。 ## 加载方式 python from datasets import load_dataset ds = load_dataset("Serrelab/SerreOlivaPoggio-PNAS07") 或通过直接文件访问： python from huggingface_hub import snapshot_download local_dir = snapshot_download( repo_id="Serrelab/SerreOlivaPoggio-PNAS07", repo_type="dataset", ) ## 未包含内容 - **`AnimalnessIndex.xls`**：原始分发包中还包含一份用于部分后续分析的单张图像“动物性评分”电子表格。我们目前未持有该文件；若您有该文件，请提交Issue，我们将添加至本数据集。 - **相位随机掩码（Phase-randomized masks）**：论文中的快速呈现范式使用了1/f相位随机掩码。该掩码未包含在本图像集中；可通过刺激集本身程序化生成。 - **单张图像元数据**：除类别与子类别信息外，本数据集未附带其他额外元数据。 ## 引用说明 若您使用本数据集，请引用下述PNAS论文： bibtex @article{serre2007feedforward, title = {A feedforward architecture accounts for rapid categorization}, author = {Serre, Thomas and Oliva, Aude and Poggio, Tomaso}, journal = {Proceedings of the National Academy of Sciences}, volume = {104}, number = {15}, pages = {6424--6429}, year = {2007}, doi = {10.1073/pnas.0700622104} } ## 许可协议 **知识共享署名-非商业性使用4.0国际许可协议（CC BY-NC 4.0，Creative Commons Attribution-NonCommercial 4.0 International）**。 本数据集的源图像包含来自Corel图库的素材（该商业产品存在严格的再分发条款），因此本数据集仅可用于**非商业性研究与教育用途**，并需引用2007年的PNAS论文。这与该刺激集自2007年以来在学术社区中的使用方式一致。 ## 致谢 本数据集由Sharif理工大学的Reza Ebrahimpour教授重新提供，他在原CBCL链接失效后分享了其本地存档的副本。本数据集由布朗大学Serre实验室（https://serre.lab.brown.edu）重新托管。

搜集汇总

数据集介绍

构建方式

该数据集源自Serre、Oliva与Poggio于2007年发表在《PNAS》上的经典研究，旨在探索前馈视觉架构如何实现快速物体分类。构建过程中，研究者从Corel图库、互联网及个人摄影作品中精心挑选了1200幅自然图像，经过裁剪与重采样为统一的256×256像素灰度图像，并以7°×7°的视角呈现于心理物理学实验中。数据集被划分为正例（动物）与负例（非动物自然场景）两大类，每类又依据动物与相机的距离细分为四个子类别——头部特写、全身近景、场景中的动物及远距离小动物——每个子类均包含150幅图像。负例的构建严格匹配对应正例在视网膜上的平均尺寸与场景深度，从而排除了低阶距离与大小线索对分类任务的影响。

特点

该数据集最显著的特点在于其精细化的距离匹配设计，使得动物与非动物分类效应能够归因于高阶语义特征而非低层视觉差异。此外，数据集层级分明的目录结构——四个子类别精确对应论文中描述的动物距离水平——为研究者提供了灵活的实验操控能力，可针对不同尺度下的快速视觉分类机制进行探究。作为快速视觉分类领域的基准数据集，它已被广泛应用于后续的前馈模型验证、腹侧通路计算模型评估及人机比较研究中。数据集以JPEG格式保存，虽源自灰度源图像，但保留了原始实验所用的视觉信息，确保了跨研究的一致性。其非商业许可协议（CC BY-NC 4.0）既尊重了原始图库的版权限制，又保障了学术社区的自由使用。

使用方法

该数据集通过Hugging Face平台以标准化格式发布，便于研究者直接集成到现代机器学习工作流中。最直接的加载方式是利用Hugging Face Datasets库一行命令完成：`from datasets import load_dataset`，随后调用`load_dataset('Serrelab/SerreOlivaPoggio-PNAS07')`即可获取包含完整类别标签的迭代器。对于需要更灵活文件管理的用户，可借助`huggingface_hub`库的`snapshot_download`功能将整个数据集下载至本地目录，从而实现对图像文件的直接访问。数据集未包含额外的逐图像元数据或相位随机化掩模，研究者可根据实验需求自行生成掩模或添加标注。使用时务必引用原始的PNAS论文，以遵循学术规范并确保研究的可追溯性。

背景与挑战

背景概述

在视觉认知神经科学领域，人类能够在极短时间内完成复杂视觉分类任务的能力一直是研究焦点。Serre、Oliva与Poggio于2007年在《美国国家科学院院刊》（PNAS）上发表了开创性工作，提出前馈架构足以解释快速视觉分类过程，并为此构建了动物/非动物刺激集作为关键实验材料。该数据集由麻省理工学院计算与生物学习实验室（CBCL）创建，Brown大学Serre实验室后续维护并托管于Hugging Face平台。核心研究问题聚焦于前馈视觉通路能否在不依赖反馈连接的情况下，实现快速、鲁棒的自然图像分类。该数据集在快速视觉分类、腹侧流前馈模型及人机模型对比研究中产生了深远影响，成为认知科学与计算神经科学交叉领域的经典基准。

当前挑战

该数据集主要解决快速视觉分类这一核心领域问题，即揭示人类在极短时间内（如20毫秒）准确判断自然场景中是否包含动物的神经计算机制，挑战在于如何排除低层次视觉线索（如大小、距离）对分类结果的影响。在构建过程中，研究人员面临多重挑战：需从Corel图库、网络及个人摄影中精心筛选600张动物图像与600张非动物自然图像，并按动物距离级别（如头部特写、全身近景、场景中动物、远处小动物）进行严格子类划分，同时确保干扰项与目标项在视网膜尺寸和场景深度上精确匹配。此外，源图像的版权限制导致数据集仅能以非商业许可发布，且原始分发链接失效，需依赖社区存档恢复并重新托管，这进一步增加了数据集的维护与传播难度。

常用场景

经典使用场景

在视觉科学与计算神经科学领域，SerreOlivaPoggio-PNAS07数据集作为经典的快速视觉分类心理物理学刺激材料，被广泛用于研究灵长类视觉系统在前馈加工时间窗口内（约150毫秒）高效完成动物/非动物分类的神经机制。研究者利用该数据集中精心匹配的1,200幅自然图像——包含动物与非动物目标，且按视网膜尺寸和场景深度分为四个子类别——能够严格分离低层级视觉特征（如大小、距离）对分类行为的影响，从而精准探究腹侧视觉通路中前馈投射的调控作用。这一设计使得该数据集成为理解大脑如何在极短时间内实现复杂对象识别的标杆性实验工具。

实际应用

在实际应用层面，该数据集最直接的价值在于为计算机视觉算法与生物视觉系统的对齐评估提供了标准化的参考基准。例如，深度卷积神经网络的设计者常借助该刺激集测试模型在快速场景理解任务中的鲁棒性和类人表现水平，进而优化网络架构以更好地模拟灵长类腹侧通路的信息处理特性。此外，数据集所揭示的纯前馈分类可行性，在安防监控的快速目标识别、自动驾驶的紧急障碍物检测以及医疗影像的即时病灶筛查等需要毫秒级响应的智能系统中，具有重要的工程指导意义。研究者可据此开发更轻量级的实时视觉系统，在保证准确率的同时显著降低计算延迟。

衍生相关工作

自该数据集发布以来，它催生了一系列具有深远影响的后续经典工作。在计算建模方向，HMAX层次模型及其后续变体（如C2特征提取层）直接以该刺激集为验证平台，不断迭代对腹侧通路层级化处理机制的模拟精度。在神经科学领域，多项利用脑电图（EEG）和功能磁共振成像（fMRI）的研究沿用此刺激范式，揭示了颞叶皮层在快速分类中的特征编码时间进程。更为重要的是，该数据集促成了“大脑-模型可解释性比较”这一新兴研究范式的建立——后续工作如Geirhos等人（2021）的《部分任务不可替代性》以及Rajalingham等人（2018）的猴类心理物理学实验，均以该刺激集为基础，系统量化了深度学习模型与生物视觉系统之间的行为鸿沟，为设计更具生物合理性的视觉人工智能提供了关键基准。