HoloFaceIllusion-Bench-EEG

HoloFaceIllusion-Bench-EEG是一个大规模的整体面部错觉刺激基准数据集，旨在测试人类与深度神经网络（DNN）在构形面部处理上的对齐性，并用于配对的脑电图（EEG）解码器评估。该数据集完全使用纯经典计算机视觉技术（dlib + OpenCV Poisson + Reinhard LAB）构建，未使用任何神经网络或生成式AI创建像素。数据集包含两个子集：v1.0（基于撒切尔错觉，源自Thompson 1980范式）和v1.2（基于部分-整体错觉，源自Tanaka 2004模板范式），两者均源自相同的FFHQ-1024源数据。v1.0子集包含26,317个身份，每个身份在4种条件下（直立正常、直立撒切尔化、倒置正常、倒置撒切尔化）生成图像，共计105,268张PNG图像，数据量约134 GB。v1.2子集采用模板设计，包含955个模板，每个模板对应9个目标（每个目标由3个不同供体的面部特征组成），测试眼睛、鼻子、嘴巴3个特征，每个（目标，特征）对在4种条件下（整体目标、整体干扰项、部分目标、部分干扰项）生成图像，共计103,140张PNG图像，数据量约72.7 GB。数据集以WebDataset格式组织，每个样本包含多张PNG图像和对应的元数据JSON文件。该数据集适用于整体面部处理能力基准测试（跨视觉Transformer、CNN、视觉语言模型等检查点）、EEG配对刺激设计（用于分析N170/N250等事件相关电位差异）、表征相似性分析（比较刺激、模型和大脑的表征差异矩阵）以及微调生物启发式面部模型。数据集采用CC BY-NC-SA 4.0许可证，仅限学术和非商业用途，并继承了FFHQ源数据的西方高加索人种偏差，因此不建议直接用于未经审核的人口统计公平性关键应用。HoloFaceIllusion-Bench-EEG is a large-scale holistic face illusion stimulus benchmark dataset designed to test the alignment between humans and deep neural networks (DNNs) on configural face processing, and for paired electroencephalogram (EEG) decoder evaluation. This dataset is constructed entirely using pure classical computer vision techniques (dlib + OpenCV Poisson + Reinhard LAB), without utilizing any neural networks or generative AI for pixel generation. The dataset contains two subsets: v1.0 (based on the Thatcher illusion, derived from the Thompson 1980 paradigm) and v1.2 (based on the part-whole illusion, derived from the Tanaka 2004 template paradigm), both sourced from the same FFHQ-1024 dataset. The v1.0 subset includes 26,317 identities, with images generated for each identity under four conditions: upright normal, upright Thatcherized, inverted normal, and inverted Thatcherized, totaling 105,268 PNG images with an approximate data size of 134 GB. The v1.2 subset adopts a template-based design, containing 955 templates, each corresponding to 9 targets (each target is composed of facial features from 3 distinct donors), testing three features: eyes, nose, and mouth. For each (target, feature) pair, images are generated under four conditions: whole target, whole distractor, part target, and part distractor, totaling 103,140 PNG images with an approximate data size of 72.7 GB. The dataset is organized in WebDataset format, with each sample containing multiple PNG images and corresponding metadata JSON files. This dataset is suitable for holistic face processing benchmarking across checkpoints of Vision Transformer, CNN, vision-language models and other architectures, paired EEG stimulus design for analyzing event-related potential differences such as N170/N250, representational similarity analysis to compare representational difference matrices of stimuli, models and brains, as well as fine-tuning biologically inspired face models. The dataset is licensed under CC BY-NC-SA 4.0 for academic and non-commercial use only. It inherits the Western Caucasian demographic bias from the FFHQ source dataset, so it is not recommended for direct use in unvetted applications critical to demographic fairness.

原始信息汇总

HoloFaceIllusion-Bench-EEG 数据集概述

基本信息

• 许可证: CC BY-NC-SA 4.0
• 任务类别: 图像分类、图像到图像
• 语言: 英语
• 标签: 人脸、视觉、心理物理学、撒切尔错觉、部分-整体错觉、整体人脸处理、脑电图、基准测试、生物启发
• 数据规模: 100K < n < 1M
• 数据集名称: HoloFaceIllusion-Bench-EEG

数据集简介

这是一个大规模的整体人脸错觉刺激基准数据集，用于测试人类与深度神经网络在构型人脸处理上的对齐程度，以及用于配对脑电解码器评估。所有图像均使用纯经典计算机视觉方法（dlib + OpenCV Poisson + Reinhard LAB）构建，未使用任何神经网络或生成式AI创建像素。

数据集包含两个子数据集，共享相同的FFHQ-1024源（Karras 2019）和相同的经典CV构建理念，以独立的config_name组织在同一个Hugging Face仓库中。

版本	范式	身份/模板	图像数	大小
v1.0 (撒切尔)	Thompson 1980 仅眼部	26,317个身份	105,268张PNG	134 GB
v1.2 (部分-整体)	Tanaka 2004 基于模板	955个模板 × 9个目标	103,140张PNG	72.7 GB
v1.1 (复合)	Young 1987	—	计划中	—

v1.0 — 撒切尔错觉（Thompson 1980）

范式: 对每张人脸，将眼睛和嘴巴在原地旋转180°（仅眼部变体，眉毛保持不动）。正立的撒切尔化人脸看起来怪异，倒置版本则几乎正常。

数据详情

项目	说明
身份数量	26,317个（通过dlib过滤的FFHQ身份，通过率37.6%）
每个身份的条件	4种（V1正立正常、V2正立撒切尔化、V3倒置正常、V4倒置撒切尔化）
Tar分片	70个（每个约1.9 GB），命名为00000.tar...69000.tar
像素基线ISI	1.000（V3 = V1旋转180°，V4 = V2旋转180°）

Tar布局（webdataset格式，每个身份一个样本）

ffhq_NNNNN/V1_upright_normal.png ffhq_NNNNN/V2_upright_thatched.png ffhq_NNNNN/V3_inverted_normal.png ffhq_NNNNN/V4_inverted_thatched.png ffhq_NNNNN/landmarks.json

规模对比（比此前撒切尔数据集大约1,300倍）

来源	身份数量	是否发布
Jacob et al. 2021 Nat Comm	20	是（OSF）
Dobs et al. 2023 PNAS	40-100	是（OSF）
HoloFaceIllusion-Bench-EEG v1.0	26,317	是（本数据集）

构建方法: dlib HOG+SVM检测 + 68点Kazemi-Sullivan landmarks + 质心对称边界框旋转 + 鬼影联合掩膜 + Poisson NORMAL_CLONE。

v1.2 — 部分-整体错觉（Tanaka 2004 基于模板）

范式: 采用单一的面部轮廓模板，将来自三个不同个体的面部特征粘贴到模板中。干扰项则用另一个目标的相同特征替换其中一个特征。

数据详情

项目	说明
模板数量	955个（对24,374个成人FFHQ人脸进行k-means人口统计学聚类）
每个模板的目标	9个（每个目标包含3个不同捐赠者的特征）
测试的特征	3种（眼睛/鼻子/嘴巴）
每个（目标，特征）的条件	4种（V1整体目标、V2整体干扰、V3部分目标、V4部分干扰）
总样本数	25,785个（模板，目标，特征）三元组
总图像数	103,140张
Tar分片	20个（v1.2/partwhole_00.tar...partwhole_19.tar，每个约3.8 GB）

Tar布局（webdataset格式，一个样本 = 模板 × 目标 × 特征）

ffhq_NNNNN/tNN_feature/V1.png (整体目标) ffhq_NNNNN/tNN_feature/V2.png (整体干扰) ffhq_NNNNN/tNN_feature/V3.png (灰色背景上的部分目标) ffhq_NNNNN/tNN_feature/V4.png (灰色背景上的部分干扰) ffhq_NNNNN/tNN_feature/meta.json (目标捐赠者、干扰捐赠者、ssim_v1v2)

构建方法: 每个特征的2点相似性变换（保留捐赠者形状）+ 掩膜联合 + Reinhard LAB重新着色 + MIXED_CLONE Poisson + 拉普拉斯细节保留层 + 通过lwr/upr face proportion < 3.85的婴儿过滤器。

数据集创建目的

整体人脸处理是大脑将人脸作为整合整体进行处理的倾向性，这是人类面孔知觉最稳健的行为标志。本基准测试针对三种经典错觉：

错觉	测试内容	状态
撒切尔（Thompson 1980）	对局部特征在人脸上下文中朝向的敏感性	✅ v1.0
复合人脸（Young 1987）	半脸整合	📋 v1.1计划中
部分-整体（Tanaka & Farah 1993）	特征辨别依赖于整体人脸上下文	✅ v1.2

该基准测试提供受控的配对刺激（V1/V2错觉对比，V3/V4基线对照），规模比已发表的心理物理刺激集大100-1300倍，足够用于表征相似性分析、神经网络层探测和脑电解码器配对。

预期用途

1. 整体处理基准测试: 跨模型检查点（视觉Transformer、CNN、视觉-语言模型）测量每层/每个检查点的ISI/PWI
2. 脑电图配对刺激设计: V1/V2对用于N170/N250 ERP差异；V3/V4用于早期视觉基线
3. 表征相似性分析: 配对V1-V4 RDM与模型RDM及大脑RDM对比
4. 微调: 在整体处理任务上微调生物启发的人脸模型

明确不适用于

• 从头训练通用人脸识别（请使用VGGFace2/MS1MV2/WebFace260M）
• 商业应用（CC BY-NC-SA 4.0 — 仅限非商业用途）
• 未经进一步审计的人口统计公平性关键应用（FFHQ存在西方白种人偏差；本数据集继承此偏差）

许可证

CC BY-NC-SA 4.0 — 继承自FFHQ。学术/非商业用途；若重新分发修改版本需保持相同许可。

搜集汇总

数据集介绍

构建方式

HoloFaceIllusion-Bench-EEG 构建于纯经典计算机视觉技术之上，未使用任何神经网络或生成式人工智能。其 Thatcher 子数据集（v1.0）以 FFHQ-1024 为源，经 dlib HOG+SVM 人脸检测与 68 点关键点定位，对每张人脸执行以质心为中心的旋转对齐，并通过 Ghost-Union 掩膜与 Poisson NORMAL_CLONE 缝合实现局部翻转。Part-Whole 子数据集（v1.2）则采用 Tanaka 2004 模板范式，对 24,374 张 FFHQ 人脸进行 k-means 人口学聚类得到 955 个模板，再从三个不同供体提取眼睛、鼻子、嘴巴特征，经相似变换、Reinhard LAB 色彩迁移与 Poisson MIXED_CLONE 融合至模板中，最终生成每模板 9 个目标×3 种特征×4 种条件的刺激图像。

特点

该数据集的核心特色在于其规模与控制的完美平衡：Thatcher 部分包含 26,317 个身份、105,268 张图像，较以往最大公开数据集扩大了约 1,300 倍；Part-Whole 部分则提供 103,140 张图像，覆盖 955 个模板。所有刺激对均具有精确的像素级基线（如 Thatcher 中反转条件 V3 为 V1 的精确 180° 旋转），确保了低层视觉混淆的完全控制。数据集涵盖了整体面部加工的三类经典错觉（Thatcher、Part-Whole，Composite 规划中），为表征相似性分析、神经网络分层探测以及 EEG 解码器配对提供了丰富的对比条件。

使用方法

用户可通过 HuggingFace Datasets 库便捷加载，使用 streaming=True 模式以应对大规模数据。Thatcher 子数据集由 load_dataset 指定 name='thatcher_v1.0' 获取，每个样本以 tar 包组织，包含四张条件图像及 landmarks.json。Part-Whole 子数据集则通过 name='partwhole_v1.2' 加载，每个样本包含四张图像与 meta.json 元数据。建议研究者利用 V1/V2 对进行 N170/N250 ERP 差异分析，或基于 V3/V4 基线构建表征距离矩阵，开展模型-大脑对齐评估。该数据集特别适用于生物启发式人脸模型的微调，但不建议用于通用人脸识别训练。

背景与挑战

背景概述

HoloFaceIllusion-Bench-EEG数据集由香港科技大学的En Hui Li等人于2026年创建，旨在系统性地研究人类整体面孔加工（holistic face processing）这一认知神经科学核心问题。该数据集聚焦于两类经典视错觉范式——撒切尔错觉（Thompson, 1980）与部分-整体错觉（Tanaka & Farah, 1993），通过完全基于经典计算机视觉方法（dlib、OpenCV泊松融合与Reinhard颜色迁移）构建大规模刺激材料，以评估深度神经网络与人类在构型面孔加工上的对齐程度。其包含超过20万张图像，规模较此前公开数据集扩大100至1300倍，为表征相似性分析、脑电图解码器配对评估以及生物启发式面孔模型微调提供了前所未有的基准资源，在计算认知科学、计算机视觉与神经工程交叉领域具有重要影响。

当前挑战

该数据集着力解决的核心领域挑战在于，现有面孔加工基准缺乏大规模、受控的视错觉刺激集以区分人类整体加工与深度网络的局部特征依赖，而HoloFaceIllusion-Bench-EEG通过两个子数据集分别考察面孔特征朝向敏感性（撒切尔错觉）与特征-情境依赖关系（部分-整体错觉）。构建过程中面临的关键挑战包括：为生成自然的部分-整体刺激，需避免跨身份特征交换产生的伪影，因此采用基于人口统计聚类的模板法（955个模板）而非简单配对；同时需确保图像操作不引入神经网络生成痕迹，故全部使用经典计算机视觉管线；此外还需处理大规模图像的对齐、掩膜与颜色迁移一致性问题，以及通过婴儿过滤等质量管控步骤保证数据有效性。

常用场景

经典使用场景

在认知科学与计算机视觉的交叉领域，HoloFaceIllusion-Bench-EEG数据集为探究整体面部加工机制提供了前所未有的规模化基准。其核心使用场景涵盖两大经典错觉范式：撒切尔错觉与部分-整体错觉，分别对应Thompson(1980)和Tanaka(2004)的经典实验设计。研究者可利用该数据集的配对刺激素材，开展跨模型层级的表征相似性分析，系统评估深度神经网络与人脑在构型面部处理上的对齐程度。同时，该数据集特别设计的V1/V2错觉对比条件与V3/V4基线控制条件，为脑电图解码器的训练与验证提供了配对刺激框架，可精准捕捉N170/N250等事件相关电位的差异特征，推动神经表征层面的模型-大脑比对研究。

衍生相关工作

该数据集的衍生工作已初步形成研究脉络。其构建理念直接继承自Jacob et al.(2021, Nature Communications)与Dobs et al.(2023, PNAS)的神经计算对齐研究，但在规模上实现了质变突破。基于该数据集，研究者可沿两条主线推进：纵向可追溯至Thompson(1980)的经典错觉与Tanaka & Farah(1993)的部分-整体效应，用于验证认知理论在当代神经网络模型中的适用性；横向则可连接Young(1987)的复合面孔错觉范式（v1.1规划中），构建完整的三元整体加工测试体系。此外，该数据集与FFHQ-1024源的继承关系，使其自然承接了StyleGAN(2019)以来的生成式人脸研究传统，为评估生成模型的人脸感知合理性提供了新的对照基准。

数据集最近研究

最新研究方向

当前，HoloFaceIllusion-Bench-EEG数据集聚焦于探究人类整体面部加工（holistic face processing）的认知神经机制与深度神经网络对齐度评估，其前沿研究方向主要体现在三个方面。其一，利用撒切尔错觉（Thatcher illusion）和局部-整体错觉（Part-Whole illusion）的大规模刺激库（规模较前人扩大1300倍），系统评估视觉Transformer、卷积神经网络及多模态视觉语言模型在整体加工中逐层表征与人类行为、脑电信号的相似性，推动生物启发式面部感知模型的发展。其二，该数据集精心设计的配对刺激范式（如V1/V2错觉对比及V3/V4基线控制），为研究N170/N250等事件相关电位对整体面孔加工的特异性响应提供了高统计效能的实验材料，有助于探索错觉诱导的神经振荡模式。其三，基于纯经典计算机视觉算法（如dlib、泊松融合与Reinhard色彩迁移）构建，避免生成式AI的干扰，使得研究者在解耦低级视觉特征与高级整体加工效应时具备更纯净的控制条件。这一基准将催生关于人工神经网络与人类视觉系统认知机制对齐度的新见解，并为跨文化整体加工差异、面孔识别的种族效应等热点议题提供大规模计算验证平台。