CASIA-SURF CeFA

CASIA-SURF CeFA是由澳门科技大学创建的大规模多模态跨种族面部反欺骗数据集，包含1607个不同种族的个体，涵盖非洲、东亚和中央亚洲，以及RGB、深度和红外三种模态，支持2D和3D攻击类型。该数据集旨在通过四个评估协议研究面部反欺骗算法在跨种族和跨模态条件下的泛化性能。创建过程中，使用了Intel Realsense设备同步捕捉视频，并通过3DFFA进行面部区域检测。CeFA数据集的应用领域主要集中在提高面部识别系统的安全性和鲁棒性，解决种族偏见问题。

CASIA-SURF CeFA is a large-scale multimodal cross-racial facial anti-spoofing dataset developed by Macau University of Science and Technology. It comprises 1607 individuals from diverse racial groups, including African, East Asian and Central Asian populations, and supports three imaging modalities: RGB, depth and infrared, as well as both 2D and 3D spoofing attack types. This dataset aims to investigate the generalization performance of facial anti-spoofing algorithms under cross-racial and cross-modal conditions through four evaluation protocols. During its creation, videos were synchronously captured using Intel Realsense devices, and facial region detection was performed via the 3DFFA tool. The main application scenarios of the CeFA dataset focus on enhancing the security and robustness of facial recognition systems and addressing racial bias issues.

搜集汇总

数据集介绍

构建方式

CASIA-SURF CeFA数据集的构建过程详尽且系统，旨在填补多模态跨种族人脸反欺骗领域的数据集空白。数据集采集使用了Intel Realsense设备，同时捕捉RGB、深度和红外三种模态的视频，涵盖了1,607名参与者，并包含2D和3D两种攻击类型。参与者被要求进行头部运动，以模拟真实的头部姿态变化。数据预处理阶段使用了3DFFA算法进行人脸区域检测，并对视频进行了裁剪和增强。该数据集的构建不仅注重样本的数量，更注重样本的多样性和全面性，为研究跨种族人脸反欺骗提供了重要的数据基础。

特点

CASIA-SURF CeFA数据集具有以下显著特点：首先，它是目前已知的人脸反欺骗数据集中，首个包含明确种族标签的数据集，这为研究种族偏置对反欺骗算法的影响提供了可能。其次，数据集涵盖了三种人种（非洲、东亚和中亚）、三种模态（RGB、深度和红外）和四种攻击类型（打印攻击、视频重放攻击、3D打印攻击和硅胶面具攻击），具有极高的多样性和全面性。此外，数据集还包含了不同光照条件下的样本，以及详细的性别和年龄统计数据，为算法的性能评估提供了丰富的参考。

使用方法

CASIA-SURF CeFA数据集的使用方法主要包括以下步骤：首先，用户需要根据研究需求选择合适的子数据集，例如2D攻击子集或3D攻击子集。然后，用户可以根据数据集提供的四种评估协议进行算法的训练和测试，以评估算法在不同场景下的泛化性能。例如，协议1用于评估算法在跨种族情况下的性能，协议2用于评估算法在未知攻击类型情况下的鲁棒性，协议3用于评估算法在跨模态情况下的性能，协议4则同时考虑跨种族和未知攻击类型的情况。此外，用户还可以使用数据集提供的部分共享多模态网络（PSMM-Net）作为基线，进行算法的性能比较和评估。

背景与挑战

背景概述

人脸反欺骗技术是防止人脸识别系统安全漏洞的关键技术，而CASIA-SURF CeFA数据集作为当前最大的跨种族人脸反欺骗数据集，涵盖了3个种族、3种模态、1607个受试者以及2D和3D攻击类型。该数据集由刘爱建等人于2020年创建，旨在研究人脸反欺骗中的种族偏差问题。CASIA-SURF CeFA数据集的发布为相关领域的研究提供了宝贵的资源，推动了人脸反欺骗技术的发展。

当前挑战

CASIA-SURF CeFA数据集面临的挑战主要包括：1)种族偏差问题，即人脸识别系统在不同种族上的性能表现存在差异；2)攻击类型的多样性，包括打印攻击、视频回放攻击、3D打印攻击和硅胶面具攻击等，这使得人脸反欺骗算法的泛化性能受到挑战；3)多模态融合问题，如何有效地融合RGB、深度和红外等多种模态的信息，以提升人脸反欺骗算法的性能，是当前研究的热点问题。

常用场景

经典使用场景

CASIA-SURF CeFA 数据集作为当前最大的人脸反欺骗数据集，包含 3 个种族、3 种模态、1,607 个主体和 2D 加 3D 攻击类型。它为研究者提供了一个评估人脸反欺骗算法在跨种族、跨模态和跨攻击类型下的泛化性能的平台。该数据集的 4 个评估协议，如跨种族、跨攻击类型、跨模态和跨种族 & 攻击类型，可以用于评估人脸反欺骗算法在不同条件下的性能，并研究算法的泛化能力。

衍生相关工作

CASIA-SURF CeFA 数据集衍生了多项相关工作，包括：1. 部分共享的多模态网络 (PSMM-Net)，用于学习单模态和多模态分支的融合信息；2. 静态-动态融合机制，用于缓解种族偏见；3. 部分共享融合策略，用于学习多模态之间的互补信息。这些相关工作为研究人脸反欺骗算法提供了新的思路和方法，并推动了人脸反欺骗领域的发展。

数据集最近研究

最新研究方向

CASIA-SURF CeFA数据集作为多模态跨种族人脸反欺骗领域的首个公开数据集，为研究者提供了探索种族偏置在人脸反欺骗算法中影响的重要工具。该数据集涵盖了3个种族、3种模态、1607个主体和2D及3D攻击类型，为评估人脸反欺骗算法的泛化性能提供了全面的基础。研究者在CeFA数据集上进行的实验表明，当前最先进的人脸反欺骗算法也存在着种族偏置的问题，这表明现有的人脸反欺骗数据集在种族泛化性能上存在局限。此外，多模态融合方法在提高未知攻击类型的泛化性能方面受到了越来越多的关注。在CeFA数据集的基础上，研究者提出了部分共享的多模态网络(PSMM-Net)作为强基线，通过学习单模态和多模态分支的融合信息，有效地缓解了种族和攻击模式偏置。实验结果表明，PSMM-Net在CeFA和其他三个公开的人脸反欺骗数据集上均取得了最先进的结果，这为研究人脸反欺骗算法的泛化性能提供了重要的参考和启示。

相关研究论文

• CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

  澳门科技大学 · 2020年