DriveFace

DriveFace是由Idiap研究所与洛桑大学联合创建的跨光谱车载人脸识别基准数据集，旨在模拟真实边境管控场景中动态车辆内的人脸采集与识别挑战。该数据集包含70名参与者的多模态数据，涵盖可见光预注册图像、近红外车载探头视频以及呈现攻击子集，数据总量涉及数千个视频片段与图像样本，并详细标注了车窗色调、光照、姿态及车速等元数据。数据集通过精心设计的室内外采集协议构建，包括真实车辆户外捕获、模拟车窗环境及室内车辆设置，以系统化研究跨光谱匹配、透玻璃成像退化及恶劣光照等核心问题。其核心应用领域为自动驾驶边境控制中的生物特征认证，致力于解决在运动模糊、可变光照、局部遮挡及跨光谱注册等复杂条件下实现鲁棒人脸识别的技术难题。DriveFace is a cross-spectral in-vehicle face recognition benchmark dataset jointly developed by the Idiap Research Institute and the University of Lausanne, designed to simulate the challenges of face data acquisition and recognition within moving vehicles in real border control scenarios. This dataset holds multimodal data from 70 participants, covering visible-light pre-registration images, near-infrared in-vehicle camera videos, and a presentation attack subset. It encompasses thousands of video clips and image samples, with comprehensive metadata annotations including window tint, illumination, head pose, vehicle speed, and other relevant attributes. Built upon a meticulously designed indoor and outdoor data acquisition protocol, the dataset incorporates outdoor data collection with real vehicles, simulated window environments, and indoor vehicle test setups, enabling systematic research on core issues such as cross-spectral matching, imaging degradation through glass, and harsh illumination conditions. Its core application domain is biometric authentication for automated border control, aiming to address technical challenges in achieving robust face recognition under complex conditions including motion blur, variable illumination, partial occlusion, and cross-spectral registration.

原始信息汇总

DriveFace 数据集详情

概述

DriveFace 是一个面向车载移动边检场景的跨光谱、透过玻璃的人脸数据集，由 Idiap 研究所、洛桑大学（UNIL）等单位联合发布。该数据集模拟了“移动中”的车辆边检场景，采集对象在车内通过汽车玻璃被近红外（NIR）传感器拍摄，同时使用智能手机预先采集可见光谱（RGB）的注册人脸。

数据集规模与构成

• 70 名同意受试者，在两个相隔约两个月的会话中采集
• 包含三种采集组件：
  • 可见光谱预注册人脸：来自 iPhone 12 和 Samsung Galaxy S9 两部智能手机
  • 车内近红外人脸：通过汽车玻璃采集，涵盖不同车窗贴膜程度和视角
  • 演示攻击子集（DriveFace-PAD）

采集设置

• 跨光谱配准：RGB 注册图像与 NIR 探测图像配对
• 透过玻璃采集：通过汽车车窗在不同贴膜程度和观看角度下采集
• 运动条件：包含静止和行驶两种状态
• 三种主要探测场景：
  • 室外（45°）
  • 室内汽车
  • 模拟贴膜车窗

人口统计特征

• 性别比例均衡：45.7% 女性，54.3% 男性
• 年龄范围：18 至 85 岁
• 肤色分布（按 Fitzpatrick 皮肤类型分类）：浅色 51 人、中等 11 人、深色 6 人

面部识别基准测试

在三个评估协议上测试了 AdaFace、LVFace、EdgeFace、xEdgeFace（跨光谱适应版本）四个模型：

协议	最佳模型	AUC	EER	VR@FAR=1%	Rank-1
室外	AdaFace	99.45	2.69	96.01	97.42
模拟贴膜	xEdgeFace	96.03	8.09	88.63	89.68
室内汽车	AdaFace	98.59	3.11	96.24	97.11

• 室外协议性能最好，模拟贴膜协议最具挑战性
• 跨光谱适应的 xEdgeFace 相比其基础 EdgeFace 在困难场景下提升最显著

车窗贴膜程度影响

随着可见光透射率（VLT）增加，识别准确率普遍提升，无贴膜（clear）玻璃在所有模型上均获得最高 AUC（可达 100%）。

失败案例

多数识别失败发生在以下情况：

• 极端贴膜
• 低对比度
• 极端侧面视角
• 遮挡

演示攻击检测（DriveFace-PAD）

攻击类型包括：打印攻击、重放攻击、面具攻击，在车内通过玻璃在 NIR 下采集。

协议	最佳模型	ACER
grandtest（已知攻击）	EfficientNet-B0	0.50
unseen_mask（未见面具攻击）	DinoV2 (fc only)	26.20
unseen_print（未见打印攻击）	DeepPixBiS	18.40

• 已知攻击检测可靠（ACER 低至 0.50%）
• 对未见过的打印和面具攻击，性能显著下降，显示出明显的泛化差距

公开资源

• 论文：arXiv
• 代码：GitHub
• 数据：公开下载
• 引用格式（BibTeX）已提供

搜集汇总

数据集介绍

构建方式

在车辆边境管控场景中，传统人脸数据集难以捕捉透过车窗采集时的运动模糊、光照变化和跨光谱匹配等挑战。基于此，DriveFace数据集被构建为覆盖端到端生物识别流程的基准资源。数据集包含三大组件：预注册人脸采集、车内近红外人脸采集以及演示攻击子集。预注册阶段使用两款消费级智能手机（iPhone 12和Samsung Galaxy S9）的前置摄像头录制面部视频，以模拟旅客到达边检站前的可信旅者注册程序。车内采集则通过VIDAR PAX红外传感器，在真实车辆户外场景（约1–2米距离，涉及0°、45°、90°视角及静止与移动状态）、受控模拟室内环境（采用5%至45%可见光透射率车窗玻璃，搭配三级照明强度）以及真实车辆室内场景三种协议下完成。演示攻击子集涵盖打印、重放和面具三类攻击，并在四种红外照明强度与两种攻击姿态下录制。全数据集由70名受试者间隔约两个月采集两轮，确保短周期外观变化（如发型、胡须）的覆盖。

特点

DriveFace数据集的核心特点在于其高度真实性与细粒度控制的深度融合。首先，数据集精准复现了车辆边境检查站的典型操作条件，包括通过汽车挡风玻璃和侧窗采集时因红外反射涂层、车窗贴膜及镜面反射引起的复杂光学退化，以及乘员运动、非正面姿态和变化的环境光照。其次，数据提供丰富的逐帧元数据，涵盖贴膜等级、光照强度、头部姿态、车辆速度及天气状况，使得研究者能够对单一退化因素进行精确的隔离分析。再者，数据集特别设计了跨光谱匹配任务，预注册参考图像为可见光（RGB）高质面部素材，而探针图像则为近红外（NIR）车内影像，清晰定义了从可见光到近红外的领域迁移挑战。此外，DriveFace-PAD子集在近红外光谱下首次构建了包含多种攻击类型（如激光/喷墨打印、透明硅胶面具、塑料面具）与不同车窗贴膜透光率的演示攻击库，填补了针对车内透过玻璃场景的反欺骗研究空白。

使用方法

DriveFace的设计充分考虑了标准化评测的可重复性与实操便利性。使用者可依据数据集中预定义的三大评估协议进行实验：户外车内、模拟车窗贴膜和室内车内协议，各协议均基于身份划分互斥的训练集（60%身份）与测试集（40%身份），并强制采用跨会话匹配（即预注册与探针图像来自不同采集轮次），以模拟真实操作中的短期外观变异。每个视频片段已预先通过自动检测与人工校验提取面部裁剪区域，并附带身份、会话、视角、贴膜等级等多类标签文件，支持直接加载进行特征提取与比对。对于人脸识别任务，推荐的做法是从预注册RGB视频中选取正脸帧作为注册库，从NIR探针视频中采样最多10帧作为查询集，采用余弦相似度进行匹配，并选用如AdaFace、EdgeFace等预训练模型作为基线。对于反欺骗评测，提供了grandtest、unseen print和unseen mask三种协议，支持从已知攻击到未知攻击的泛化能力测试。数据集的完整代码、协议划分文件及预训练基线模型均已开源发布，便于研究者直接复现并扩展实验。

背景与挑战

背景概述

随着跨境流动性的持续增长，现有边境管控基础设施面临日益严峻的压力，这推动了移动式生物特征认证技术的发展，即在检查点直接于车辆内对旅客进行身份识别。人脸识别因其被动采集和远距离识别的能力，成为该场景的理想选择。然而，其发展受限于缺乏具有代表性的数据集：现有基准多在受控环境下采集，未能捕捉车辆场景中固有的挑战，如运动模糊、光照变化、遮挡及跨光谱登记。为填补这一空白，Idiap研究所和洛桑大学的研究人员于2026年提出了DriveFace数据集，该数据集专门针对边界管控场景下的移动中人脸识别，包含近红外车辆穿越视频与智能手机预登记数据配对。该数据集为跨光谱、透玻璃的人脸分析提供了首个公开的、具有操作代表性的基准，对推动非受控场景下的异质人脸识别和呈现攻击检测研究具有重要影响力。

当前挑战

DriveFace所应对的核心领域挑战是跨光谱透玻璃人脸识别在移动边界管控中的性能退化。具体包括：1) RGB-NIR跨光谱域差异导致的面部纹理与反射率变化；2) 汽车挡风玻璃的红外反射涂层、不同透光率窗膜及镜面反射引入的光学退化与信号衰减；3) 非正面姿态、运动模糊、可变环境光照及部分面部遮挡等非受控因素。在数据集构建过程中，挑战体现在：1) 模拟真实移动边界场景的多因素耦合（如车速、窗膜等级、光照强度、视角变化）；2) 在受控室内与真实户外条件下同步采集70名受试者的跨会话数据，并确保两月间隔后外貌的自然变化；3) 制作多样化的呈现攻击样本（打印、重放、面具）并匹配相同的采集条件，以支持防欺骗评估。

常用场景

经典使用场景

DriveFace数据集专为车载移动边境管控场景下的跨光谱人脸识别设计，其经典使用场景是模拟真实的边境检查流程：旅客在出发前使用智能手机在可见光（VIS）下采集高质量的人脸预登记图像，随后在车辆通过边境检查点时，系统通过近红外（NIR）摄像头透过汽车挡风玻璃或侧窗实时捕捉车内人员的人脸探针图像。该场景综合呈现了车窗镀膜反射、玻璃贴膜透光率变化、运动模糊、光照不均以及头部姿态非正面等复合挑战，为评估算法在真实操作环境下的鲁棒性提供了标准化基准。

实际应用

在实际应用中，DriveFace直接服务于自动化边境管控系统的升级与部署。边境管理机构可利用该数据集训练和评测能够同时处理跨光谱匹配、车窗干扰及运动模糊的人脸识别模型，从而实现在车辆缓行或短暂停留时无需旅客下车的无感身份验证。此外，其演示攻击子集支持部署环节对打印照片、面具和重放攻击的检测，有效提升边境安全系统的防欺诈能力。该数据集还可迁移至其他需透过玻璃识别的场景，如加油站支付、收费站通行及车内驾驶员身份认证。

衍生相关工作

DriveFace数据集的发布催生了一系列旨在提升车载跨光谱人脸识别鲁棒性的经典工作。其中，xEdgeFace通过对比自蒸馏框架实现了轻量级跨光谱适配，在保持模型高效性的同时显著提升RGB-to-NIR匹配精度；AdaFace的适应性边界损失机制在该数据集上验证了其对质量变化和模态偏移的泛化能力。在PAD领域，基于DinoV2的自监督特征被证明在未知面具攻击检测中具有更强的泛化性。这些工作共同推动了高效、轻量且能适应复杂操作条件的生物特征识别系统的发展。