Lensless Face Dataset (LFD)

Lensless Face Dataset (LFD)是由莱斯大学研究团队创建的大规模无透镜人脸识别数据集，旨在解决传统摄像头在体积、成本和隐私保护方面的局限性。该数据集包含21,080条数据，涵盖无透镜原始测量、重建图像和标准网络摄像头图像，数据来源于104名参与者在多样化照明、角度和距离条件下的采集，包括室内受控环境和室外自然场景。数据集通过三种不同光学编码器掩模的无透镜相机采集，经过严格的数据收集协议，包括头部姿态、面部表情和遮挡变化。该数据集主要应用于推动无透镜人脸识别算法的发展，解决无透镜成像中特有的伪影问题，并支持在紧凑型设备中的实际部署。Lensless Face Dataset (LFD) is a large-scale lensless facial recognition dataset developed by the research team from Rice University, aiming to address the limitations of traditional cameras in terms of volume, cost and privacy protection. Comprising 21,080 samples, this dataset includes lensless raw measurements, reconstructed images and standard webcam images. The data was collected from 104 participants under diverse lighting, viewing angles and distance conditions, covering both indoor controlled environments and outdoor natural scenes. The dataset was acquired via three lensless cameras equipped with distinct optical encoder masks, following a strict data collection protocol that incorporates variations in head poses, facial expressions and occlusions. This dataset is primarily designed to advance the development of lensless facial recognition algorithms, resolve the unique artifact issues inherent in lensless imaging, and support practical deployment in compact devices.

原始信息汇总

数据集概述

• 数据集名称：LFD (Lensless Face Dataset)
• 发布机构：莱斯大学电子与计算机工程系
• 相关论文：ICCP 2026
• 数据集规模：共包含 21,080 组 透镜less原始测量数据、重建图像及标准图像。

数据采集条件

• 场景多样性：涵盖不同光照条件、面部角度和拍摄距离。
• 环境多样性：包含 4,976 张户外场景图像，具有变化的自然光强度和不同背景图案。
• 设备多样性：使用三种不同类型的透镜less相机采集，每种相机具有独特的光学编码掩模。

数据集内容

• 数据组成：每份样本包括透镜less原始测量值、重建后的图像以及标准（传统相机）图像。
• 设备类型：
  • 原型1（PhlatCam）：主要采集设备，用于训练数据。
  • 原型2（PhlatCam）：相同掩模设计但制造特性不同的设备。
  • 随机二元透镜less相机：完全不同的掩模设计，用于跨掩模泛化评估。

方法流程

1. 重建阶段：使用 FlatNet（两阶段网络：Wiener初始化傅里叶域滤波 + U-Net感知增强）从原始测量恢复图像。
2. 检测阶段：通过 Faster R-CNN 人脸检测器裁剪面部区域。
3. 识别阶段：采用 SENet 识别网络（基于身份标签的交叉熵损失训练）提取特征，测试时通过L2距离比较面部嵌入。

评估结果

• 评估指标：ROC曲线下面积（AUC）
• 评估子集：Indoor Easy、Indoor All、Outdoor、Complete、Hard
• 主要结论：
  • 在LFD重建图像上直接训练的模型，在全部子集上优于使用标准图像或模拟数据训练的模型，户外和困难条件下提升最显著。
  • LFD训练的模型可有效泛化到不同制造特性的同构设备（原型2）。
  • 对于未见过掩模设计的随机二元透镜less相机，LFD仍能支持跨掩模泛化。

搜集汇总

数据集介绍

构建方式

Lensless Face Dataset (LFD) 的构建基于PhlatCam原型机，辅以第二种PhlatCam原型和随机二元掩模相机，共采集21,080张原始无透镜测量图像、重建图像及对应标准网络摄像头图像。室内固定实验场景中，通过五组光源组合创建9种照明条件，受试者在每种照明下完成10种头部姿态、5种面部表情及佩戴太阳镜的遮挡变化。室外采集选取砖墙建筑与茂密 foliage 两处地点，遵循相同协议并增加站立远距离拍摄，以引入自然光照与背景多样性。所有数据经机构审查委员会批准并在知情同意下采集，受试者涵盖104名参与者，肤色采用Monk量表标注以确保分布均衡。

特点

LFD 具有三大显著特点。其一，真实世界数据覆盖度广，包含室内外、不同距离及极端姿态，重建图像在质量上优于现有FCFD数据集，与标准图像间的感知相似度（CX、LPIPS、DreamSim）表现更佳。其二，硬件多样性丰富，整合三种不同掩模设计的无透镜相机，支持跨设备泛化验证。其三，属性标注详尽，每张图像记录照明条件、头部欧拉角、表情类型及肤色等元数据，便于细粒度分析。实验表明，基于LFD训练的模型在面验证任务中AUC指标全面领先于使用标准或模拟数据训练的模型，并能在不同PhlatCam原型与随机二元相机间有效迁移。

使用方法

LFD 主要面向无透镜人脸识别算法研发。用户可直接利用原始测量图像训练端到端识别模型，或采用重建图像进行两步法流程：先通过FlatNet等算法将原始测量恢复为可视化图像，再运用Faster R-CNN等检测器裁剪面部区域，最后利用SENet等特征提取网络生成嵌入向量，基于L2距离进行身份验证。数据集已按难易程度划分为Indoor Easy、Indoor All、Outdoor、Complete与Hard五个验证子集，并提供官方训练/测试划分。代码与数据均开源发布，支持研究者复现基准结果或定制自身实验方案。

背景与挑战

背景概述

基于透镜的传统相机在小型化、低成本与隐私保护方面日益显露其局限性，而无透镜成像技术凭借超薄光学编码器替代传统镜头，为这些瓶颈提供了富有前景的解决方案。然而，无透镜相机捕获的原始测量数据高度混叠，重建图像常伴随模糊、色彩失真与渐晕等特有伪影，严重制约了其在人脸识别任务中的实际部署。为应对这一困境，来自莱斯大学的Junho Kim、Salman S. Khan等人于2026年提出了Lensless Face Dataset（LFD）。该数据集包含21,080组无透镜原始测量、重建图像及对应标准图像，覆盖104名受试者在多种光照、角度、距离下的室内外场景，并采集自三种不同掩膜设计的无透镜相机。LFD首次提供了大规模、真实世界的无透镜人脸数据，为人脸识别算法在无透镜成像这一新兴领域的研究与验证奠定了坚实基础，显著推动了该方向从实验室模拟走向真实应用。

当前挑战

LFD所面对的挑战根植于无透镜人脸识别领域的根本性难题与数据集构建中的实际困难。在领域层面，核心挑战在于解决无透镜成像固有的混叠伪影问题——重建图像中的模糊、色差与边缘退化严重削弱了传统人脸识别模型的判别能力；现有数据集如FCFD仅涵盖受控室内环境且姿态变化有限，无法反映户外强光、复杂背景与极端偏转角等真实部署场景。在构建过程中，团队需协调硬件差异：三款采用不同光学编码掩膜的相机（如PhlatCam与Random Binary）产生的点扩散函数截然不同，导致重建网络、检测模型均需分别训练；同时，户外采集受天气与日照方向制约，需精挑时段以维持数据一致性，而姿态引导下的反光遮挡、远距离成像等问题进一步增加了数据标注与质量控制难度，最终才得以实现跨设备、跨场景的泛化能力验证。

常用场景

经典使用场景

Lensless Face Dataset (LFD) 的核心应用场景在于为无透镜人脸识别提供大规模、真实世界的数据支撑。传统相机在小型化、成本与隐私保护方面存在固有限制，而无透镜相机凭借超薄光学编码器与紧凑的形态因数为替代方案开辟了新路径。LFD 捕捉了涵盖室内外光照、多角度姿态、面部表情及遮挡在内的21,080组样本，包含原始测量值、重建图像及对应标准图像，使得研究者在真实、复杂的环境下训练和验证人脸识别模型成为可能。该数据集特别适用于评估无透镜成像中的各类伪影对识别性能的影响，为推进超薄光学系统在身份认证与安全监控等领域的实用化奠定了数据基础。

解决学术问题

LFD 系统性地解决了无透镜人脸识别研究中长期缺乏真实世界数据集的瓶颈。此前学术工作多依赖仿真数据或受控条件采集的小规模样本，如 FCFD 数据集仅涵盖近距离、强光照和有限姿态变化，难以反映实际部署中的复杂挑战。LFD 通过引入多样化光照、极端姿态、自然光照条件下的户外场景及多种无透镜相机类型，填补了数据多样性与真实性的空白。研究者得以探索重建伪影、域迁移与跨设备泛化等核心问题，显著提升了模型在真实场景下的识别鲁棒性。此外，数据集包含皮肤色调元数据，有助于缓解人脸识别中的公平性偏差，推动更具包容性的算法设计。

衍生相关工作

LFD 的发布催生了一系列相关的经典研究工作。在无透镜成像领域，研究者借鉴 LFD 中的真实伪影特性，开发了基于扩散模型的高保真重建算法，如 PhocoLens，以在保持计算效率的同时提升图像感知质量。在人脸识别方面，LFD 促使了直接从原始测量值进行端到端身份识别的新范式，绕过了显式重建步骤，如 LenslessFace 系统。此外，该数据集为跨设备学习与域适应研究提供了标准化基准，推动了如 FlatTrack 等面向眼动追踪的无透镜系统设计。在隐私保护方向，LFD 使研究得以量化无透镜相机的固有隐私特性，催生了隐私保留人脸识别方法，拓展了计算成像的伦理应用边界。