VRBiom

VRBiom数据集由瑞士的Idiap研究所创建，专注于生物识别应用，特别是通过虚拟现实头盔采集的周边眼部视频。该数据集包含900个短视频，来自25名个体，视频时长10秒，帧率72FPS，分辨率400×400，采用近红外光谱。数据集涵盖了不同的注视条件和是否佩戴眼镜的情况，旨在解决生物识别中的认证和防欺骗问题。

The VRBiom dataset was created by Idiap Research Institute in Switzerland, focusing on biometric applications, particularly periorbital videos captured via virtual reality headsets. This dataset contains 900 short videos from 25 individuals, with each video lasting 10 seconds, a frame rate of 72 FPS, a resolution of 400×400, and utilizing near-infrared spectroscopy. The dataset covers different gaze conditions and scenarios with or without eyeglasses, aiming to address authentication and anti-spoofing issues in biometrics.

原始信息汇总

数据集概述

数据集名称

VRBiom

数据集描述

VRBiom 数据集由 Idiap Research Institute 提供，该机构是一个独立、非盈利的研究基金会，隶属于 Ecole Polytechnique Fédérale de Lausanne (EPFL)。该数据集涉及人工智能在社会中的应用，包括多媒体信息管理、人机交互、感知和认知系统、自然语言处理和理解、社交媒体、生物识别个人识别、多模态信息接口、应用人工智能（AI）和大规模机器学习等领域。

数据集链接

• 英文页面: VRBiom 数据集
• 法文页面: VRBiom 数据集

作者信息

• 作者页面: Bastien Crettol

搜集汇总

数据集介绍

构建方式

VRBiom数据集的构建采用了Meta Quest Pro虚拟现实头戴设备的内置跟踪摄像头，以每秒72帧的速度捕捉了近红外光谱中的视频。该数据集由900个短视频组成，这些视频来自25个个体，并记录了三种凝视条件：稳定的凝视、移动的凝视和部分闭合的眼睛。为了涵盖真实世界的差异，数据集还包括了无眼镜和戴眼镜的录制视频，以方便分析眼镜对虹膜和/或周围识别的影响。此外，数据集还包含了大约1100个通过92种攻击仪器构建的演示攻击，这些攻击仪器分为六类，包括打印攻击、假3D眼球、塑料眼睛以及各种类型的面具和假人。

特点

VRBiom数据集的特点是提供了真实、非正面的眼睛周围区域视图，这为各种生物识别应用提供了宝贵的资源。数据集包括在三种凝视条件下录制的视频，以及无眼镜和戴眼镜的录制视频，以分析眼镜对虹膜和/或周围识别的影响。此外，数据集还包含了大约1100个通过92种攻击仪器构建的演示攻击，这些攻击仪器分为六类，包括打印攻击、假3D眼球、塑料眼睛以及各种类型的面具和假人，为演示攻击检测（PAD）研究提供了宝贵的资源。

使用方法

VRBiom数据集可用于评估、训练或调整用于生物识别用途的模型，例如虹膜和/或周围识别以及相关的子任务，例如检测和语义分割。数据集可以用于评估现有模型在HMD数据上的有效性，或者用于开发或微调特定于HMD数据的模型。数据集的多样性使其成为各种生物识别应用的理想基准，例如虹膜和/或周围识别、演示攻击检测（PAD）以及语义分割。

背景与挑战

背景概述

随着硬件技术的进步，高质量的虚拟现实头盔（HMD）设备正被众多公司开发，这推动了消费者对增强现实（AR）、虚拟现实（VR）和混合现实（MR）应用的兴趣。HMD设备的普及为超越娱乐的各种应用开辟了可能性。大多数商业上可用的HMD设备都配备了内部向内摄像头，用于记录眼周区域。鉴于这些设备的性质和捕获的数据，许多应用程序（如生物特征认证和注视分析）变得可行。为了有效地探索HMD在这些不同用例中的潜力并提高相应技术，拥有一个捕捉真实场景的HMD数据集是必要的。在这项工作中，我们介绍了一个名为VRBiom的新数据集，该数据集使用虚拟现实头盔捕获了眼周视频。VRBiom是一个针对生物特征应用的数据集，包含从25个个体记录的900个简短视频，记录在近红外（NIR）光谱中。这些10秒长的视频使用Meta Quest Pro的内部跟踪摄像头以72 FPS捕获。为了包含现实世界的差异，数据集包括在三种注视条件下记录的视频：稳定的、移动的和部分闭合的眼睛。我们还确保了没有眼镜和有眼镜的记录的平等分配，以促进对眼镜对虹膜/眼周识别的影响的分析。这些视频以非正面的眼睛视图为特征，空间分辨率相对较低（400 × 400），可以在各种生物特征应用中推进最先进的研究。VRBiom数据集可用于评估、训练或调整用于生物特征用例（如虹膜和/或眼周识别）的模型，以及相关的子任务（如检测和语义分割）。除了来自真实个体的数据外，我们还包含了大约1100个由92个演示攻击仪器构建的演示攻击。这些演示攻击仪器分为六个类别，通过打印攻击（真实和合成身份）、假3D眼球、塑料眼睛和各种类型的面具和人体模型进行组合。这些演示攻击视频与真实（真实的）数据相结合，可用于解决与欺骗相关的担忧，如果这些设备要用于认证，这是一个重大的威胁。VRBiom数据集仅面向与生物特征应用相关的科研目的公开。

当前挑战

VRBiom数据集面临的挑战包括：1) 所解决的领域问题（例如：ImageNet数据集解决的领域问题是图像分类）的挑战，即如何利用HMD设备捕捉的非正面眼周区域视频进行生物特征认证和注视分析；2) 构建过程中所遇到的挑战，包括眼睫毛的识别、演示攻击的记录、近红外相机的过曝、合成眼睛的识别以及打印攻击的模拟。

常用场景

经典使用场景

VRBiom数据集，作为一款基于虚拟现实头戴设备的生物特征识别数据集，其经典使用场景涵盖了虚拟现实（VR）和增强现实（AR）设备中的生物特征认证、凝视分析以及相关的语义分割任务。该数据集包含了真实个体和模拟攻击的视频数据，为研究人员提供了评估、训练或适配生物特征识别模型的重要资源，特别是在虹膜和/或眼周识别方面。

衍生相关工作

VRBiom数据集的发布，衍生了与HMD设备相关的多个经典研究工作，包括虹膜和眼周识别、呈现攻击检测以及语义分割等领域的研究。这些研究工作利用VRBiom数据集的独特视角和低分辨率特性，为相关领域的技术发展提供了新的思路和方法。

数据集最近研究

最新研究方向

VRBiom数据集的发布为基于头戴式显示器（HMD）的生物识别应用研究开辟了新的领域。该数据集提供了近红外光谱下采集的真实、非正面的眼周区域视频，为评估、训练或调整用于生物识别用例（如虹膜和/或眼周识别）的模型提供了宝贵资源。VRBiom数据集的独特之处在于其涵盖了现实生活中的变化，包括在三种注视条件下（稳定、移动和部分闭合眼睛）的录制，以及带眼镜和不带眼镜的录制。此外，数据集还包括了约1100个由92个攻击工具构建的演示攻击（PA）视频，这些攻击工具包括打印攻击（真实和合成身份）、假3D眼球、塑料眼睛和各种类型的面具和人体模型。这些PA视频与真实数据相结合，可用于解决与欺骗相关的担忧，这是HMD设备在认证中使用时面临的主要威胁。VRBiom数据集的发布标志着生物识别研究的一个重要里程碑，它为开发针对HMD设备的鲁棒生物识别系统提供了必要的工具和资源。

相关研究论文

• VRBiom: A New Periocular Dataset for Biometric Applications of HMD

  Idiap研究所 · 2024年