IReye dataset, HMD Face

IReye数据集是通过Fove 0 HMD收集的，包含7个主题。使用Fove的调试工具和屏幕录像机收集数据。每次数据收集前，都会使用默认程序校准用户眼睛，然后收集图像和标签。校准需要10-20秒，屏幕右下角会显示校准已结束。数据收集有两种方式：1. 使用Fove提供的调试工具记录图像和标签，然后使用OCR技术提取数字。2. 使用当前的Fove SDK API直接收集图像和标签。

The IReye dataset was collected using the Fove 0 HMD and includes data from seven subjects. Data collection was facilitated by Fove's debugging tools and screen recording software. Prior to each data collection session, the user's eyes were calibrated using a default procedure, followed by the collection of images and labels. The calibration process took between 10 to 20 seconds, with a notification displayed in the lower right corner of the screen indicating its completion. Data was collected in two ways: 1. Using Fove's provided debugging tools to record images and labels, followed by the extraction of numbers using OCR technology. 2. Directly collecting images and labels using the current Fove SDK API.

原始信息汇总

EyeFaceDataset

• 来源: 数据集链接为https://drive.google.com/drive/folders/1PWq3gJKoDo6m-ANgl9erqEbUuYn0Ihts，用于论文"Real-time 3D Face-Eye Performance Capture of a Person Wearing VR Headset"。

IReye dataset

• 采集设备: Fove 0 HMD。
• 参与者数量: 7名。
• 数据收集方法:
  • 使用Fove的调试工具记录图像和标签，结合OCR技术提取数字。
  • 使用Fove SDK API直接收集图像和标签。
• 校准过程: 需要10-20秒，屏幕右下角显示"Calibration has ended."。
• 瞳孔位置追踪: 参考https://github.com/YutaItoh/3D-Eye-Tracker，需调整常规尺寸和参数。
• 瞳孔大小测量: 使用经典的分水岭分割方法提取瞳孔区域并确定其大小。

HMD Face

• 采集设备: Mac摄像头。
• 3DMM参数提取: 使用CoarseNet，代码来源https://github.com/Juyong/3DFace。
• 3D面网格创建: 使用"Align.py"代码。
• HMD与面部对齐: 提供"HMDgh.gh"文件，为Rhino5的Grasshopper脚本，需下载Rhino5和Grasshopper插件，并调整HMD与面部的距离和HMD的缩放比例。

联系方式

• 邮箱: [e-mail]

搜集汇总

数据集介绍

构建方式

IReye数据集是通过Fove 0头戴式显示器（HMD）采集的，涵盖了7名受试者的数据。数据采集过程中，首先使用默认程序对用户的眼睛进行校准，随后通过Fove的调试工具和屏幕录制器同步记录图像及标签。校准过程耗时10至20秒，屏幕右下角会显示“校准已完成”的信号。数据采集方式有两种：一是利用Fove提供的调试工具记录图像和标签，并通过OCR技术提取数字；二是直接使用Fove SDK API实时采集图像和标签。对于瞳孔定位，参考了开源代码库中的方法，并对参数进行了调整以优化瞳孔追踪效果。瞳孔大小的计算则采用经典的分水岭分割算法提取瞳孔区域并计算其尺寸。

特点

IReye数据集的核心特点在于其专注于VR头戴设备下的实时3D面部与眼部性能捕捉。数据集不仅包含了高精度的瞳孔位置和尺寸信息，还通过Fove 0 HMD实现了对眼部动作的精确记录。此外，数据集还提供了用于数据处理的Python脚本（如FoveEyeDataProcess.py），帮助用户对数据进行归一化处理。HMD Face部分则通过Mac相机采集面部数据，并结合3DMM参数提取技术，生成了与面部对齐的3D网格模型。数据集的多模态特性使其在VR/AR领域的研究中具有重要价值。

使用方法

使用IReye数据集时，用户可通过提供的Python脚本（如FoveEyeDataProcess.py）对数据进行预处理和归一化操作。对于瞳孔定位，建议参考开源代码库中的方法，并根据实际需求调整参数。HMD Face部分的数据处理则需要使用Rhino5软件及其插件Grasshopper，通过提供的脚本（如HMDgh.gh）实现HMD与面部的对齐。此外，用户可通过Fove SDK API直接采集实时数据，或利用调试工具结合OCR技术提取标签信息。数据集的使用需遵循非公开分享的原则，仅限研究团队内部使用。

背景与挑战

背景概述

IReye数据集和HMD Face数据集由新加坡南洋理工大学的研究团队于2018年创建，旨在解决虚拟现实（VR）头戴设备中实时3D面部和眼部性能捕捉的挑战。该数据集的核心研究问题在于如何通过VR设备捕捉用户的面部和眼部动态，以实现更自然的交互体验。数据集通过Fove 0 HMD和Mac相机收集了7名受试者的数据，涵盖了眼部校准、瞳孔位置和大小检测、以及3D面部模型参数提取等多个方面。该数据集为VR领域的研究提供了重要的基础数据，推动了实时面部和眼部捕捉技术的发展，并在多媒体和虚拟现实领域产生了广泛影响。

当前挑战

IReye数据集和HMD Face数据集在构建和应用过程中面临多重挑战。首先，眼部数据的精确捕捉依赖于复杂的校准过程，且受限于硬件设备的精度和用户个体差异，导致数据质量可能不稳定。其次，瞳孔位置的检测和尺寸的测量需要结合OCR技术和图像分割算法，这些方法的鲁棒性和准确性直接影响数据的可用性。此外，3D面部模型的构建依赖于3DMM参数提取，这一过程对计算资源和算法精度提出了较高要求。最后，数据集的隐私保护和共享限制也为其广泛应用带来了挑战，如何在保护用户隐私的同时促进数据共享成为亟待解决的问题。

常用场景

经典使用场景

IReye数据集和HMD Face数据集在虚拟现实（VR）和增强现实（AR）领域中具有重要应用。IReye数据集主要用于研究用户在佩戴VR头戴设备时的眼动追踪技术，而HMD Face数据集则专注于捕捉用户在VR环境中的面部表情和3D面部重建。这些数据集为研究人员提供了丰富的实验数据，用于开发和优化VR/AR设备中的用户交互技术。

衍生相关工作

基于IReye数据集和HMD Face数据集，研究人员开发了多种先进的眼动追踪算法和面部表情捕捉技术。例如，利用IReye数据集开发的3D眼动追踪系统在VR设备中实现了高精度的眼动追踪，而基于HMD Face数据集的面部表情捕捉技术则在虚拟角色动画和情感计算中得到了广泛应用。这些衍生工作进一步推动了VR/AR技术的发展和应用。

数据集最近研究

最新研究方向

在虚拟现实（VR）和增强现实（AR）技术的快速发展背景下，IReye和HMD Face数据集为研究者在实时3D面部和眼部捕捉领域提供了宝贵资源。这些数据集特别关注于VR头戴设备使用者的面部表情和眼球运动，这对于提升用户体验和交互设计至关重要。近年来，研究者们利用这些数据集开发了多种先进的算法，如基于深度学习的3D面部重建和眼球追踪技术，这些技术不仅提高了捕捉的精确度，还增强了实时处理的能力。此外，这些数据集的应用还扩展到了情感计算和人机交互领域，为理解用户行为和优化VR/AR设备提供了新的视角。随着技术的进步，这些数据集将继续推动相关领域的研究，促进更自然、更沉浸式的虚拟体验的发展。