MPIIGaze, MPIIFaceGaze, ETH-XGaze

使用深度学习技术展示实时/视频素材的眼球追踪注视点估计，基于MPIIGaze/MPIIFaceGaze数据集。修改了原始演示以包含我们的代码，将注视方向映射到屏幕，使用ResNet50，进行更新和错误修复。

This dataset demonstrates real-time/video material eye-tracking gaze point estimation using deep learning techniques, based on the MPIIGaze/MPIIFaceGaze dataset. The original demonstration has been modified to include our code, mapping gaze direction to the screen using ResNet50, with updates and bug fixes.

原始信息汇总

数据集概述

数据集名称

• MPIIGaze
• MPIIFaceGaze
• ETH-XGaze

数据集用途

用于进行图像和视频中的视线估计。

数据集特点

• 支持通过网络摄像头默认视频进行视线估计。
• 提供多种视线估计模型，包括MPIIGaze, MPIIFaceGaze, ETH-XGaze。

数据集示例

• ETH-XGaze 示例结果：视频01、视频02、视频03
• MPIIGaze 示例结果：视频、图像
• MPIIFaceGaze 示例结果：视频

模型训练

• 训练MPIIGaze和MPIIFaceGaze模型的仓库：链接
• 训练ETH-XGaze模型的仓库：链接

快速启动

• 安装命令：pip install ptgaze
• 运行示例：ptgaze --mode eth-xgaze

使用说明

• 支持的输入：图像文件、视频文件、摄像头输入。
• 支持的输出：视频文件，可选择保存路径。
• 支持的调试选项：显示或隐藏中间结果，如地标、头部姿态等。

参考文献

• Zhang, Xucong, et al. "ETH-XGaze: A Large Scale Dataset for Gaze Estimation under Extreme Head Pose and Gaze Variation."
• Zhang, Xucong, et al. "Appearance-based Gaze Estimation in the Wild."
• Zhang, Xucong, et al. "Its Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation."
• Zhang, Xucong, et al. "MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation."
• Zhang, Xucong, et al. "Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications."

搜集汇总

数据集介绍

构建方式

MPIIGaze、MPIIFaceGaze和ETH-XGaze数据集的构建基于大规模的真实世界数据采集，涵盖了多种头部姿态和视线变化。这些数据集通过高精度的面部和眼部图像采集技术，确保了数据的多样性和真实性。ETH-XGaze数据集特别强调了极端头部姿态和视线变化的情况，以增强模型在复杂场景下的鲁棒性。

特点

这些数据集的显著特点在于其高度的多样性和真实性，涵盖了从日常到极端的多种头部姿态和视线变化。MPIIGaze和MPIIFaceGaze数据集提供了丰富的眼部和面部图像，而ETH-XGaze则进一步扩展了数据范围，包括极端头部姿态和视线变化。此外，这些数据集均提供了详细的标注信息，便于模型训练和评估。

使用方法

使用这些数据集进行模型训练和评估时，用户可以通过指定的配置文件和命令行参数来选择不同的模型和数据集。例如，使用`ptgaze --mode eth-xgaze`命令可以启动ETH-XGaze模型的演示。用户还可以通过调整面部检测器、设备类型和输入文件路径等参数，来适应不同的应用场景和硬件环境。

背景与挑战

背景概述

在计算机视觉领域，视线估计（Gaze Estimation）是一个备受关注的研究方向，旨在通过分析人眼的视觉行为来推断其注视点。MPIIGaze、MPIIFaceGaze和ETH-XGaze数据集由Xucong Zhang等研究人员于2015年至2020年间创建，分别隶属于马克斯普朗克信息学研究所和苏黎世联邦理工学院。这些数据集的核心研究问题是如何在不同头部姿态和环境条件下，准确估计视线方向。MPIIGaze和MPIIFaceGaze数据集通过采集真实世界中的图像数据，推动了基于外观的视线估计技术的发展。而ETH-XGaze数据集则进一步扩展了研究范围，涵盖了极端头部姿态和视线变化，为视线估计领域提供了更为丰富的数据支持。这些数据集的发布不仅促进了视线估计技术的进步，还为相关应用如人机交互、虚拟现实等提供了重要的技术基础。

当前挑战

视线估计领域的挑战主要集中在以下几个方面：首先，视线估计在不同头部姿态和光照条件下的鲁棒性是一个关键问题，尤其是在极端情况下，如头部倾斜或光线变化剧烈时，模型的准确性会显著下降。其次，数据集的构建过程中，如何确保数据的多样性和代表性也是一个重要挑战。ETH-XGaze数据集虽然涵盖了极端头部姿态，但仍需进一步扩展以应对更多复杂场景。此外，视线估计模型的实时性和计算效率也是实际应用中的重要考量，尤其是在嵌入式设备或移动设备上的应用。最后，视线估计的隐私问题也逐渐受到关注，如何在保证准确性的同时保护用户隐私，是未来研究中需要解决的难题。

常用场景

经典使用场景

MPIIGaze、MPIIFaceGaze和ETH-XGaze数据集在人机交互领域中被广泛应用于视线估计任务。这些数据集通过提供高质量的图像和视频数据，使得研究人员能够训练和验证视线估计模型。经典的使用场景包括通过摄像头捕捉用户的面部和眼睛图像，实时估计用户的视线方向，从而实现基于视线的人机交互系统。

衍生相关工作

基于这些数据集，研究人员开发了多种视线估计模型和算法，如基于深度学习的视线估计网络和多模态融合的视线估计方法。此外，这些数据集还激发了相关领域的研究，如面部表情识别、头部姿态估计和多模态人机交互，推动了整个领域的技术进步和应用拓展。

数据集最近研究

最新研究方向

在计算机视觉领域，MPIIGaze、MPIIFaceGaze和ETH-XGaze数据集的最新研究方向主要集中在极端头部姿态和视线变化下的视线估计。这些数据集为研究人员提供了丰富的真实世界场景下的视线数据，推动了基于外观的视线估计技术的发展。当前的研究热点包括改进模型的鲁棒性，以应对复杂环境中的视线估计挑战，以及探索多模态融合技术，如结合面部表情、头部姿态和环境信息，以提高视线估计的准确性和可靠性。此外，这些数据集的应用也扩展到了人机交互、虚拟现实和增强现实等领域，为这些领域的发展提供了重要的技术支持。