MPIIGaze

一个用于深度学习项目中的修改训练库，专注于MPIIGaze数据集。

A modified training library for deep learning projects, focused on the MPIIGaze dataset.

原始信息汇总

数据集概述

数据集名称

• MPIIGaze
• MPIIFaceGaze

数据集下载与预处理

• MPIIGaze:

  • 下载命令: bash scripts/download_mpiigaze_dataset.sh
  • 预处理命令: python tools/preprocess_mpiigaze.py --dataset datasets/MPIIGaze -o datasets/

• MPIIFaceGaze:

  • 下载命令: bash scripts/download_mpiifacegaze_dataset.sh
  • 预处理命令: python tools/preprocess_mpiifacegaze.py --dataset datasets/MPIIFaceGaze_normalized -o datasets/

使用方法

• 配置管理使用YACS。
• 默认参数配置文件: gaze_estimation/config/defaults.py。
• 可通过YAML文件覆盖默认参数，例如: configs/mpiigaze/lenet_train.yaml。

训练与评估

• 训练命令: python train.py --config configs/mpiigaze/lenet_train.yaml
• 评估命令: python evaluate.py --config configs/mpiigaze/lenet_eval.yaml
• 使用脚本可进行所有训练和评估:
  • scripts/run_all_mpiigaze_lenet.sh
  • scripts/run_all_mpiigaze_resnet_preact.sh

结果

• MPIIGaze:

  模型	平均测试角度误差 [度]	训练时间
  LeNet	6.52	3.5 s/epoch
  ResNet-preact-8	5.73	7 s/epoch

• MPIIFaceGaze:

  模型	平均测试角度误差 [度]	训练时间
  AlexNet	5.06	135 s/epoch
  ResNet-14	4.83	62 s/epoch

演示

• 演示程序用于通过网络摄像头视频进行注视估计。
• 需要下载dlib预训练模型并进行摄像头校准。
• 运行命令: python demo.py --config configs/demo_mpiigaze_resnet.yaml

相关资源

• 相关仓库
• 相关仓库

参考文献

• Zhang, Xucong, et al. "Appearance-based Gaze Estimation in the Wild." CVPR, 2015.
• Zhang, Xucong, et al. "Its Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation." CVPRW, 2017.
• Zhang, Xucong, et al. "MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation." IEEE TPAMI, 2017.
• Zhang, Xucong, et al. "Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications." CHI, 2019.

搜集汇总

数据集介绍

构建方式

MPIIGaze数据集的构建基于真实世界场景中的眼动追踪数据，通过高分辨率摄像头捕捉参与者的面部图像和视线方向。数据采集过程中，参与者被要求在自然环境下进行日常活动，以确保数据的多样性和真实性。数据集经过预处理，包括图像归一化和标注，以确保其适用于深度学习模型的训练和评估。

特点

MPIIGaze数据集的特点在于其丰富的样本量和高质量的真实世界数据。数据集包含大量不同光照条件和头部姿态下的面部图像，能够有效支持基于外观的视线估计任务。此外，数据集还提供了详细的视线方向标注，使得其在视线估计领域具有较高的研究价值和应用潜力。

使用方法

使用MPIIGaze数据集时，首先需要通过提供的脚本下载并预处理数据。随后，用户可以利用YACS配置管理系统对模型进行训练和评估。通过运行训练脚本，用户可以在特定配置下训练模型，并使用评估脚本对模型性能进行测试。此外，数据集还支持实时视线估计的演示程序，用户可以通过摄像头进行实时视线估计实验。

背景与挑战

背景概述

MPIIGaze数据集由马克斯·普朗克信息学研究所的研究团队于2015年首次发布，旨在解决基于外观的视线估计问题。该数据集的核心研究问题是通过分析人眼图像来估计视线方向，进而推动人机交互、虚拟现实和增强现实等领域的发展。MPIIGaze数据集包含了大量真实世界中的眼动数据，涵盖了不同光照条件、头部姿态和面部表情的变化，为研究者提供了一个极具挑战性的基准。该数据集的发布极大地推动了视线估计领域的研究，成为该领域的标准数据集之一。

当前挑战

MPIIGaze数据集在解决视线估计问题时面临多重挑战。首先，视线估计的准确性受到光照变化、头部姿态和面部表情的显著影响，如何在复杂环境下保持高精度的估计是一个关键难题。其次，数据集的构建过程中，研究人员需要克服数据采集的复杂性，确保数据的多样性和代表性。此外，由于视线估计涉及隐私问题，数据集的采集和使用必须严格遵守伦理规范，这也为数据集的构建和共享带来了额外的挑战。这些挑战不仅推动了算法的创新，也促使研究者不断优化数据采集和处理流程。

常用场景

经典使用场景

MPIIGaze数据集在计算机视觉领域中被广泛应用于视线估计任务。该数据集通过捕捉真实世界中的眼部图像，为研究者提供了一个丰富的训练和测试平台。其经典使用场景包括基于外观的视线估计模型的训练与验证，尤其是在非受控环境下的视线方向预测。通过该数据集，研究者能够评估不同模型在复杂光照、头部姿态变化等条件下的性能表现。

实际应用

MPIIGaze数据集的实际应用场景广泛，涵盖了人机交互、虚拟现实、增强现实以及驾驶员监控系统等领域。例如，在虚拟现实设备中，基于MPIIGaze训练的视线估计模型能够实时追踪用户的视线方向，从而优化用户体验。在驾驶员监控系统中，该数据集支持的模型可以检测驾驶员的注意力状态，提升行车安全性。此外，MPIIGaze还为智能广告、医疗辅助等应用提供了技术支持。

衍生相关工作

MPIIGaze数据集衍生了许多经典研究工作，推动了视线估计领域的发展。例如，基于该数据集的研究提出了多种深度学习模型，如LeNet和ResNet的变体，显著提升了视线估计的精度。此外，MPIIGaze还催生了MPIIFaceGaze等扩展数据集，进一步丰富了全脸视线估计的研究内容。相关研究不仅在学术会议上发表了多篇高影响力论文，还开源了多个工具和框架，如PyTorch实现和Demo程序，为后续研究提供了便利。