MPIIGaze

MPIIGaze数据集由马克斯·普朗克信息学研究所创建，包含213,659张全脸图像及其对应的地面实况注视位置，采集自15名用户在日常使用笔记本电脑时的数据。该数据集通过经验抽样方法确保了连续的注视和头部姿态，以及眼睛外观和光照条件的变化。为了便于跨数据集评估，37,667张图像手动标注了眼睛角、嘴角和瞳孔中心。MPIIGaze数据集不仅在眼睛外观和光照变化方面提供了前所未有的真实性，还涵盖了个体外观的多样性，这在现有数据集中是不存在的。该数据集适用于解决不受约束的注视估计任务，特别是在日常环境和无用户面部外观、环境几何属性及相机图像形成属性假设的情况下。

The MPIIGaze dataset was created by the Max Planck Institute for Informatics, consisting of 213,659 full-face images paired with their corresponding ground-truth gaze locations, collected from 15 users during their daily laptop usage. This dataset ensures continuous gaze and head poses, as well as variations in eye appearance and lighting conditions through an empirical sampling method. To facilitate cross-dataset evaluation, 37,667 of these images were manually annotated with eye corners, mouth corners, and pupil centers. The MPIIGaze dataset not only provides unprecedented realism in terms of eye appearance and lighting variations, but also covers diversity in individual facial appearances, which is absent in existing datasets. This dataset is suitable for addressing unconstrained gaze estimation tasks, particularly in daily environments without assumptions about user facial appearance, environmental geometric properties, and camera image formation attributes.

搜集汇总

数据集介绍

构建方式

MPIIGaze数据集通过从15名用户在日常使用笔记本电脑的过程中收集的213,659张全脸图像构建而成。采用经验抽样方法确保了连续的注视和头部姿势，并真实地捕捉了眼睛外观和光照条件的变化。为了促进跨数据集评估，手动标注了37,667张图像的眼睛角、嘴角和瞳孔中心。

特点

MPIIGaze数据集的特点在于其高度的真实性和多样性，涵盖了日常生活中的多种光照条件和眼睛外观变化。此外，数据集包含了详细的面部标志点标注，使得其不仅适用于注视估计任务，还可用于其他与面部相关的计算机视觉任务，如瞳孔检测。

使用方法

MPIIGaze数据集可用于训练和评估基于外观的注视估计方法。用户可以通过提供的面部标志点信息进行数据预处理和归一化，然后利用深度卷积神经网络（如GazeNet）进行模型训练。数据集支持跨数据集和跨个人的评估，有助于研究注视估计方法在不同环境和用户间的泛化能力。

背景与挑战

背景概述

MPIIGaze数据集由Max Planck Institute for Informatics的研究人员Xucong Zhang、Yusuke Sugano、Mario Fritz和Andreas Bulling于2017年创建，旨在解决无约束环境下的注视估计问题。该数据集包含213,659张全脸图像，这些图像来自15名用户在日常使用笔记本电脑时的注视位置。通过经验采样方法，确保了注视和头部姿势的连续性以及眼睛外观和光照的现实变化。MPIIGaze的推出填补了实验室条件下收集的注视数据集与实际应用之间的差距，为跨数据集评估提供了可能，并对计算机视觉领域的注视估计研究产生了深远影响。

当前挑战

MPIIGaze数据集面临的挑战主要集中在无约束注视估计任务的复杂性上。首先，数据集解决了图像分类领域的问题，即在无约束环境下从单目RGB相机进行注视估计。其次，构建过程中遇到的挑战包括如何在日常环境中持续收集高质量的注视数据，以及如何确保数据的真实性和多样性。此外，数据集还需要应对光照条件、面部外观变化和头部姿势等多变因素带来的影响，这些都对注视估计模型的鲁棒性和准确性提出了高要求。

常用场景

经典使用场景

MPIIGaze数据集的经典使用场景在于无约束环境下的注视估计，特别是在日常使用笔记本电脑的情境中。该数据集包含了15名用户在几个月内使用笔记本电脑时的213,659张全脸图像，以及相应的真实注视位置。这种真实世界的数据收集方式使得MPIIGaze成为评估和开发基于外观的注视估计方法的理想选择，尤其是在需要处理光照变化、面部外观差异和头部姿态多样性的情况下。

衍生相关工作

基于MPIIGaze数据集，研究者们开发了多种深度学习方法，如GazeNet，该方法通过卷积神经网络（CNN）实现了显著的注视估计性能提升。此外，数据集的发布也激发了对无约束注视估计的进一步研究，包括使用合成数据进行训练的方法和跨数据集评估的策略。这些相关工作不仅提升了注视估计的准确性，还推动了计算机视觉和人类行为分析领域的发展，特别是在处理复杂和多样化环境中的视觉任务方面。

数据集最近研究

最新研究方向

在计算机视觉领域，MPIIGaze数据集的最新研究方向主要集中在无约束环境下的注视估计。该数据集通过收集日常使用笔记本电脑时的面部图像，提供了丰富的光照和外观变化，为研究者提供了在真实世界中进行注视估计的宝贵资源。前沿研究致力于开发基于深度学习的注视估计方法，如GazeNet，该方法通过卷积神经网络（CNN）显著提升了跨数据集评估的性能。此外，研究还关注于如何处理不同光照条件、个人外观差异以及注视范围的变化，以提高注视估计的鲁棒性和准确性。这些研究不仅推动了注视估计技术的发展，也为人机交互和视觉注意力分析等应用领域提供了新的可能性。

相关研究论文

• MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation

  马克斯·普朗克信息学研究所 · 2017年