GazeCapture (Eye Tracking for Everyone)

从科学研究到商业应用，眼动追踪是跨许多领域的重要工具。尽管其应用范围广泛，但眼睛跟踪尚未成为一种普遍的技术。我们相信，我们可以通过构建适用于手机和平板电脑等商品硬件的眼动追踪软件，而无需额外的传感器或设备，将眼动追踪的力量放在每个人的手掌中。我们通过引入GazeCapture来解决这个问题，这是第一个用于眼睛跟踪的大规模数据集，其中包含来自1450多人的数据，其中包括近2.5万美元的帧。使用GazeCapture，我们训练了iTracker，这是一种用于眼睛跟踪的卷积神经网络，与以前的方法相比，它在现代移动设备上实时运行 (10-15fps) 时可以显着减少误差。我们的模型在手机和平板电脑上没有校准的情况下分别实现了1.7厘米和2.5厘米的预测误差。通过校准，这被减少到1.3厘米和2.1厘米。此外，我们证明了iTracker学习的功能可以很好地推广到其他数据集，从而实现了最先进的结果。