EVE (End-to-end Video-based Eye-tracking)

仅从图像中估计视线是一项具有挑战性的任务，在很大程度上是由于无法观察到的特定于人的因素。实现高精度通常需要来自测试用户的标记数据，这在实际应用中可能无法实现。我们观察到，用户正在看的东西与用户眼睛的外观之间存在很强的关系。针对这种理解，我们提出了一种新颖的数据集和附带方法，旨在明确学习这些语义和时间关系。我们的视频数据集包括时间同步的屏幕记录，面向用户的摄像机视图和眼睛凝视数据，这允许在时间凝视跟踪以及无标签的凝视细化新基准。重要的是，我们证明了来自视觉刺激和眼睛图像的信息融合可以导致实现与通过监督个性化获得的文献报道的数字相似的性能。我们的最终方法在我们提出的EVE数据集上产生了显着的性能改进，注视点估计的改进高达28% (导致角度误差的2.49)，为纯粹从网络摄像头传感器实现基于屏幕的高精度眼睛跟踪铺平了道路。