OpenEDS2020

OpenEDS2020是一个新颖的眼图像序列数据集，以100Hz的帧率在受控光照条件下捕获，使用配备有两个同步眼对向摄像头的虚拟现实头戴显示器。该数据集匿名处理以去除参与者个人身份信息，包含80名外观各异的参与者执行多种凝视诱发任务，分为两个子集：1) 凝视预测数据集，包含多达66,560个序列，550,400张眼图像及其对应的凝视向量，旨在促进时空凝视估计和预测方法的研究；2) 眼部分割数据集，包含200个以5Hz采样的序列，多达29,500张图像，其中5%包含语义分割标签，旨在鼓励利用时间信息将标签传播到相邻帧。

OpenEDS2020 is a novel eye image sequence dataset captured at a frame rate of 100Hz under controlled lighting conditions using a virtual reality head-mounted display equipped with two synchronized eye-facing cameras. This dataset has been anonymized to remove participants' personally identifiable information, and includes data from 80 participants with diverse appearances who performed various gaze-evoking tasks. It is divided into two subsets: 1) Gaze Prediction Dataset: containing up to 66,560 sequences, 550,400 eye images and their corresponding gaze vectors, aiming to facilitate research on spatiotemporal gaze estimation and prediction methods; 2) Eye Segmentation Dataset: containing 200 sequences sampled at 5Hz, up to 29,500 images, 5% of which are annotated with semantic segmentation labels, aiming to encourage the utilization of temporal information to propagate labels to adjacent frames.

搜集汇总

数据集介绍

构建方式

OpenEDS2020数据集的构建方式如下：首先，从90名年龄在20至70岁之间的志愿者中收集了高分辨率眼图像序列，这些志愿者在种族、性别和年龄方面具有多样性，其中一些人佩戴眼镜、隐形眼镜或化妆。参与者被要求佩戴一个VR头戴式显示器，该显示器配备了两台同步的眼部红外相机，以100Hz的帧率进行记录，并观察显示在空白屏幕上具有不同目标移动的特定点图案。数据集经过匿名处理，以移除参与者的任何个人身份信息。

使用方法

使用OpenEDS2020数据集的方法如下：1）下载并解压缩数据集文件；2）根据研究任务选择相应的数据子集，例如注视预测或眼分割；3）使用数据集中的标注数据训练和测试机器学习模型；4）评估模型性能，例如使用角度误差或交并比指标；5）根据模型性能调整模型参数或选择不同的模型结构。

背景与挑战

背景概述

OpenEDS2020数据集是OpenEDS数据集的第二个版本，由Facebook Reality Labs的研究人员于2020年5月发布。该数据集包含了80位不同外观的参与者在不同注视诱发任务下，以100Hz帧率捕捉的眼图像序列。数据集经过匿名处理，以移除参与者的任何可识别个人信息。OpenEDS2020数据集分为两个子集：1)注视预测数据集，包含多达66,560个序列，包含550,400个眼图像和相应的注视向量，旨在促进时空注视估计和预测方法的研究；2)眼分割数据集，由200个以5Hz采样的序列组成，包含多达29,500个图像，其中5%包含语义分割标签，旨在鼓励使用时间信息将标签传播到连续帧。OpenEDS2020数据集的发布为眼跟踪、机器学习和计算机视觉领域的研究人员提供了新的机会，以推动虚拟现实应用的最新技术水平。

当前挑战

OpenEDS2020数据集面临的挑战包括：1)注视预测的挑战：快速眼动对注视预测技术构成了挑战，因为眼跟踪和图形处理过程中的传输和处理延迟可能会导致用户的注视点移动到图像中渲染质量较低的区域，从而降低用户体验。2)构建过程中所遇到的挑战：数据集的构建过程中，需要解决如何有效地利用时间信息来提高注视估计和预测的准确性。此外，数据集的构建还需要考虑到参与者的多样性，包括年龄、性别、种族和佩戴眼镜或隐形眼镜等，以确保数据集的广泛适用性和代表性。

常用场景

经典使用场景

OpenEDS2020数据集在眼动追踪领域具有广泛的应用前景。其高分辨率和高帧率的图像序列，以及对注视方向和语义分割的精确标注，使其成为研究空间时间注视估计和预测方法的理想选择。数据集包含80名参与者的眼像序列，他们在不同的注视诱发任务中表现出多种眼动特征，如扫视、注视和平滑追踪。这使得OpenEDS2020成为评估和改进注视预测模型性能的重要基准。

解决学术问题

OpenEDS2020数据集解决了眼动追踪研究中的一些关键问题。首先，数据集提供了高分辨率和高帧率的图像序列，这对于捕捉快速眼动（如扫视）至关重要。其次，数据集包含精确的注视方向和语义分割标注，这有助于研究人员训练和评估注视估计和预测模型。此外，数据集的多样性（包括不同的性别、种族、年龄和眼镜佩戴情况）有助于提高模型的泛化能力。OpenEDS2020数据集的发布为眼动追踪、机器学习和计算机视觉领域的研究人员提供了宝贵资源，有助于推动虚拟现实应用的发展。

实际应用

OpenEDS2020数据集在虚拟现实（VR）和增强现实（AR）领域具有广泛的应用前景。其高分辨率和高帧率的图像序列，以及对注视方向和语义分割的精确标注，使其成为开发高保真度和沉浸式AR/VR体验的理想选择。通过利用OpenEDS2020数据集，研究人员可以开发更精确的注视预测模型，从而实现更高效的渲染和更自然的用户交互。此外，数据集还可以用于开发眼动追踪辅助技术，如健康评估、疾病诊断和人类行为分析。

数据集最近研究

最新研究方向

OpenEDS2020数据集的最新研究方向主要集中在时空信息在注视估计和预测中的应用。该数据集为研究人员提供了高分辨率和高帧率的图像序列，以及准确的注视方向和语义分割标注，为注视估计和预测研究提供了重要的基础。此外，OpenEDS2020数据集还旨在促进对基于图像/视频的注视估计方法的研究，以及利用深度学习技术进行注视估计和预测的研究。这些研究方向对于提高注视估计的准确性、实时性和鲁棒性具有重要意义，有助于推动虚拟现实和增强现实等领域的发展。

相关研究论文

• OpenEDS2020: Open Eyes Dataset

  · 2020年