OpenEDS: Open Eye Dataset

OpenEDS是由脸书现实实验室创建的大型眼图像数据集，包含356,649张图像，主要用于虚拟现实(VR)环境下的眼动追踪研究。数据集通过VR头戴显示器上的两个同步眼面对摄像头以200Hz的帧率在控制光照条件下捕捉，涵盖了152名参与者的眼部区域视频。数据集分为四个子集，包括带像素级标注的关键眼部区域图像、无标注的眼图像、随机视频序列帧以及左右眼区域的角膜地形点云数据。OpenEDS旨在为眼动追踪社区和更广泛的机器学习及计算机视觉社区提供研究机会，推动VR应用中眼动追踪技术的发展。

OpenEDS is a large-scale eye image dataset developed by Facebook Reality Labs, which contains 356,649 images and is primarily intended for eye-tracking research in virtual reality (VR) environments. Captured at 200 Hz under controlled lighting conditions using two synchronized frontal eye cameras integrated into VR head-mounted displays (HMDs), the dataset covers eye-region video data from 152 participants. It is divided into four subsets: key eye-region images with pixel-level annotations, unannotated eye images, randomly sampled frames from video sequences, and corneal topography point cloud data for the left and right eye regions. OpenEDS aims to provide research opportunities for the eye-tracking community as well as the broader machine learning and computer vision communities, and advance the development of eye-tracking technologies in VR applications.

AI搜集汇总

数据集介绍

构建方式

OpenEDS数据集的构建采用了先进的虚拟现实（VR）头戴式显示器，配备了两个同步的面向眼睛的相机，以200Hz的帧率在受控照明条件下捕获眼睛图像。该数据集由152名参与者的眼部区域视频捕获数据编译而成，分为四个子集：带有像素级关键眼部区域（虹膜、瞳孔和巩膜）注释的12,759张图像，252,690张未标记的眼睛图像，1.5秒随机选择视频序列的91,200帧，以及143对来自143名参与者（152名参与者中的143名）的眼部区域角膜地形图点云数据。为了确保数据的多样性和准确性，数据收集过程中严格控制了光照条件和参与者的年龄范围，并使用了专业的医疗设备来获取额外的眼部形状和光学特性信息。

特点

OpenEDS数据集的特点在于其规模庞大、图像分辨率高，以及包含丰富的注释和元数据。该数据集提供了像素级的眼睛区域注释，包括虹膜、瞳孔和巩膜，这为研究者提供了宝贵的训练和测试数据。此外，OpenEDS还包含了角膜地形图的点云数据，这为研究眼睛的形状和光学特性提供了新的视角。数据集的另一个显著特点是其受控的照明条件，这有助于减少光照变化对眼睛图像的影响，提高了数据的一致性和可用性。

使用方法

使用OpenEDS数据集时，研究者可以根据其研究需求选择合适的子集。对于需要进行眼睛区域语义分割的研究，可以采用带有像素级注释的图像子集进行训练和测试。对于研究眼睛运动和外观的研究，可以使用未标记的眼睛图像和视频序列子集。此外，角膜地形图的点云数据可以用于研究眼睛的形状和光学特性。为了确保研究的公平性和准确性，数据集被划分为训练集、验证集和测试集，每个子集都包含了不同身份的参与者数据。研究者在使用数据集时，应遵循数据集的使用协议，并在适当的情况下进行数据增强，以提高模型的泛化能力。

背景与挑战

背景概述

在虚拟现实（VR）技术中，精确的眼球追踪对于实现诸如注视点渲染等高级功能至关重要。为了推动这一领域的发展，Facebook Reality Labs的研究人员Stephan J. Garbin、Yiru Shen等人共同创建了一个名为OpenEDS的大型数据集。该数据集包含152名参与者在使用VR头戴式显示设备时捕捉的眼部图像，图像以200 Hz的帧率在受控光照条件下获取。数据集分为四个子集：包含关键眼部区域（虹膜、瞳孔和巩膜）像素级标注的12,759张图像；252,690张未标注的眼部图像；1.5秒长度的随机视频序列中的91,200帧；以及143对左右眼点云数据，这些数据来自使用角膜地形图设备收集的眼部形状和光学特性信息。OpenEDS的发布旨在为眼球追踪研究社区、机器学习和计算机视觉领域的研究人员提供先进的工具，以推动眼球追踪技术在VR应用中的发展。

当前挑战

OpenEDS数据集面临的挑战包括：1) 在VR环境中准确捕捉双眼数据的技术难度；2) 商业眼追踪系统通常不向用户提供原始摄像头图像，这使得构建大规模眼部图像数据集变得复杂；3) 眼部图像的标注需要专业知识，且在光照、佩戴眼镜、眼睑遮挡等因素的影响下，标注的准确性和一致性难以保证；4) 如何利用未标注的数据来提高监督学习方法的性能，以及在数据集中平衡不同身份、年龄和性别等因素的分布，以确保训练集、验证集和测试集之间的一致性和相关性。

常用场景

经典使用场景

OpenEDS: Open Eye Dataset 是一个大规模的眼部图像数据集，由 Stephan J. Garbin 等人于 2019 年发表。该数据集包含通过配备有同步双摄像头的高帧率虚拟现实（VR）头戴式显示器（HMD）捕获的眼部图像。这些图像在受控光照条件下以 200 Hz 的帧率采集。数据集由 152 名参与者的眼部区域视频捕获组成，分为四个子集：带有像素级关键眼部区域（虹膜、瞳孔和巩膜）注释的 12,759 张图像；252,690 张未标记的眼部图像；91,200 个随机选择的 1.5 秒视频序列帧；以及来自 143 名参与者（152 名参与者中的 143 名）的眼部区域角膜地形图的一对左眼和右眼点云数据。OpenEDS 被用于对瞳孔、虹膜、巩膜和背景进行语义分割的任务，其平均交并比（mIoU）为 98.3%。OpenEDS 有望为眼跟踪社区以及更广泛的机器学习和计算机视觉社区的研究人员创造机会，以推动 VR 应用中的眼跟踪技术发展。

解决学术问题

OpenEDS 解决了眼跟踪研究中数据集规模和多样性不足的问题。传统的眼跟踪系统通常不向用户公开原始摄像头图像，这增加了生成大规模眼部图像数据集的复杂性。OpenEDS 通过使用定制的 VR HMD 和高分辨率眼部图像及其对应的关键眼部区域注释掩码，填补了这一空白。此外，OpenEDS 还提供了角膜地形图的点云数据，这为研究人员提供了更全面的视觉信息。OpenEDS 的发布为眼跟踪研究提供了丰富的数据资源，推动了眼跟踪技术在虚拟现实中的应用。

衍生相关工作

OpenEDS 的发布推动了眼跟踪领域的研究，并衍生了一系列相关工作。例如，基于 OpenEDS 的语义分割算法已经取得了良好的效果，为眼跟踪技术的发展提供了新的思路。此外，OpenEDS 还可以用于开发更逼真的眼部图像渲染算法，从而提高 VR 应用的真实感。OpenEDS 的发布为眼跟踪领域的研究人员提供了宝贵的数据资源，推动了该领域的发展。