EyeDentify

EyeDentify数据集由德国人工智能研究中心（DFKI）创建，专门用于基于网络摄像头图像的瞳孔直径估计。该数据集包含51名参与者的212,073张图像，通过使用Tobii眼动追踪器和内置网络摄像头进行数据收集。数据集的创建旨在解决瞳孔直径估计领域缺乏可用数据集的问题，特别是在使用标准网络摄像头数据的深度学习模型方面。EyeDentify数据集的应用领域广泛，包括理解人类活动和辅助医疗保健，旨在通过提供更易访问和广泛适用的瞳孔直径估计方法，促进相关领域的研究和发展。

The EyeDentify dataset was developed by the German Research Center for Artificial Intelligence (DFKI), specifically tailored for pupil diameter estimation using webcam imagery. It contains 212,073 images from 51 participants, collected via a Tobii eye tracker and integrated webcams. This dataset was created to address the scarcity of publicly available datasets in the pupil diameter estimation domain, particularly for deep learning models leveraging standard webcam data. The EyeDentify dataset has broad application scenarios, including human activity understanding and healthcare assistance, aiming to promote research and development in related fields by providing more accessible and widely applicable pupil diameter estimation methods.

原始信息汇总

EyeDentify 数据集概述

数据集简介

EyeDentify 是一个专门用于基于网络摄像头图像进行瞳孔直径估计的数据集。该数据集旨在解决瞳孔直径估计领域数据集稀缺的问题，特别是在使用普通网络摄像头数据的环境中。EyeDentify 提供了裁剪后的眼睛图像及其对应的瞳孔直径信息，支持开发和优化适用于资源有限环境的模型。

数据集作者

• Vijul Shah²
• Ko Watanabe^1,2
• Brian B. Moser^1,2
• Andreas Dengel^1,2

作者机构

• ¹德国人工智能研究中心（DFKI），德国
• ²凯泽斯劳滕-兰道大学，德国

数据集链接

• arXiv
• GitHub代码
• 数据下载
• Hugging Face Spaces

摘要

EyeDentify 数据集旨在解决瞳孔直径估计领域数据集稀缺的问题。该数据集通过提供裁剪后的眼睛图像及其对应的瞳孔直径信息，支持开发和优化适用于资源有限环境的模型。这有助于多个领域理解人类活动和支持医疗保健。

数据集比较

数据集	参与者	数据量 [帧]	公开	视线坐标	瞳孔直径
MAEB [1]	20	1,440	✗	✓	✗
MPIIFaceGaze [2]	15	213,659	✓	✓	✗
Dembinsky et al. [3]	19	648,000	✓	✓	✗
Gaze360 [4]	238	172,000	✓	✓	✗
ETH-XGaze [5]	110	1,083,492	✓	✓	✗
VideoGazeSpeech [6]	未知	35,231	✓	✓	✗
Ricciuti et al. [7]	17	20,400	✗	✓	✓
Caya et al. [8]	16	未知	✗	✓	✓
EyeDentify (ours)	51	212,073	✓	✓	✓

参考文献

• [1] MAEB
• [2] MPIIFaceGaze
• [3] Dembinsky et al.
• [4] Gaze360
• [5] ETH-XGaze
• [6] VideoGazeSpeech
• [7] Ricciuti et al.
• [8] Caya et al.

搜集汇总

数据集介绍

构建方式

EyeDentify数据集的构建主要采用了Tobii眼动追踪器和内置摄像头进行数据采集。Tobii眼动追踪器作为地面真实传感器，用于收集准确的瞳孔直径测量值，而内置摄像头则用于记录面部视频。数据采集过程中，参与者通过点击屏幕中央的按钮触发三秒的视频录制，并记录相应的开始和结束时间戳。为了确保数据的同步，Tobii眼动追踪器和摄像头记录的数据会根据时间戳进行对齐。在预处理阶段，使用MediaPipe进行人脸和眼睛检测，并对眼睛进行裁剪，同时使用眼睛特征比（EAR）和预训练的Vision Transformer模型进行眨眼检测，以排除眨眼时的帧。最终，EyeDentify数据集包含了来自51名参与者的212,073张左右眼睛图像，以及对应的瞳孔直径信息。

特点

EyeDentify数据集具有以下特点：1）它是目前最大的公开可访问的瞳孔直径数据集，为基于图像的瞳孔直径估计研究提供了丰富的数据资源；2）数据采集在自然条件下进行，参与者可以选择自己的座位位置和距离屏幕的距离，使得数据更加贴近实际应用场景；3）数据集包含了不同背景颜色下的瞳孔直径信息，为研究不同光照条件下的瞳孔变化提供了可能。

使用方法

使用EyeDentify数据集时，研究者可以将其作为训练深度学习模型的基础数据，以实现瞳孔直径的准确估计。此外，数据集还可以用于评估不同模型的性能，比较不同模型在瞳孔直径估计任务上的优劣。为了方便研究者使用，EyeDentify数据集提供了详细的文档说明，包括数据集的分布、数据预处理流程、模型训练和评估方法等。

背景与挑战

背景概述

瞳孔直径的估计对于理解生理和心理状态至关重要，但传统上这一领域主要由昂贵的专业传感器系统如Tobii主导。为了解决这一领域缺乏可用数据集的问题，Vijul Shah等人创建了一个名为EyeDentify的数据集，该数据集专门用于基于网络摄像头图像的瞳孔直径估计。该数据集的创建旨在通过提供裁剪后的眼部图像及其对应的瞳孔直径信息，使得开发和完善专门针对装备较少环境设计的模型成为可能。EyeDentify的创建不仅使得瞳孔直径估计变得更加容易获得和广泛适用，而且对理解人类活动和支持医疗保健等多个领域做出了贡献。

当前挑战

EyeDentify数据集面临的挑战包括：1) 收集地面实况数据的挑战，这通常是一个耗时且随着参与者数量增加而变得复杂的过程；2) 数据多样性的挑战，需要确保数据集在自然条件下具有广泛的适用性；3) 瞳孔直径预测本身的挑战，由于图像尺寸较小，需要进行更高分辨率的图像分析。为了克服这些挑战，EyeDentify数据集采用了传感器替换方法，使用Tobii眼动追踪器作为可靠的地面实况传感器，并通过改变计算机显示器的颜色来收集多样化的数据。此外，数据集还使用了ResNet-18和ResNet-50模型进行瞳孔直径估计，并在5折交叉验证中取得了令人满意的准确度。

常用场景

经典使用场景

EyeDentify数据集主要用于基于网络摄像头图像的瞳孔直径估计。该数据集通过提供裁剪的眼部图像及其对应的瞳孔直径信息，使得开发者和研究人员能够训练和优化模型，以实现即使在设备条件有限的场景下也能准确估计瞳孔直径的目标。

衍生相关工作

EyeDentify数据集的发布促进了一系列相关研究的发展。基于该数据集，研究人员可以训练和评估深度学习模型，以提高瞳孔直径估计的准确性和鲁棒性。此外，该数据集还支持开发瞳孔直径估计相关的应用，如智能监控系统和健康监测设备，从而推动了对人类行为和生理状态的理解。

数据集最近研究

最新研究方向

EyeDentify数据集的引入填补了基于网络摄像头图像进行瞳孔直径估计的领域空白。瞳孔直径估计对于理解生理和心理状态至关重要，但传统上依赖于昂贵的专用传感器系统，如Tobii。EyeDentify数据集通过提供裁剪后的眼部图像及其对应的瞳孔直径信息，使得开发适用于低配置环境的瞳孔直径估计模型成为可能，从而使得瞳孔直径估计更加易于获取和广泛应用，有助于理解人类行为和支持医疗保健等多个领域。该数据集还通过使用Tobii眼追踪器作为可靠的地面真实传感器，采用传感器替换方法来收集数据，克服了收集地面真实数据的挑战。此外，数据收集过程中通过改变计算机显示器的颜色，实现了数据多样性的提高，并在自然条件下收集了数据，增强了研究结果的实证效度。最后，该数据集还通过使用ResNet-18和ResNet-50模型进行初步的瞳孔直径估计，展示了模型在瞳孔直径估计方面的潜力。

相关研究论文

• EyeDentify: A Dataset for Pupil Diameter Estimation based on Webcam Images

  德国人工智能研究中心 (DFKI) · 2024年