awesome-eye-data

这是一个精心策划的集合，收录了多个真实世界的眼动追踪数据集，统一为通用格式，并提供可视化与分析工具。合集覆盖眼动追踪领域，包括眼图像、瞳孔检测、头部协调等数据，如TEyeD、GazeinTheWild、LPW和HMC等数据集，旨在促进眼动研究的数据共享与分析。This is a carefully curated collection of real-world eye-tracking datasets, unified into a universal standard format, with supporting visualization and analysis tools provided. Spanning the entire eye-tracking research domain, this collection encompasses data types such as eye images, pupil detection results, head coordination data and more, including datasets like TEyeD, GazeinTheWild, LPW, and HMC. Its core objective is to promote data sharing and analytical research in the field of eye tracking.

原始信息汇总

数据集概览

awesome-eye-data 是一个精选的真实世界眼动追踪数据集集合，所有数据统一格式并提供可视化与分析工具。

包含的数据集

数据集	描述
TEyeD	超过2000万张眼部图像，包含瞳孔、眼睑、虹膜的2D/3D分割标注、关键点、注视向量和眼动类型（Dikablis录制）
GazeinTheWild	日常活动中捕获的眼部和头部协调数据
LPW	自然场景下的瞳孔检测数据（Labelled Pupils in the Wild）
HMC	头戴式摄像头录制的眼部数据

数据存储结构

data/ └── <数据集名称>/ └── <录制名称>/ ├── ANNOTATIONS/ CSV格式标注文件（按块划分） ├── VIDEOS/ 分块的眼部视频片段（.mp4） └── IRIS/ 裁剪后的虹膜视频片段（.mp4）

标注文件字段

字段	描述
FRAME	帧索引
validity	1=有效，-1=无效
gaze_x/y/z	归一化的3D注视向量
pupil_center_x/y	图像坐标系下的瞳孔中心坐标

使用方式

• 安装：运行 pip install -r requirements.txt 和 conda install opencv
• 数据下载：从 Google Drive 下载处理后数据，存放于 ./data/ 目录
• 可视化：通过 notebooks/visualize.ipynb 浏览样本帧，支持标注显示（有效/无效状态、瞳孔中心、注视方向、虹膜掩膜）

引用要求

若使用该仓库，请引用 TEyeD 论文，并同时引用各个数据集的原始文献。

搜集汇总

数据集介绍

构建方式

在眼动追踪研究领域，数据集的标准化与易用性始终是推动技术发展的关键瓶颈。awesome-eye-data项目致力于整合多个真实世界眼动追踪数据集，通过统一的格式规范与结构组织，为研究者提供便捷的数据访问与分析基础。该数据集集合了TEyeD、GazeinTheWild、LPW和HMC四个知名数据集，覆盖从瞳孔检测到眼动类型分类的多样化任务。构建过程中，所有原始数据被重新组织为统一的目录结构，每个记录包含ANNOTATIONS（CSV格式标注）、VIDEOS（分段的眼部视频片段）和IRIS（裁剪的虹膜视频片段）三个子目录，确保数据加载与处理的流程化与一致性。

特点

该数据集的核心特点在于其高度的标准化与可扩展性。所有标注文件均采用统一的CSV格式，包含帧索引、有效性标记、归一化三维视线向量及瞳孔中心坐标等关键字段，极大降低了跨数据集迁移学习的预处理成本。此外，数据集附带了可视化与统计分析工具，通过Jupyter Notebook实现样本帧的快速浏览与标注验证——有效帧以绿色标记、无效帧以红色标记，瞳孔中心以蓝点标示，视线方向以黄色箭头呈现，同时支持虹膜掩膜叠加显示，为数据质量评估与算法调试提供了直观反馈。

使用方法

使用该数据集时，研究者需首先通过pip安装依赖库并配置OpenCV环境。处理后的数据可从Google Drive下载并置于本地data目录下，随后即可利用提供的Jupyter Notebook进行可视化探索——通过设置video_path参数指向特定视频片段，Notebook会自动抽取十帧均匀分布的样本，并叠加标注信息。对于批量分析，可直接解析ANNOTATIONS目录下的CSV文件，提取视线向量、瞳孔坐标等数值，结合视频数据进行模型训练或眼动行为分析。引用时需同时注明awesome-eye-data仓库及所引用原始数据集的文献。

背景与挑战

背景概述

眼球追踪技术在人机交互、认知科学和医疗诊断等领域具有重要价值，然而现有公开数据集往往格式各异、标注标准不一，限制了模型的可迁移性与跨数据集研究。为应对这一困境，由多位研究者于近年联合构建的awesome-eye-data数据集应运而生，该数据集整合了TEyeD、GazeinTheWild、LPW及HMC等多个知名真实场景眼球追踪数据集，并统一为标准化格式，提供从瞳孔中心、眼睑分割到三维视线向量的丰富标注。其核心研究问题聚焦于构建大规模、多场景、统一格式的眼动数据基准，以推动眼动分析算法的泛化与实用化。该数据集一经发布，便为眼动追踪领域的模型训练与评估提供了重要基础设施，显著促进了相关研究的发展。

当前挑战

当前眼球追踪研究面临的核心挑战在于真实环境下数据的高度复杂性与多样性。首先，非受控场景中的光照变化、头部运动、眼睑遮挡及眨眼等因素会导致瞳孔检测与视线估计精度显著下降，现有模型难以在野外环境中保持稳健性能。其次，构建过程中，不同来源数据集在采样频率、坐标系统、标注粒度上存在巨大差异，统一格式化处理需解决数据对齐、坐标转换及缺失值填补等难题，同时保证各数据集原有标注信息的完整性。此外，大规模视频数据存储与处理对计算资源提出较高要求，而标注质量的一致性校验也成为确保数据集可用性的关键瓶颈。

常用场景

经典使用场景

在眼动追踪与人类视觉行为分析领域，该数据集为研究者提供了统一格式的真实世界眼动数据，涵盖瞳孔检测、眼睑与虹膜分割、三维视线向量及眼动类型标注。其经典使用场景包括构建鲁棒的瞳孔定位与分割模型、验证跨场景视线估计算法的泛化能力，以及分析自然行为中眼-头协调的动态模式。通过整合Dikablis头戴式设备与日常活动录制的多源数据，该数据集成为评估非约束环境下眼动追踪系统性能的标准化基准，尤其适用于光照变化、头部运动剧烈等挑战性场景下的算法开发与对比。

实际应用

在实际应用层面，该数据集深度赋能了人机交互与辅助技术领域的创新。基于其标注的瞳孔中心与三维视线向量，开发者可训练出适用于移动设备、智能眼镜及驾驶舱的轻量级眼动追踪模型，实现注视点预测、疲劳检测及注意力监控。例如，在虚拟现实头显中，该数据可用于优化眼动触发交互的延迟与精度；在无障碍技术中，它支持构建面向运动障碍患者的眼控输入系统。此外，通过整合头部运动数据，该数据集还促进了基于眼-头协调特征的认知负荷评估工具的开发，为教育、医疗及工业安全场景提供实时监测方案。

衍生相关工作

该数据集催生了一系列具有影响力的衍生研究工作。在算法层面，基于TEyeD子集的挑战赛推动了U-Net变体与Transformer架构在眼部分割任务中的突破，如提出融合时空注意力的瞳孔追踪网络。在理论层面，研究者利用统一格式的数据对比了不同设备采集下瞳孔形态差异对视线估计精度的影响，进而提出了光照鲁棒的归一化预处理方法。此外，该数据集还支撑了多模态眼动分析框架的构建，例如结合头部姿态与眼动特征的注意力预测模型，以及利用生成对抗网络合成多样化眼动数据以增强模型泛化性的工作，这些成果持续拓展着眼动追踪技术在人机共融场景中的边界。