UEyes dataset

UEyes数据集是一个包含真实人类眼动追踪数据的集合，用于在用户界面上进行VLM显著性预测的基准测试。数据集包括图像、显著性图（热图和固定图）、眼动追踪日志和图像类型分类。

The UEyes Dataset is a collection of real human eye-tracking data, serving as a benchmark for visual language model (VLM) saliency prediction on user interfaces. The dataset includes images, saliency maps (heatmaps and fixation maps), eye-tracking logs, and image type classifications.

原始信息汇总

UIGaze 数据集概述

数据集来源

• 本工作所使用的核心数据集为 UEyes 数据集。
• UEyes 数据集下载地址：https://zenodo.org/record/8010312

数据集内容与结构

下载并解压后的数据集位于 data/ 目录下，包含以下内容：

• images/：图像文件。
• saliency_maps/：显著图。
  • heatmaps_{1s,3s,7s}/：分别对应 1秒、3秒、7秒时长的热力图。
  • fixmaps_{1s,3s,7s}/：分别对应 1秒、3秒、7秒时长的注视点图。
• eyetracker_logs/：眼动仪日志。
• image_types.csv：图像类型文件。

数据集用途

• 用于评估视觉语言模型在用户界面上的显著性预测性能。
• 评估的基准是真实的人眼追踪数据（即 UEyes 数据集）。

数据集规模

• UEyes 数据集大小约为 12.9 GB。

相关实验结果

• 一项初步研究结果包含了 40张图像 × 7个模型 × 10次运行 × 3个持续时间 的评估。
• 详细结果参见：Pilot Results

搜集汇总

数据集介绍

构建方式

在用户界面视觉注意力研究领域，UEyes数据集的构建采用了严谨的实证方法。该数据集通过眼动追踪技术，在真实用户与多样化的用户界面交互过程中，系统性地采集了其视觉注视数据。原始数据经过处理，生成了对应于不同观察时长（1秒、3秒、7秒）的显著性热图和注视点分布图，从而精确地量化了人类在界面上的视觉关注模式。

特点

该数据集的核心特点在于其提供了与用户界面图像精确配对的、多时间尺度的真实人类眼动数据。数据集不仅包含原始的界面截图，还附带了经过处理的显著性可视化图（热图与注视点图）以及详细的眼动仪日志文件。这种结构化的数据组织方式，为量化评估视觉语言模型在预测界面视觉显著性方面的性能，建立了一个高保真度的基准测试平台。

使用方法

研究人员可通过提供的脚本便捷地下载并组织数据集文件。使用流程主要包括三个步骤：首先，运行预测收集脚本，利用指定的视觉语言模型对数据集中的界面图像生成显著性预测；其次，执行评估脚本，将模型预测与真实眼动数据（热图或注视点图）进行对比，计算一系列标准化的评估指标；最后，可通过辅助脚本查漏补缺或进行单图测试，以完成完整的基准测试分析。

背景与挑战

背景概述

在视觉语言模型（VLM）与用户界面（UI）交互研究日益深入的背景下，对模型在UI元素上的视觉注意力预测能力进行量化评估变得至关重要。UEyes数据集应运而生，它由研究团队于2023年通过Zenodo平台公开发布，旨在为VLM在用户界面上的显著性预测提供一个基于真实人类眼动追踪数据的基准测试框架。该数据集的核心研究问题聚焦于如何准确衡量VLM模拟人类在浏览数字界面时的视觉注意机制，其通过收集用户在观看UI界面时的眼动数据，构建了包含原始图像、不同时间跨度的显著性热图与注视点图、以及眼动日志的综合性资源。这一数据集的建立，为提升VLM在界面设计评估、可访问性优化及人机交互研究中的实用性与可靠性提供了关键的数据支撑，推动了相关领域从理论模型向实际应用验证的转变。

当前挑战

UEyes数据集所针对的领域挑战在于，如何精准评估视觉语言模型对用户界面中视觉元素的注意力分配，这是一个涉及认知科学、计算机视觉与人机交互的交叉难题。传统图像分类数据集的评估范式难以直接适用于结构复杂、语义层次丰富的UI界面，因为UI的视觉显著性往往与任务目标、界面布局及交互逻辑紧密耦合。在数据集构建过程中，研究者面临多重技术挑战：首先，高质量眼动数据的采集需要严格控制实验环境与参与者状态，以确保数据的信度与效度；其次，从原始眼动轨迹生成具有时间维度（如1秒、3秒、7秒）的标准化显著性图与注视图，涉及复杂的数据清洗、对齐与聚合流程；最后，构建一个规模适中但覆盖多样界面类型与交互场景的样本库，需要在数据代表性与采集成本之间取得平衡，这对数据集的泛化能力提出了考验。

常用场景

经典使用场景

在用户界面设计与人机交互研究领域，UEyes数据集为评估视觉显著性预测模型提供了基准测试平台。该数据集通过真实眼动追踪数据，捕捉用户在浏览网页、应用界面时的视觉注意力分布，常用于训练和验证机器学习模型，特别是视觉语言模型在界面元素上的显著性预测能力。研究人员利用其包含的热力图与注视点图，分析用户在特定时间窗口内的视觉行为模式，从而优化界面布局与信息呈现方式。

实际应用

在实际应用中，UEyes数据集被广泛用于用户界面优化与无障碍设计。企业及设计团队可依据其眼动数据，识别界面中的关键视觉区域，改进按钮、导航栏等元素的布局，以提升用户体验与操作效率。此外，该数据集支持开发自动化界面评估系统，辅助设计师快速检测潜在的可访问性问题，确保数字产品符合不同用户群体的视觉认知需求，尤其在教育、医疗及电子商务等领域具有显著价值。

衍生相关工作

基于UEyes数据集，衍生出多项经典研究工作，主要集中在视觉显著性预测模型的创新与评估框架的拓展。例如，研究团队利用该数据训练深度学习模型，以预测用户在界面上的注意力分布，并开发了结合多模态输入的评估工具。这些工作不仅推动了人机交互与计算机视觉的交叉融合，还为自动化界面生成、个性化推荐系统提供了理论基础，促进了智能交互技术的持续演进。