VED100

这是一个基于视频的眼动追踪数据集，用于视觉显著性检测。数据集包含原始视觉注视数据和平均视觉注视数据两个版本。所有评估均使用平均数据进行。此外，还提供了数据提取和可视化的代码，以及实验收集视觉注视数据的代码。

This is a video-based eye-tracking dataset designed for visual saliency detection. The dataset includes two versions: raw visual fixation data and averaged visual fixation data. All evaluations are conducted using the averaged data. Additionally, the dataset provides code for data extraction and visualization, as well as code for experimental collection of visual fixation data.

原始信息汇总

VED100：基于视频的眼动追踪数据集用于视觉显著性检测

数据集概述

• 数据集版本：包含两个版本的数据集。
  • Raw：原始视觉注视数据。
  • Avg：平均视觉注视数据。
  • 注意：论文中的所有评估均使用Avg数据。

数据处理

• 数据提取：包含用于从Section.1中的.txt文件提取数据的代码，使用Matlab编写。
• 热图生成：包含用于在视频中可视化注视数据（地面实况）的代码，使用OpenCV在Visual Studio中编写。

眼动追踪实验

• 实验代码：包含用于通过眼动追踪器收集视觉注视数据的代码，使用Python编写，眼动追踪器为EyeTribe。

补充信息

• 视频序列：视频序列存储于Google Drive，可在"avi"文件夹中下载。
• 实验原始数据：实验原始数据存储于"data_backup"文件夹，按实验日期分类，文件为眼动追踪器API创建的原始文本文件。
• 可视化结果：可视化结果存储于"heatmap_video"文件夹，包含输入视频帧和输出结果视频帧。

搜集汇总

数据集介绍

构建方式

VED100数据集的构建基于视频的眼动追踪实验，旨在捕捉视觉显著性检测中的注视点数据。实验采用EyeTribe眼动仪，通过Python编写的代码记录参与者在观看视频时的视觉注视点。原始数据以文本文件形式保存，包含未经处理的视觉注视点信息。随后，数据集经过处理，生成了平均视觉注视点数据，用于论文中的评估和分析。视频序列存储在Google Drive中，供用户下载和使用。

特点

VED100数据集的特点在于其包含两种不同版本的视觉注视点数据：原始数据和平均数据。原始数据记录了参与者在观看视频时的具体注视点，而平均数据则是对原始数据进行平均化处理后的结果，更适合用于视觉显著性检测的评估。此外，数据集还提供了用于数据提取和可视化的代码，用户可以通过Matlab和OpenCV对数据进行进一步处理和分析。数据集中的视频序列和实验原始数据均公开可用，便于研究人员复现和扩展实验。

使用方法

使用VED100数据集时，用户首先需要从Google Drive下载视频序列和实验原始数据。数据集提供了Matlab代码用于从文本文件中提取数据，并提供了基于OpenCV的代码用于生成注视点的热图。用户可以通过这些工具对数据进行可视化和分析。此外，数据集还包含了实验过程中生成的热图视频，用户可以直接查看实验结果。对于需要进一步处理或分析的用户，建议参考数据集提供的代码和文档，或通过邮件联系作者获取更多支持。

背景与挑战

背景概述

VED100数据集是一个基于视频的眼动追踪数据集，专注于视觉显著性检测领域。该数据集由加州大学伯克利分校的研究团队于近年创建，主要研究人员包括Fan Zhang等。数据集的核心研究问题在于如何通过眼动追踪技术捕捉人类在观看视频时的视觉注意力分布，从而为视觉显著性检测算法提供高质量的标注数据。VED100数据集的发布为视觉显著性检测领域的研究提供了重要的数据支持，推动了该领域算法的优化与创新。

当前挑战

VED100数据集在构建与应用过程中面临多重挑战。首先，视觉显著性检测本身是一个复杂的任务，需要精确捕捉人类视觉注意力的动态变化，这对数据采集的精度和实验设计提出了极高要求。其次，数据集的构建依赖于眼动追踪设备，设备精度、实验环境以及被试者的个体差异均可能影响数据的质量。此外，数据预处理与标注的复杂性也带来了技术挑战，例如如何从原始眼动数据中提取有效的视觉显著性信息，并将其转化为可用的标注数据。这些挑战不仅体现在数据集的构建过程中，也对其在算法评估中的应用提出了更高的要求。

常用场景

经典使用场景

在视觉显著性检测领域，VED100数据集通过提供基于视频的眼动追踪数据，为研究者提供了一个宝贵的资源。该数据集主要用于分析和理解人类在观看视频时的视觉注意模式，特别是在动态场景中如何分配注意力。通过使用这些数据，研究人员可以开发更精确的视觉显著性模型，从而提升视频内容分析和用户体验设计的质量。

衍生相关工作

基于VED100数据集，许多经典的研究工作得以展开。例如，研究者开发了多种基于深度学习的视觉显著性预测模型，这些模型在VED100数据集上进行了广泛的训练和测试。此外，该数据集还催生了一系列关于眼动追踪技术改进的研究，进一步推动了视觉显著性检测领域的理论创新和技术进步。

数据集最近研究

最新研究方向

在视觉显著性检测领域，VED100数据集为研究者提供了一个基于视频的眼动追踪数据资源，极大地推动了视觉注意力机制的研究。该数据集不仅包含了原始的视觉注视数据，还提供了经过平均处理的版本，使得研究者能够更精确地分析人类在观看视频时的视觉行为。近年来，随着深度学习技术的快速发展，基于VED100的研究逐渐聚焦于如何利用这些数据训练更高效的视觉显著性预测模型，特别是在动态场景下的应用。此外，该数据集还被广泛应用于人机交互、广告效果评估以及虚拟现实等热点领域，为这些领域的技术创新提供了坚实的数据支持。