SIFR

我们提出了第一个使用真实人类注视而非鼠标移动（ASSR和IRSR）的显著性排名数据集SIFR。

We present the first saliency ranking dataset, SIFR, which utilizes real human gaze data instead of mouse movements (ASSR and IRSR).

原始信息汇总

SIFR Dataset

• Description: SIFR is the first saliency ranking dataset using genuine human fixations, distinguishing it from datasets that use mouse movements (ASSR and IRSR).
• Visual Analysis: Includes images illustrating the differences between human gaze ground truth and mouse-trajectory ground truth, as well as dataset analysis.
• Download Link: SIFR Dataset

QAGNet

• Model Description: QAGNet is a novel model proposed as a baseline for the SIFR dataset, leveraging salient instance query features from a query-based transformer detector (Mask2Former) within a tri-tiered nested graph.
• Installation: Based on Mask2Former, with installation instructions provided.
• Training: Requires downloading ASSR, IRSR, and SIFR datasets, configuring dataset paths, and using pretrained weights of Mask2Former.
• Testing: Involves downloading pretrained models, configuring weights path, and running evaluation settings.

Benchmark

• Predicted Saliency Ranking Maps: Available for download, providing quantitative and qualitative comparisons as detailed in the paper.

Citing

• Citation Information: For academic use, the dataset and model can be cited using the provided BibTeX entry.

搜集汇总

数据集介绍

构建方式

SIFR数据集的构建方式独具匠心，其核心在于利用真实的人类注视点而非传统的鼠标轨迹数据。通过采集和分析人类在视觉任务中的注视点，SIFR数据集得以捕捉到更为自然和真实的视觉注意力分布。这一方法不仅提升了数据集的生物学合理性，也为后续的显著性排序研究提供了更为可靠的基础。

使用方法

使用SIFR数据集时，研究者首先需从指定链接下载数据集文件，并配置相应的路径。随后，可以利用QAGNet模型进行训练和测试，该模型基于Mask2Former框架，通过查询图网络结构处理显著实例特征。训练过程中，需配置预训练权重和相应的YAML脚本，以确保模型能够有效学习数据集中的注视点模式。测试阶段，则需加载预训练模型并配置评估设置，以生成和分析显著性排序图。

背景与挑战

背景概述

SIFR数据集由CVPR 2024会议论文《Advancing Saliency Ranking with Human Fixations: Dataset, Models and Benchmarks》提出，旨在通过真实的人类注视点而非鼠标轨迹来推进显著性排序研究。该数据集由Bowen Deng等研究人员创建，主要研究问题是如何利用人类注视点数据提升显著性排序的准确性和鲁棒性。SIFR数据集的推出填补了现有数据集中使用鼠标轨迹代替人类注视点的空白，为计算机视觉领域的显著性检测和排序提供了新的基准。

当前挑战

SIFR数据集在构建过程中面临的主要挑战包括：1) 获取真实人类注视点的数据采集难度较大，需要克服数据采集设备和方法的限制；2) 数据集的标注和处理过程复杂，确保注视点数据的准确性和一致性是一个技术难题。此外，利用SIFR数据集进行模型训练和评估时，如何有效整合显著性实例查询特征与查询基变换检测器（如Mask2Former）也是一个重要的挑战。

常用场景

经典使用场景

SIFR数据集在显著性排序领域中具有经典的使用场景，主要用于评估和改进基于人类注视点的显著性排序模型。通过提供真实的人类注视点数据，而非传统的鼠标轨迹数据，SIFR数据集使得研究人员能够更准确地捕捉和分析人类视觉注意力的分布。这种数据集的应用不仅限于学术研究，还在实际应用中为图像和视频的自动标注、广告推荐等领域提供了强有力的支持。

解决学术问题

SIFR数据集解决了显著性排序领域中长期存在的学术问题，即如何更精确地模拟和预测人类的视觉注意力。传统的基于鼠标轨迹的数据集在捕捉人类视觉行为方面存在局限性，而SIFR通过引入真实的人类注视点数据，显著提升了显著性排序模型的准确性和鲁棒性。这一突破不仅推动了显著性排序技术的发展，还为相关领域的研究提供了新的视角和方法。

实际应用

在实际应用中，SIFR数据集被广泛应用于图像和视频的自动标注、广告推荐、用户界面设计优化等领域。通过利用SIFR数据集训练的模型，企业能够更精准地预测用户的视觉注意力，从而优化广告投放策略和界面设计，提升用户体验。此外，SIFR数据集还在自动驾驶、安防监控等需要实时视觉注意分析的场景中展现出巨大的应用潜力。

数据集最近研究

最新研究方向

在计算机视觉领域，显著性排序（Saliency Ranking）的研究近年来备受关注，尤其是在利用真实人类注视点而非鼠标轨迹进行数据集构建方面。SIFR数据集的提出，标志着显著性排序研究迈向了一个新的里程碑。该数据集通过采集真实的人类注视点，提供了更为精确的显著性排序基准，从而推动了相关模型的性能提升。QAGNet作为该数据集的基线模型，通过引入查询图网络（Query as Graph Network），在显著实例查询特征的提取上展现了卓越的性能。这一研究不仅为显著性排序领域提供了新的数据资源，还为未来的模型优化和算法创新奠定了坚实的基础。