NPF-200

NPF-200是首个大规模多模态非写实视频眼动数据集，由华南理工大学等机构创建。该数据集包含200个精心挑选的视频，超过70,000帧，涵盖了卡通和游戏视频，每个视频都配有音频，以辅助视觉注意力的检测。数据集的创建过程涉及使用Tobii眼动追踪器收集20名观察者的眼动数据，并将离散的眼动点转换为连续的注意力图。NPF-200数据集的应用领域包括媒体制作、艺术设计和游戏用户体验的增强，旨在解决非写实视频中视觉注意力的理解和预测问题。NPF-200 is the first large-scale multimodal non-photorealistic video eye-tracking dataset, developed by South China University of Technology and other institutions. This dataset contains 200 carefully selected videos with over 70,000 frames in total, covering both cartoon and game videos, and each video is equipped with audio to aid visual attention detection. The development of the NPF-200 dataset involved collecting eye-tracking data from 20 observers using Tobii eye trackers, and transforming discrete eye fixation points into continuous attention maps. The application scenarios of the NPF-200 dataset include media production, art design, and enhancement of game user experience, aiming to address the issues of understanding and predicting visual attention in non-photorealistic videos.

搜集汇总

数据集介绍

构建方式

NPF-200数据集的构建过程融合了多模态信息，特别是非写实视频中的视觉和听觉元素。首先，通过Tobii Eye Tracker 5设备记录观看者在观看非写实视频时的眼球运动数据。随后，将这些离散的注视点转换为连续的显着性图，确保数据的高质量和高分辨率。此外，数据集包含了丰富的音频信息，这些音频与视频内容紧密同步，为显着性检测提供了额外的辅助信息。

特点

NPF-200数据集的显著特点在于其多模态性和高质量的内容。首先，数据集包含了带有音轨的视频，这些音轨在视觉和心理研究中被证明是至关重要的。其次，视频内容多样化，涵盖了卡通和游戏等多种非写实场景，确保了数据的广泛性和代表性。最后，数据集中的视频具有丰富的动态内容，包括摄像机运动和内容运动，这些动态元素对人类注意力有显著影响。

使用方法

NPF-200数据集主要用于非写实视频的显着性检测研究。研究人员可以通过该数据集训练和验证他们的模型，以预测观看者在观看非写实视频时的注意力分布。具体使用方法包括：首先，加载数据集中的视频和相应的显着性图；其次，使用这些数据进行模型的训练和测试；最后，通过比较预测的显着性图与实际的显着性图，评估模型的性能。数据集的开放性和高质量使其成为相关研究领域的宝贵资源。

背景与挑战

背景概述

随着元宇宙的兴起，非写实视频的需求激增，但相关研究却相对匮乏。NPF-200数据集由华南理工大学、新加坡管理大学、Adobe Research、腾讯和香港理工大学的研究人员共同创建，旨在填补这一研究空白。该数据集专注于非写实视频中的眼动追踪（即显著性检测），这对于提升媒体制作、艺术设计和游戏用户体验至关重要。NPF-200是首个大规模的多模态非写实视频眼动追踪数据集，包含200个精心挑选的视频，涵盖多种内容和高质量的音频，为相关领域的研究提供了丰富的资源。

当前挑战

NPF-200数据集在构建过程中面临多项挑战。首先，非写实视频的显著性检测与自然场景存在显著差异，需要开发新的模型和方法。其次，数据集的构建涉及多模态信息的整合，包括视觉和听觉信息的同步处理，这增加了数据处理的复杂性。此外，如何准确捕捉和分析观众在非写实视频中的眼动行为，以及如何将离散的注视点转换为连续的显著性图，都是该数据集需要解决的关键问题。这些挑战不仅推动了数据集的创建，也为未来的研究提供了新的方向。

常用场景

经典使用场景

NPF-200数据集的经典使用场景主要集中在非真实感视频（如卡通和游戏视频）中的视觉注意力检测。通过收集和分析人类在观看这些视频时的眼球固定点，该数据集能够生成连续的显着性图，从而帮助研究人员理解和预测观众在动态场景中的视觉焦点。这种应用不仅在媒体制作和艺术设计中具有重要意义，还在提升游戏用户体验方面展现出巨大潜力。

实际应用

NPF-200数据集在实际应用中具有广泛的前景。在媒体制作领域，该数据集可以帮助编辑人员快速提取关键场景或重要区域，从而优化视频内容。在艺术设计中，设计师可以利用显着性检测来引导观众的注意力，确保设计意图得到有效传达。此外，游戏开发者可以利用该数据集改进游戏界面设计，提升玩家的游戏体验。

衍生相关工作

NPF-200数据集的发布催生了一系列相关研究工作。例如，基于该数据集，研究人员提出了多模态显着性检测模型NPSNet，该模型在非真实感视频的显着性检测任务中表现出色。此外，该数据集还激发了对多模态网络设计和多领域训练的深入研究，为未来的视觉注意力建模和非真实感设计提供了新的研究方向。