UBC3Deye

UBC3Deye数据集是由不列颠哥伦比亚大学电气工程系和ICICS创建的大型公开可用眼睛追踪数据集，包含61个立体3D视频及其对应的2D版本。数据集通过24名参与者在自由观看测试中收集眼睛追踪数据，旨在为研究社区提供一个用于验证不同3D视觉注意力模型的基准。数据集涵盖了广泛的强度、运动、深度和纹理密度，确保了数据的多样性和代表性。此外，数据集还包括一个在线基准系统，用于验证和比较现有的2D和3D视觉注意力模型，并支持新模型的添加。该数据集的应用领域主要集中在3D视频内容的视觉注意力预测和模型验证，旨在解决3D视觉注意力模型的准确性和有效性问题。

The UBC3Deye dataset is a large publicly available eye-tracking dataset developed by the Department of Electrical Engineering and ICICS at the University of British Columbia. It includes 61 stereoscopic 3D videos along with their corresponding 2D versions. Eye-tracking data for the dataset was collected from 24 participants during free-viewing tests, with the primary purpose of providing the research community with a benchmark to validate diverse 3D visual attention models. The dataset covers a broad spectrum of intensity, motion, depth, and texture density, ensuring the diversity and representativeness of the collected data. Furthermore, the dataset features an online benchmark system that allows for the verification and comparison of existing 2D and 3D visual attention models, and supports the integration of new models. The primary application areas of this dataset are focused on visual attention prediction and model validation for 3D video content, aiming to address the accuracy and effectiveness challenges of 3D visual attention models.

搜集汇总

数据集介绍

构建方式

在立体视觉与视觉注意机制研究领域，UBC3Deye数据集的构建体现了严谨的实验设计。该数据集通过JVC Everio立体相机采集了61段室内外场景的全高清立体视频，帧率为30fps，每段视频时长约10秒。为确保数据多样性，视频内容涵盖了强度、运动、深度和纹理密度等低层视觉属性的多种组合，并平衡了人类、车辆等高层次显著性目标的出现比例。采集过程中采用固定三脚架以避免相机运动，并通过手动视差调整与后期裁剪技术，将关键物体置于三维舒适区内，以提升观看体验并减少视觉不适。

特点

UBC3Deye数据集的核心特点在于其规模与系统性。作为大规模立体视频眼动数据集，它包含61段立体视频及其对应的二维版本，由24名受试者在自由观看任务中提供眼动数据。数据集经过精心划分，其中24段视频用于训练，37段用于验证，确保了统计属性在训练集与验证集之间的均衡分布。此外，数据集提供了由MPEG深度估计参考软件生成的视差图，并附有详细的时空信息指标、深度时空指数及强度直方图等统计描述，为三维视觉注意模型的开发与验证提供了丰富且无偏的基础数据。

使用方法

该数据集主要用于三维视觉注意模型的性能评估与比较研究。研究人员可利用其提供的真实眼动数据生成的注视密度图作为基准真值，测试各类显著性预测模型在立体视频上的准确性。数据集配套的在线基准平台支持对现有二维与三维视觉注意模型进行多指标性能评估，包括AUC、sAUC、NSS、KLD等。使用者可通过提交自有模型的显著性图或算法实现，在验证集上进行自动化评估，并将结果纳入公共基准排名，从而促进三维视觉注意建模领域的标准化比较与技术进步。

背景与挑战

背景概述

立体视觉显著性预测领域长期面临基准数据稀缺的困境，制约着三维视觉注意力模型的演进。在此背景下，英属哥伦比亚大学研究团队于2015年推出了UBC3Deye数据集，该数据集收录了61段立体视频及其二维版本，通过24名受试者在自由观看模式下采集眼动数据。该研究旨在构建大规模三维视频眼动基准数据库，为验证新兴三维视觉注意力模型提供标准化评估平台，其创新性体现在首次系统整合了深度感知与视觉注意力的关联机制，推动了立体视频内容分析、自适应压缩及质量评估等交叉领域的发展。

当前挑战

该数据集致力于解决三维视频显著性预测的核心难题：如何量化深度线索对人类视觉注意力的影响机制。具体挑战包括：1）传统二维视觉注意力模型因缺乏深度维度建模，在立体场景中预测精度显著下降；2）深度感知与二维视觉特征（如运动、纹理）存在非线性交互，需建立多模态融合框架；3）数据构建过程中需克服立体采集设备校准、视差舒适区调整、眼动数据时空对齐等技术瓶颈，同时需平衡场景复杂度与受试者视觉疲劳的冲突。

常用场景

经典使用场景

在立体视觉与视觉注意建模领域，UBC3Deye数据集被广泛用于验证和比较三维视觉注意模型的性能。该数据集通过记录24名参与者在自由观看61段立体3D视频时的眼动数据，提供了丰富的注视点密度图作为真实基准。研究人员利用这些数据评估不同模型在预测人类注意力分布时的准确性，特别是在考虑深度感知对视觉显著性的影响方面。数据集的设计涵盖了多种场景参数组合，如强度、运动、纹理和深度变化，确保了评估的全面性和无偏性。

衍生相关工作

围绕UBC3Deye数据集，衍生出多项经典研究工作，推动了三维视觉注意建模的进展。例如，LBVS-3D模型利用该数据集训练随机森林算法，整合低层次特征与高层次语义信息，实现了显著的性能提升。其他研究如Fang等人的立体图像显著性检测方法，以及Kim等人的视频显著性预测框架，均通过该数据集验证了深度信息在注意力建模中的有效性。这些工作不仅丰富了三维视觉理论，还为后续模型设计提供了可借鉴的方法论和基准对比平台。

数据集最近研究

最新研究方向

在立体视觉与视觉注意机制领域，UBC3Deye数据集作为大规模立体3D视频眼动追踪基准，为三维视觉显著性预测模型的发展提供了关键支撑。当前研究聚焦于深度感知与视觉注意的交互机制，探索如何将深度信息有效整合至显著性模型中，以提升对立体视频内容的注意力预测精度。前沿方向包括基于学习的多特征融合方法，如随机森林模型结合低层特征（亮度、颜色、运动、深度）与高层语义特征（人脸、车辆、文本等），以模拟人类视觉系统在三维环境中的注意分配。此外，研究还关注深度突显性、视觉舒适度与显著性之间的关联，旨在克服传统二维模型在立体内容中的局限性，推动自适应3D视频压缩、质量评估与内容重定向等应用的发展。

相关研究论文

• Benchmark 3D eye-tracking dataset for visual saliency prediction on stereoscopic 3D video

  不列颠哥伦比亚大学 · 2018年