VQA-ODV

VQA-ODV数据集由北京航空航天大学电子信息工程学院创建，包含600个全向视频序列，旨在研究全向视频的视觉质量评估（VQA）。数据集不仅提供序列的主观质量评分，还包括观察者的头部运动（HM）和眼睛运动（EM）数据。VQA-ODV数据集内容多样，涵盖不同内容、时长和分辨率，包括压缩和地图投影的损伤。该数据集的应用领域主要集中在全向视频的视觉质量评估，特别是如何通过考虑人类行为（如HM和EM）来提高VQA的准确性。

The VQA-ODV dataset was created by the School of Electronic and Information Engineering, Beihang University. It consists of 600 omnidirectional video sequences, and is designed for research on visual quality assessment (VQA) of omnidirectional videos. In addition to providing subjective quality scores for the sequences, the dataset also includes head movement (HM) and eye movement (EM) data from observers. The VQA-ODV dataset features diverse content, covering various content types, durations and resolutions, and encompasses distortions induced by compression and map projection. The primary application scope of this dataset focuses on visual quality assessment for omnidirectional videos, particularly on how to improve the accuracy of VQA by considering human behaviors such as HM and EM.

搜集汇总

数据集介绍

构建方式

在虚拟现实技术蓬勃发展的背景下，全景视频因其沉浸式体验而备受关注，但其视觉质量评估面临独特挑战。VQA-ODV数据集的构建旨在填补主观质量评估与人类观看行为之间的研究空白。该数据集精心选取了60段高质量的全景参考视频，内容涵盖自然风光、计算机图形、表演与体育等多种类别，分辨率从4K到8K不等，并采用等距柱状投影。通过对每段参考视频施加压缩与投影变换两种类型的损伤，生成了540段受损视频，其中压缩采用H.265标准以不同量化参数实现，投影则包括等距柱状投影、重塑立方体贴图投影和截顶方锥投影三种形式。数据收集过程中，使用头戴式显示器和眼动追踪模块，记录了221名受试者在观看这些视频时的主观质量评分、头部运动与眼动数据，确保了数据与视频帧的精确对齐，最终形成了包含600段视频序列的大规模数据集。

使用方法

VQA-ODV数据集为全景视频质量评估领域的研究提供了丰富的实验素材。研究者可利用该数据集进行主观与客观质量评估的相关性分析，例如通过计算峰值信噪比、球面均匀峰值信噪比等传统指标与差分平均意见分数的相关系数，验证现有评估方法在全景视频上的适用性。更为重要的是，数据集中的头部运动与眼动数据可直接用于构建融合人类行为特征的深度学习模型，如通过生成基于视口的权重图来加权计算感知误差，从而提升客观评估的准确性。在实际应用中，该数据集支持模型训练与性能验证，例如将视频序列划分为训练集与测试集，利用预测的头部运动与眼动图作为输入，训练端到端的质量评估网络。此外，数据集还可用于探索不同投影方式对视觉质量的影响，为编码与传输优化提供依据，推动虚拟现实视频处理技术的发展。

背景与挑战

背景概述

随着虚拟现实技术的迅猛发展，全向视频作为一种新兴多媒体形式，以其360×180度的球形视野为用户带来沉浸式体验。然而，其高分辨率特性在存储与传输方面提出了严峻挑战，进而可能影响视觉质量。在此背景下，北京航空航天大学的陈力、徐迈等研究人员于2018年创建了VQA-ODV数据集，旨在填补全向视频视觉质量评估与人类观看行为之间的研究空白。该数据集包含60个参考序列与540个受损序列，不仅提供了主观质量评分，还首次同步采集了头动与眼动数据。这一创新性工作为深入探究人类行为与视觉质量之间的关联奠定了数据基础，推动了全向视频质量评估领域向更符合人类感知的方向发展。

当前挑战

VQA-ODV数据集致力于解决全向视频视觉质量评估的挑战，其核心在于如何准确量化人类观看行为对质量感知的影响。传统质量评估方法如PSNR或SSIM在全向视频中表现不佳，因为它们忽略了观看者通过头动与眼动仅能感知部分视野的特性。构建该数据集时，研究人员面临多重挑战：一是需设计严谨的主观实验流程，确保在头戴式显示设备上同步采集高质量的头动、眼动数据与主观评分；二是必须处理全向视频特有的投影变形问题，如等距柱状投影、立方体贴图投影等不同投影方式带来的几何失真；三是需保证数据集的多样性与规模，涵盖不同内容、分辨率、压缩等级，以支撑深度学习模型的训练与验证。

常用场景

经典使用场景

在虚拟现实与全景视频质量评估领域，VQA-ODV数据集被广泛应用于探究人类行为与视觉感知之间的关联。该数据集通过收集大量全景视频序列及其对应的人类头部运动与眼动数据，为研究者提供了分析主观质量评分与观看行为之间内在联系的宝贵资源。经典使用场景包括训练深度学习模型，以预测全景视频的客观质量分数，同时验证头部运动和眼动数据在质量评估中的关键作用，从而推动全景视频编码、传输和渲染技术的优化。

解决学术问题

VQA-ODV数据集解决了全景视频质量评估中一个核心学术问题：传统客观质量指标（如PSNR、SSIM）在全景视频中与主观感知的相关性较弱，因为它们未考虑人类观看行为的影响。该数据集通过整合主观评分、头部运动和眼动数据，揭示了这些行为因素与视觉质量之间的强相关性，从而填补了主观质量评估与人类行为之间的研究空白。其意义在于为开发更精准的客观质量评估模型提供了数据基础，促进了虚拟现实环境中用户体验的量化研究。

实际应用

在实际应用中，VQA-ODV数据集为虚拟现实内容提供商和流媒体服务平台提供了关键支持。基于该数据集训练的模型可用于实时监测全景视频的感知质量，优化编码参数以降低带宽消耗，同时确保视觉体验。例如，在360度视频流媒体服务中，系统可根据预测的头部运动区域动态调整码率分配，提升资源利用效率。此外，该数据集还可用于评估不同投影格式（如ERP、RCMP、TSP）对观看体验的影响，指导全景视频处理管道的设计。

数据集最近研究

最新研究方向

在虚拟现实与全景视频领域，视觉质量评估（VQA）正逐步从传统二维视频的静态分析转向融合人类行为动态感知的前沿探索。VQA-ODV数据集的建立，通过同步采集主观质量评分、头部运动（HM）与眼动（EM）数据，揭示了全景视频质量与观察者行为模式之间的深层关联。当前研究聚焦于利用深度学习框架，将HM与EM数据嵌入质量评估模型，以模拟人类在沉浸式环境中的注意力分布，从而提升客观质量预测的准确性。这一方向不仅推动了全景视频编码与传输技术的优化，更在虚拟现实内容生成、自适应流媒体等热点应用中展现出重要意义，为提升用户体验提供了关键理论支撑。

相关研究论文

• Bridge the Gap Between VQA and Human Behavior on Omnidirectional Video: A Large-Scale Dataset and a Deep Learning Model

  北京航空航天大学电子信息工程学院 · 2018年