Local Perception Visual Quality (LPVQ)

LPVQ数据集是由清华大学和快手科技合作创建的，专为视频质量评估任务设计。该数据集包含了50张图像，每张图像都由14位视觉专家进行了详细的区域质量注释，总计34,300个注释。这些图像覆盖了多种纹理、运动和压缩等因素导致的视觉质量变化，为研究提供了丰富的局部质量标注信息。

The LPVQ dataset was jointly developed by Tsinghua University and Kuaishou Technology, and is specifically designed for video quality assessment tasks. This dataset contains 50 images, each of which has been annotated with detailed regional quality information by 14 visual experts, totaling 34,300 annotations. These images cover visual quality variations caused by multiple factors such as texture, motion and compression, providing rich local quality annotation information for research.

搜集汇总

数据集介绍

构建方式

该数据集是通过选取50张图像，并邀请14位视觉专家对每张图像的7x7网格中的每个区域进行质量评分（1至5分，间隔为0.5分）构建的。这些图像从典型的短视频平台中精心收集，以展示广泛的场景和质量因素，确保了数据集的代表性和可靠性。

特点

LPVQ数据集具有以下特点：首先，它是第一个包含区域质量标注的数据集，为视频质量评估任务提供了宝贵的数据资源。其次，该数据集包含34,300个标注，确保了数据的可靠性和有效性。最后，数据集涵盖了广泛的场景和质量因素，使得模型能够更好地理解和评估视频中的局部质量。

使用方法

LPVQ数据集可以用于视频质量评估任务，特别是那些需要评估视频局部质量的场景。通过使用该数据集进行训练，模型可以学习到如何识别和评估视频中的不同区域的质量，从而提高视频质量评估的准确性和可靠性。此外，LPVQ数据集还可以用于研究和开发新的视频质量评估算法，以进一步提高视频质量评估的性能。

背景与挑战

背景概述

视频质量评估（VQA）旨在预测视频的感知质量，近年来受到越来越多的关注。由于运动模糊或特定失真等因素，视频中不同区域的画质存在差异。识别视频中的区域感知质量对于评估整体质量以及指导细粒度的增强或转码策略具有重要意义。然而，由于标注区域感知质量的成本高昂，相关数据集中缺乏地面实况约束，进一步加剧了局部感知的利用难度。受人类视觉系统（HVS）的启发，我们将全局质量与不同区域的局部纹理和视觉显著性联系起来，提出了一个名为Kaleidoscope Video Quality Assessment（KVQ）的框架，旨在有效地评估显著性和局部纹理，从而促进整体质量的评估。我们的框架使用融合窗口注意力（FWA）来提取视觉显著性并分配注意力，同时结合局部感知约束（LPC）来减少区域纹理感知对邻近区域的依赖。KVQ在五个VQA基准测试中与最先进的（SOTA）方法相比取得了显著的改进。此外，为了评估局部感知，我们建立了一个新的具有区域标注的Local Perception Visual Quality（LPVQ）数据集。实验结果表明，KVQ在感知局部失真方面具有强大的能力。

当前挑战

VQA领域面临的挑战包括：1)由于视频内容的丰富性和多样性，不同区域的画质存在差异，如何准确评估这些差异对整体质量的影响；2)缺乏公开可用的满足局部感知约束的数据集，使得利用局部感知进行VQA变得困难；3)标注视频的区域感知质量成本高昂，导致难以获得足够的局部质量标注进行训练；4)现有的VQA方法缺乏对局部感知的稳健约束，导致质量图受到视觉显著性的影响。为了解决这些问题，KVQ框架提出了融合窗口注意力（FWA）和局部感知约束（LPC），以实现自适应的全球显著性提取和局部纹理感知，从而提高VQA的性能和鲁棒性。

常用场景

经典使用场景

Local Perception Visual Quality (LPVQ) 数据集的主要使用场景是视频质量评估（VQA）。VQA 的目的是预测视频的感知质量，但由于视频的不同区域可能存在运动模糊或特定失真等因素，因此视频的质量在不同区域之间存在差异。LPVQ 数据集的建立旨在解决这一挑战，通过提供区域级别的注释，帮助研究人员更好地理解和评估视频的局部质量。这使得 LPVQ 成为评估视频局部失真的重要工具，并为视频增强和转码策略的制定提供了指导。

衍生相关工作

LPVQ 数据集的建立为视频质量评估领域的研究提供了重要的数据支持，并衍生出了一系列相关工作。例如，基于 LPVQ 数据集，研究人员可以开发更准确的视频质量评估模型，以及更有效的视频增强和转码策略。此外，LPVQ 数据集还可以用于研究人眼视觉系统（HVS）的原理，以及如何将 HVS 的原理应用于视频质量评估。LPVQ 数据集的建立对于视频质量评估领域的研究具有重要意义，它为研究人员提供了一个具有区域级别注释的数据集，使得他们能够更好地理解和评估视频的局部质量，从而提高了视频质量评估的准确性和可靠性。

数据集最近研究

最新研究方向

视频质量评估（VQA）领域的研究不断深入，其中对视频局部区域质量的感知和评估成为了一个前沿研究方向。KVQ框架的提出，通过融合窗口注意力机制（FWA）和局部感知约束（LPC），有效地提取了视频的视觉显著性和局部纹理，从而提升了视频质量评估的准确性和可靠性。此外，为了验证局部感知能力，研究者们还建立了LPVQ数据集，该数据集包含50张图像，由14位视觉专家进行了区域级别的标注，总计34,300个标注。实验结果表明，KVQ框架在局部感知方面表现出了强大的能力。

相关研究论文

• KVQ: Boosting Video Quality Assessment via Saliency-guided Local Perception

  清华大学, 快手科技, BNRist · 2025年