计算机图形视频质量数据集 (CG-VQD)

CG-VQD 是一个专注于由现代渲染技术引入的失真的视频质量数据集。数据集包括 80 个视频序列，这些序列具有来自流行渲染方法的失真，例如神经超采样、新视图合成、路径跟踪、神经去噪、帧插值和可变速率阴影。数据集包括对 80 个视频序列的感知评分，这些序列具有来自流行渲染方法的失真，例如神经超采样、新视图合成、路径跟踪、神经去噪、帧插值和可变速率阴影。数据集旨在提供一个框架，用于评估和校准针对现代渲染技术和游戏引擎的视频质量度量。该数据集不是用于从头开始训练深度模型，而是用于评估和校准针对现代渲染技术和游戏引擎的视频质量度量。

CG-VQD is a video quality dataset focused on distortions introduced by modern rendering techniques. The dataset contains 80 video sequences with distortions generated by popular rendering methods including neural supersampling, novel view synthesis, path tracing, neural denoising, frame interpolation, and variable-rate shading, alongside perceptual scores for all 80 video sequences. This dataset is designed to provide a framework for evaluating and calibrating video quality metrics tailored for modern rendering techniques and game engines, rather than for training deep models from scratch.

原始信息汇总

Computer Graphics Video Quality Metric (CGVQM) 数据集概述

基本信息

• 名称: Computer Graphics Video Quality Metric (CGVQM)
• 维护者: IntelLabs
• 许可证: GitHub License
• OpenSSF Scorecard: 查看详情

技术依赖

• PyTorch版本: v2.4.1
• Python版本: 3.10

当前状态

• 开发状态: Coming Soon...

搜集汇总

数据集介绍

构建方式

计算机图形视频质量数据集（CG-VQD）的构建采用了系统化的方法，以确保覆盖现代渲染技术引入的各种失真类型。研究团队精选了15个具有代表性的开源3D场景，涵盖了视频游戏和现代渲染技术中的挑战性内容。这些场景来自多个行业领先的样本和演示，包括亚马逊、英特尔、NVIDIA、Unity和Epic等公司的作品。每个场景被渲染为1024×1024分辨率、30帧每秒（部分场景为60帧每秒）的3秒视频，并应用了六种主流渲染技术（如路径追踪、神经去噪、神经超采样等）以生成不同严重程度的失真。通过主观实验，20名参与者在远程环境下对80个视频序列进行了质量评分，最终通过最大似然估计法计算差异平均意见分数（DMOS），确保了数据的可靠性和一致性。

特点

CG-VQD数据集的核心特点在于其专注于现代渲染技术引入的复杂失真类型，如时空混叠、闪烁、重影、摩尔纹等。这些失真在传统视频质量数据集中未被充分研究。数据集包含80个视频序列，覆盖了从自然视频到合成内容的广泛视觉特征，为评估新型失真提供了全面的基准。此外，数据集通过严格的参与者筛选和统计分析，确保了主观评分的可靠性和一致性。其非线性的DMOS评分分布揭示了失真感知的复杂性，为开发更精准的质量评估模型提供了重要依据。

使用方法

CG-VQD数据集主要用于评估和校准针对现代渲染失真的视频质量指标。研究人员可通过对比参考视频和失真视频的DMOS分数，验证新提出的质量指标的感知一致性。数据集特别适用于测试3D卷积神经网络（3D-CNN）等数据驱动方法的性能，因其特征空间与人类感知高度相关。使用流程包括视频预处理（如分块处理）、特征提取（如3D-ResNet激活）和相关性分析（如Pearson系数计算）。此外，数据集支持生成逐像素误差图，便于定位感知显著的失真区域，为图形渲染优化提供直观指导。

背景与挑战

背景概述

计算机图形视频质量数据集（CG-VQD）由英特尔公司的A. Jindal等研究人员于2025年创建，旨在解决现代渲染技术引入的视觉失真问题。随着视频内容和流媒体服务的快速增长，对准确视频质量评估（VQA）方法的需求日益增加。传统视频质量指标如PSNR、SSIM和VMAF在处理压缩伪影和传输错误方面表现良好，但在处理现代渲染方法引入的复杂失真时表现不佳。CG-VQD数据集专注于实时图形中的失真，包括神经超采样、路径追踪、神经去噪等先进渲染技术产生的伪影。该数据集的建立填补了现有视频质量数据集在合成内容和现代渲染伪影研究上的空白，为游戏、流媒体和神经渲染等新兴领域提供了新的评估框架。

当前挑战

CG-VQD数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，现代渲染技术引入的失真（如时空混叠、闪烁、重影等）具有复杂的时空模式，传统视频质量指标难以准确评估这些失真。此外，实时图形内容的视觉特性与自然视频有显著差异，进一步增加了质量评估的复杂性。在构建过程中，数据集的创建需要收集和处理大量包含现代渲染失真的视频序列，并进行主观质量评分，这一过程耗时且成本高昂。此外，如何确保数据集中的失真具有足够的多样性和代表性，以及如何有效校准3D CNN的特征空间以匹配人类感知，也是构建过程中需要解决的关键挑战。

常用场景

经典使用场景

计算机图形视频质量数据集（CG-VQD）在视频质量评估领域具有广泛的应用价值，尤其在评估现代渲染技术引入的失真类型时表现突出。该数据集通过收集包含神经超采样、路径追踪、神经去噪等先进渲染算法生成的失真视频，为研究者提供了一个标准化的评估平台。在计算机图形学和视觉感知研究中，CG-VQD常被用于验证新型视频质量指标的性能，特别是在处理复杂时空失真时，其数据集的多样性和真实性使其成为该领域的黄金标准。

解决学术问题

CG-VQD数据集解决了传统视频质量指标在评估现代渲染失真时的局限性问题。传统指标如PSNR和SSIM在处理自然视频和传统压缩失真时表现良好，但在面对神经渲染、路径追踪等先进技术引入的复杂失真时效果不佳。该数据集通过系统化地收集和标注这些新型失真，为学术界提供了一个可靠的基准，推动了视频质量评估方法的发展。此外，CG-VQD还揭示了3D-CNN特征空间与人类感知之间的高度相关性，为开发更符合人类视觉感知的质量指标提供了理论支持。

衍生相关工作

CG-VQD数据集衍生了一系列重要的研究工作，特别是在基于深度学习的视频质量评估领域。例如，研究者们利用该数据集开发了CGVQM指标，该指标通过结合3D-ResNet的特征提取能力，显著提升了失真评估的准确性。此外，许多后续研究基于CG-VQD进一步探索了时空失真的建模方法，推动了Transformer架构在视频质量评估中的应用。这些工作不仅扩展了数据集的适用范围，还为计算机图形学和视觉感知研究的交叉融合提供了新的思路。