CVQAD

MSU压缩数据集旨在评估全参考和无参考视频质量指标。该数据集公开了全部6,240个视频中的1,962个，其余部分仅用于基准测试支持人员评估指标性能。所有视频主要为FullHD分辨率，YUV420格式，时长10-15秒，帧率包括24、25、30、39、50和60。数据集提供了主观质量评分（MOS、Bradley-Terry、ELO），评分越高表示质量越好。数据集包含以下内容：1) Subjective_scores_and_videos_info.csv：包含每个压缩视频的主观评分及其特征（如原始视频名称、编解码器、目标比特率等）；2) Metrics_scores.csv：包含100多种视频质量指标的评分；3) Compressed_and_GT_videos：包含59个文件夹，每个文件夹包含一个参考视频（GT）和多个压缩视频。数据集还详细说明了计算指标评分与主观评分相关性的流程，并提供了视频编码和解码的命令。数据集由CMC MSU图形与媒体实验室维护，支持团队可通过[e-mail]联系。The MSU Compression Dataset is designed to evaluate full-reference and no-reference video quality metrics. Out of the total 6,240 videos included in this dataset, 1,962 are made publicly available, while the remaining videos are exclusively used for benchmarking to support the performance evaluation of quality metrics. All videos are primarily of FullHD resolution, formatted as YUV420, with a duration of 10 to 15 seconds, and support frame rates of 24, 25, 30, 39, 50 and 60. The dataset provides subjective quality scores including MOS, Bradley-Terry and ELO, where higher scores indicate better video quality. The dataset comprises the following components: 1) Subjective_scores_and_videos_info.csv: Contains subjective quality scores and metadata (e.g., original video name, codec, target bitrate, etc.) for each compressed video; 2) Metrics_scores.csv: Contains scores from over 100 video quality metrics; 3) Compressed_and_GT_videos: Consists of 59 folders, each containing one reference video (GT) and multiple compressed videos. In addition, the dataset outlines the workflow for calculating the correlation between metric scores and subjective quality scores, and provides command-line instructions for video encoding and decoding. This dataset is maintained by the Graphics and Media Lab of CMC MSU. Authorized support teams may contact the maintenance team via the email address [e-mail].

原始信息汇总

MSU压缩数据集概述

数据集简介

LEHA-CVQAD数据集用于评估全参考和无参考视频质量指标。此处共享了整个压缩伪影数据集（6,240个视频中的1,962个）的开放部分。隐藏部分仅对基准测试支持人员开放，用于测试指标性能。所有视频主要为FullHD分辨率、YUV420格式，时长10-15秒。帧率值为24、25、30、39、50和60。

主观质量分数也以CSV文件形式提供。分数越高，质量越好。要了解更多关于我们基准测试主观质量评估过程的信息，可以访问Subjectify.us的FAQ部分。

关于数据集和基准测试方法的更详细描述可以在论文TODO中找到。

LEHA-CVQAD数据集上100多个指标的排行榜：MSU视频质量指标基准页面。

数据集结构

• Subjective_scores_and_videos_info.csv：包含每个压缩视频的主观分数（MOS、Bradley-Terry、ELO）。每个失真视频除了主观质量外，还具有以下特征：

  • 原始（无损）视频的名称
  • 用于编码的编解码器
  • 编解码器标准（avc、hevc、vvc、av1等）
  • 目标比特率或crf
  • 比特率范围（高、中、低）
  • 原始视频分辨率
  • 原始视频帧率

• Metrics_scores.csv：包含100多个VQA指标在数据集上的值，可用于计算VQA指标与主观分数的相关性。

• Compressed_and_GT_videos：包含59个文件夹，每个文件夹包括1个参考视频（GT，用于测试全参考指标）和许多失真视频（压缩视频），按编码预设分组：

  • 每个失真视频的命名模式：{视频名称}/{编码预设}/{编解码器名称}_{crf或比特率}.mp4
  • 每个参考视频的命名模式：{视频名称}/GT.mp4

相关性计算

针对MOS分数

仅应用于计算指标分数与MOS主观分数之间的相关性。 对整个MOS主观分数列表和指标分数列表应用单一相关系数。

针对BT和ELO分数

仅应用于计算指标分数与BT和ELO主观分数之间的相关性。 数据集中有59个不同的原始（无损）视频以及多个编码预设。请注意：需要在所有视频和预设上分别计算相关系数（SRCC、KRCC等）。因此，要获得整个数据集的单一相关性，应使用Fisher Z变换，按组大小加权平均组相关性，步骤如下：

1. 遍历59个原始视频，对每个视频计算相关系数，次数等于当前视频的唯一预设数量。
2. 对每个相关系数值使用反双曲正切（artanh）变换，将可能的无穷大值替换为artanh(0.99)。
3. 对得到的值应用加权算术平均。
4. 计算加权平均值的双曲正切（tanh），取其绝对值，并将0.99替换为1。
5. 得到的值代表你的方法分数与数据集上主观分数之间的相关性。

用于计算指标与主观分数（BT和ELO）相关性的脚本在GitHub仓库中提供：https://github.com/msu-video-group/MSU_VQM_Compression_Benchmark

编码与解码

• 编码视频使用的命令：

  ffmpeg −f rawvideo −vcodec rawvideo −s {width}x{height} −r {FPS} −pix_fmt yuv420p −i {video name}.yuv −c:v libx265 −x265−params "lossless =1:qp=0" −vsync 0 {video name}.mp4

• 将视频解码回YUV格式的命令：

  ffmpeg -i {video name}.mp4 -pix_fmt yuv420p -vcodec rawvideo -f rawvideo {video name}.yuv

• 将编码视频转换为PNG图像集的命令：

  ffmpeg -i {video name}.mp4 {frames dir}/frame_%05d.png

支持与维护

CMC MSU图形与媒体实验室托管该数据集。处理编解码器和视频质量评估方法的团队负责维护。该论文的作者支持视频质量指标基准测试。如有关于LEHA-CVQAD使用的任何问题，请通过[e-mail]联系我们。

搜集汇总

数据集介绍

构建方式

在视频质量评估领域，构建一个全面且具有代表性的数据集对于推动算法发展至关重要。LEHA-CVQAD数据集由莫斯科国立大学图形与媒体实验室精心构建，旨在评估全参考和无参考视频质量指标。该数据集从原始6,240个视频中公开了1,962个视频，其余部分用于基准测试的内部验证。所有视频主要采用FullHD分辨率、YUV420格式，时长介于10至15秒之间，帧率覆盖24至60的多种常见值。视频内容通过多种主流编解码器进行压缩处理，并记录了详细的编码参数，如目标码率、CRF值及预设模式，从而系统性地模拟了真实场景中的压缩失真。

使用方法

研究者可利用LEHA-CVQAD数据集对视频质量评估算法进行系统性验证与比较。使用该数据集时，首先需根据评估目标选择相应的主观分数类型。若计算指标与平均意见得分的相关性，可直接在整个数据集列表上计算单一相关系数。若针对Bradley-Terry或ELO分数，则需遵循特定的分组计算流程：需为59个原始视频及其下的不同编码预设分别计算相关系数，随后通过Fisher Z变换将各组结果按样本量加权平均，以获得整体相关性。数据集提供的GitHub仓库包含了自动化计算脚本，简化了此过程。同时，README文件也给出了使用FFmpeg工具进行视频编解码及帧提取的具体命令，方便用户进行数据预处理与格式转换。

背景与挑战

背景概述

随着数字视频内容的爆炸式增长，视频压缩技术成为多媒体处理领域的核心议题，旨在平衡存储传输效率与视觉保真度。在此背景下，莫斯科国立大学计算数学与控制系图形与媒体实验室于近年推出了LEHA-CVQAD数据集，旨在系统评估全参考与无参考视频质量评价指标的性能。该数据集聚焦于压缩伪影对视频感知质量的影响，通过集成多种编码标准与比特率配置，为视频质量评估研究提供了标准化的测试平台，显著推动了视频处理算法的发展与优化。

当前挑战

LEHA-CVQAD数据集致力于解决视频质量评估中压缩伪影量化这一复杂问题，其核心挑战在于如何准确建模人类主观感知与客观指标之间的非线性关系，尤其是在高动态范围与多分辨率场景下。在构建过程中，研究团队面临大规模主观评分数据采集的严谨性挑战，需确保评分过程的可靠性与一致性；同时，处理异构编码参数与视频源的技术整合也增加了数据集的复杂性，要求精细的元数据标注与质量控制。

常用场景

经典使用场景

在视频质量评估领域，CVQAD数据集被广泛用于验证和比较全参考与无参考视频质量指标的效能。该数据集通过提供大量经过不同编码参数压缩的视频序列及其主观质量评分，为研究人员构建了一个标准化的测试平台。经典使用场景涉及将各类视频质量评估算法应用于这些压缩视频，计算其预测分数与主观评分之间的相关性，从而客观衡量算法在模拟真实压缩失真条件下的性能表现。

解决学术问题

CVQAD数据集有效解决了视频处理研究中关于压缩伪影量化评估的核心难题。它通过系统化的主观实验提供了可靠的人类视觉质量感知数据，使得研究者能够深入探究不同编码标准、比特率与分辨率等因素对视频质量的影响机制。该数据集的意义在于建立了压缩视频质量评估的基准，推动了视频质量指标从理论模型向实际应用的转化，对视频编码优化与流媒体服务质量的提升产生了深远影响。

实际应用

在实际工程层面，CVQAD数据集为视频编码器的参数调优、自适应比特流传输以及在线视频服务平台的质量监控提供了关键支持。例如，流媒体公司可依据该数据集的评估结果，针对不同网络条件动态选择最优的编码配置，以在带宽受限时最大化终端用户的观看体验。此外，该数据集也有助于开发嵌入在摄像设备或视频编辑软件中的实时质量诊断工具。

数据集最近研究

最新研究方向

在视频质量评估领域，CVQAD数据集作为压缩伪影分析的重要资源，正推动着无参考与全参考视频质量度量方法的前沿探索。当前研究聚焦于利用该数据集的大规模主观评分（如MOS、Bradley-Terry和ELO）与多编码标准（如AVC、HEVC、VVC、AV1）的压缩视频，开发基于深度学习的质量预测模型，以应对新兴视频流媒体和沉浸式媒体中复杂压缩场景的挑战。相关热点事件包括VVC和AV1等高效编码标准的普及，促使研究者利用该数据集的多样化比特率与分辨率配置，优化跨编码器的质量一致性评估。这些进展不仅提升了自动化质量监控系统的准确性，还为超高清与虚拟现实内容的实时传输提供了关键技术支持，强化了视频处理工业中标准化评估框架的建立。