LEHA-CVQAD

LEHA-CVQAD 数据集是一个大规模、丰富的、由人工标注的视频质量评估数据集，包含 6,240 个视频片段，用于压缩相关的视频质量评估。这些视频片段来自 59 个原始视频，经过 186 种编解码器预设编码，融合了约 1.8M 对比率和约 1.5k MOS 评分，形成一个单一的质量尺度。数据集的一部分视频保持隐藏，用于盲评估。LEHA-CVQAD 数据集旨在克服现有视频质量评估数据集的局限性，通过三方面的创新：多模态质量标签、内容和编解码器的多样性以及结构化评估。数据集公开部分和结果可通过指定网址访问。The LEHA-CVQAD dataset is a large-scale, comprehensive, manually annotated video quality assessment dataset comprising 6,240 video clips for compression-related video quality assessment. These video clips are sourced from 59 raw videos, which have been encoded using 186 codec presets, integrating approximately 1.8 million contrast ratios and around 1.5k MOS scores to form a unified quality scale. A portion of the videos in the dataset is withheld for blind evaluation purposes. The LEHA-CVQAD dataset aims to overcome the limitations of existing video quality assessment datasets through three innovative dimensions: multimodal quality annotations, diversity of content and codecs, and structured evaluation. The publicly available portion of the dataset and corresponding results can be accessed via a designated URL.

原始信息汇总

LEHA-CVQAD 数据集概述

数据集简介

LEHA-CVQAD是一个新颖的大规模数据集，包含6000多个压缩视频流，由186种现代编解码器和编码预设生成。该数据集以真实世界内容为特色，并基于Subjectify.us的众包主观质量评分，为评估和推进视频质量评估方法提供了可靠基础。

关键特性

• 包含186种不同的视频编解码器
• 支持5种以上压缩标准（包括H.264/AVC、H.265/HEVC、H.266/VVC、AV1、VP9）
• 包含6000多个压缩视频流
• 包含200万以上主观评分
• 涉及15000名以上主观评估者
• 包含多种内容类型，包括用户生成内容（UGC）和屏幕内容

视频来源与处理

• 从Vimeo、media.xiph和YouTubeUGC等平台收集高质量、开放许可的视频（主要为FullHD）
• 从收集的25,562个视频中，基于SI/TI特征聚类并采样60个视频
• 将采样视频转码为统一的YUV 4:2:0格式
• 每个参考视频使用多种现代编解码器（AVC/H.264、HEVC/H.265、AV1、VVC/H.266、VP9等）进行编码，采用多种预设和比特率级别

主观研究

• 采用两项连续的主观研究获取可靠评分：
  1. 对每个参考视频进行成对比较，应用ELO和Bradley-Terry模型
  2. 从每组中采样三个视频评估其MOS值
• 使用MAP方法将两种主观评分合并，投影到单一尺度上

数据集对比

• 包含与其他数据集在以下方面的比较：
  • SI/TI特性
  • 色彩丰富度
  • 对比度
  • IC9600复杂度度量
  • 亮度
  • 锐度

评估结果

• 包含比特率对齐评估指标的可视化
• 在LEHA-CVQAD上的结果
• Bradley-Terry与最终融合主观评分的散点图比较
• 最终主观评分的分布

搜集汇总

数据集介绍

构建方式

LEHA-CVQAD数据集的构建采用了多阶段主观评估方法，确保了数据的全面性和可靠性。首先，从Vimeo和Xiph.org等平台收集了25,562段高比特率原始视频，经过筛选和聚类后，最终选取了59段具有多样性的参考视频。这些视频通过186种不同的编解码器和预设组合进行编码，生成了6,240段压缩视频。主观评估部分采用了三阶段方法：同一内容内的成对排序、内容内平均意见分数（MOS）收集，以及一种新颖的方法将成对比较和MOS分数统一到单一质量尺度上。数据集分为开放部分和隐藏部分，以防止基准测试过拟合。

特点

LEHA-CVQAD数据集在内容和编解码器多样性方面表现出色，涵盖了从专业制作素材到多样化的用户生成内容（UGC），捕捉了真实的压缩失真和广泛的受控压缩失真。数据集包含超过180种不同标准的编解码器，包括AV1和VVC，提供了丰富的压缩失真类型。此外，数据集通过多模态质量标签（如成对排序和MOS）增强了其适用性，使其不仅适用于无参考（NR）视频质量评估（VQA）指标的开发，还能支持全参考（FR）VQA指标的训练和评估。

使用方法

LEHA-CVQAD数据集的使用方法灵活多样，适用于多种视频质量评估任务。研究人员可以利用数据集中的成对比较数据和MOS分数，训练和评估新的VQA模型。此外，数据集提供的隐藏部分可用于盲测，确保评估结果的公正性。数据集还引入了新的评估指标——率失真对齐误差（RDAE），该指标量化了VQA模型在保持比特率-质量排序方面的准确性，直接支持编解码器参数调优。用户可以通过访问公开数据集部分和基准测试结果，进一步探索和验证其模型的性能。

背景与挑战

背景概述

LEHA-CVQAD数据集由莫斯科国立大学和高等经济学院的研究团队于2025年推出，旨在解决压缩伪影的广义视频质量评估问题。该数据集包含6,240个视频片段，涵盖59个源视频和186种编解码器预设组合，通过融合180万对比较数据和1.5k平均意见分数（MOS）构建统一质量标度。其创新性体现在三阶段主观标注方法、内容与编解码器多样性设计以及开放/隐藏分区的结构化评估框架。作为当前规模最大、标注最丰富的压缩视频质量基准，LEHA-CVQAD显著推进了视频编解码参数优化和带宽效率提升的研究。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，现有VQA指标难以准确量化新型编解码器（如AV1/VVC）产生的复杂伪影，测试显示主流指标的率失真对齐误差（RDAE）高达64.5Gb；在构建层面，需解决多模态标注融合的技术难题——如何将布拉德利-特里模型与MOS分数统一到可比尺度，同时确保15,000名众包标注者的主观评价一致性（SRCC=0.992）。此外，专业内容与用户生成内容（UGC）的异构性、隐藏测试集防过拟合机制的设计，均为构建过程带来显著挑战。

常用场景

经典使用场景

LEHA-CVQAD数据集在视频质量评估领域具有广泛的应用场景，特别是在压缩伪影的感知质量研究中。该数据集通过整合多种编码标准和预设参数，生成了6240个压缩视频片段，涵盖了从专业制作内容到用户生成内容（UGC）的多样化视频类型。研究人员可以利用该数据集评估不同压缩算法对视频质量的影响，尤其是在低比特率条件下的表现。数据集的多模态质量标签（包括MOS和成对比较评分）为开发新型视频质量评估（VQA）指标提供了丰富的训练和验证数据。

实际应用

LEHA-CVQAD数据集在实际应用中具有重要价值，尤其在视频流媒体服务和编解码器开发领域。内容提供商可以利用该数据集优化其视频压缩策略，在带宽限制和视觉质量之间找到最佳平衡点。数据集中的UGC内容特别适用于评估社交媒体平台上的视频质量，帮助开发者设计更鲁棒的无参考（NR）质量评估算法。此外，RDAE指标为工程师提供了量化工具，可直接计算因质量评估误差导致的比特率浪费，从而降低运营成本。

衍生相关工作

LEHA-CVQAD数据集已经衍生出多项重要的相关研究工作。基于该数据集，研究人员开发了多种新型视频质量评估算法，特别是在处理混合压缩伪影和UGC内容方面取得了显著进展。数据集的RDAE指标启发了新一代比特率感知的质量评估方法，这些方法更关注编码参数优化的实际需求。此外，数据集的大规模和多样性特点推动了跨内容类型、跨编解码器的通用VQA模型的发展，为视频质量评估领域的标准化测试提供了重要基准。