BVI-AOM

BVI-AOM数据集由布里斯托大学视觉信息实验室创建，包含956个未压缩的高质量视频片段，分辨率范围广泛，从270p到2160p，涵盖多种内容和纹理类型。数据集的创建过程包括从多个源选择和处理视频序列，确保内容多样性和适用性。该数据集主要用于深度视频压缩研究，旨在通过提供多样化的训练材料来优化深度学习视频编码工具，从而提高编码性能和模型泛化能力。

The BVI-AOM dataset was developed by the Visual Information Laboratory at the University of Bristol. It contains 956 uncompressed high-quality video clips with a wide range of resolutions spanning from 270p to 2160p, covering diverse content and texture types. The dataset creation process involves selecting and processing video sequences from multiple sources to ensure content diversity and applicability. This dataset is primarily intended for deep video compression research, aiming to optimize deep learning-based video coding tools by providing diverse training materials, thereby improving coding performance and model generalization ability.

搜集汇总

数据集介绍

构建方式

BVI-AOM数据集的构建方法涉及从多个来源精心挑选了239个原始的UHD视频序列，涵盖了从270p到2160p的不同分辨率。这些序列经过Lanczos-3滤波器下采样至三种较低分辨率，最终形成了956个序列。数据集采用Planar YUV 4:2:0格式，具有10位深度和标准动态范围，符合Rec. ITU-R BT.709色彩空间。序列长度固定为64帧，帧率范围从24到120帧每秒。数据集的构建旨在提供内容多样性和灵活性，以支持深度视频压缩的研究和开发。

特点

BVI-AOM数据集的特点在于其内容的广泛覆盖和多样性。它不仅包含了复杂的结构，如火焰、水流或等离子体，还包括具有艺术意图的场景，如动作电影中的特写镜头。此外，数据集还提供了更灵活的版权条款，允许更广泛的使用范围。在实验中，BVI-AOM在多个视频质量指标上显示出优越的性能，特别是在PSNR-Y和VMAF方面，与现有的BVI-DVC数据集相比，分别有高达0.29和2.98个百分点的比特率节省。

使用方法

使用BVI-AOM数据集进行深度视频压缩工具的优化时，首先需要下载并准备数据集。接着，可以使用流行的网络架构，如EDSR和SwinIR，为视频编码工具如后处理和超分辨率进行模型训练。在训练过程中，遵循AOM CTC v3.0文档的指导，使用AVM codec版本research-v3.1.0作为基线，并以推荐的六个QP级别进行编码。训练完成后，通过比较基于BVI-AOM和现有数据集BVI-DVC的训练模型在多个质量指标上的性能，来评估BVI-AOM的优势。

背景与挑战

背景概述

随着互联网上视频内容的快速增长，视频编码技术的需求日益增加。为了提升传统混合视频编解码器的性能，深度学习技术被广泛应用于视频编码优化。BVI-AOM数据集由英国布里斯托尔大学的视觉信息实验室与Netflix Inc.合作创建，旨在解决现有数据集内容多样性有限且版权限制的问题。该数据集包含了956个无压缩视频序列，分辨率从270p到2160p不等，覆盖了广泛的内容和纹理类型。BVI-AOM数据集的推出为深度视频编码研究提供了更为灵活的版权许可条款和优越的训练性能，有助于模型泛化并优化编码性能。通过对两种流行的网络架构进行训练，BVI-AOM数据集在PSNR-Y和VMAF指标上相较于BVI-DVC数据集分别实现了0.29和2.98个百分点的额外比特率节省。

当前挑战

BVI-AOM数据集在深度视频编码领域面临着多项挑战。首先，数据集构建过程中需要解决内容多样性和版权限制的问题，以确保数据集的广泛适用性。其次，为了实现模型泛化和最优编码性能，数据集需要包含足够的训练样本。此外，随着视频编码标准的不断更新和深度学习技术的发展，数据集的持续更新和优化也是一项挑战。

常用场景

经典使用场景

BVI-AOM数据集在深度视频压缩优化中扮演着关键角色，为深度学习模型提供了丰富和具有代表性的训练材料，从而实现模型泛化并达到最优的编码性能。这一数据集涵盖了从270p到2160p的各种分辨率的956个无压缩序列，内容涵盖了广泛的内容和纹理类型，为深度视频压缩研究提供了高质量的训练数据。

衍生相关工作

基于BVI-AOM数据集的研究工作已经衍生出了许多经典的工作，例如基于深度学习的视频编码工具的开发和优化。这些工作不仅提升了视频编码的效率，还为视频传输和存储提供了新的解决方案。此外，BVI-AOM数据集的开放性和灵活性也为未来视频编码技术的发展提供了重要的支持。

数据集最近研究

最新研究方向

BVI-AOM数据集的构建旨在提升深度视频压缩方法的训练效果，覆盖了从270p到2160p不同分辨率下的956个未压缩视频序列，内容类型丰富。该数据集的发布丰富了视频编码领域的数据资源，特别是在深度学习视频编码工具的训练上显示出显著优势，例如在使用EDSR和SwinIR网络架构对两种编码工具（后处理和超分辨率）进行训练时，与BVI-DVC数据集相比，BVI-AOM数据集带来了平均BD-rate增益0.29%至2.98%。这表明BVI-AOM数据集在模型泛化能力和编码性能优化方面具有重要作用，为相关研究提供了新的视角和工具。

相关研究论文

• BVI-AOM: A New Training Dataset for Deep Video Compression Optimization

  布里斯托大学视觉信息实验室 · 2024年