Bitstream-Corrupted Video Recovery Dataset

该数据集专注于视频恢复领域，提供了一系列经过不同参数设置和损坏程度的视频样本，用于评估和开发视频恢复方法。数据集包括多种分辨率的视频，支持H.265协议，并提供了详细的参数解释和示例视频。This dataset focuses on the field of video restoration, offering a series of video samples with various parameter settings and levels of degradation, aimed at evaluating and developing video restoration methods. The dataset includes videos of multiple resolutions, supports the H.265 protocol, and provides detailed parameter explanations and sample videos.

原始信息汇总

数据集概述

数据集名称

BitStream-Corrupted Video Recovery: A Novel Benchmark Dataset and Method

数据集作者

• Tianyi Liu*¹
• Kejun Wu*¹
• Yi Wang²
• Wenyang Liu¹
• Kim-Hui Yap¹
• Lap-Pui Chau²

作者机构

• ¹Nanyang Technological University
• ²The Hong Kong Polytechnic University

发表会议

NeurIPS 2023

数据集更新记录

• 2023.12.18: 代码和模型已在方法部分公开。
• 2023.09.22: 论文已被NeurIPS 2023接受，预印本可在arXiv获取。
• 2023.08.30: 新增视频性能对比，展示方法在恢复长期和大面积损坏方面的优势。
• 2023.08.29: 分享了视频恢复方法及评估结果，训练和测试代码即将发布。
• 2023.08.24: 新增YouTube-VOS&DAVIS分支，支持H.265协议，包含1080P和4K分辨率的新子集。

数据集特征

• 灵活的视频分辨率设置（480P, 720P, 1080P, 4K）
• 由比特流损坏引起的真实视频降级
• 不同程度的不可预测错误模式
• 约30K视频片段和3.5M帧，其中50%的帧有损坏

数据集下载与提取

• 下载链接：链接
• 提取步骤：下载后，使用bash format.sh命令格式化文件夹

数据集结构

|- BSCV-Dataset |- scripts |- YouTube-VOS&DAVIS |- train_144096 |- GT_h264 |- BSC_h264 |- GT_JPEGImages |- BSC_JPEGImages |- masks |- Diff |- YouTube-UGC-1080P |- FHD |- FHD_124096 |- GT_h264 |- GT_JPEGImages |- BSC_h264 |- BSC_JPEGImages |- masks |- Diff |- Videezy4K-4K |- QHD |- GT_h264 |- GT_JPEGImages |- BSC_h264 |- BSC_JPEGImages |- masks |- Diff

数据集扩展

• 使用FFmpeg作为视频编解码器
• 提供参数模型生成比特流损坏，可生成任意分支

方法

• 基于端到端视频修复方法，利用损坏区域的部分内容，与现有SOTA视频修复方法相比，恢复质量更佳。

实验结果

• 性能比较：BSCVR-S和BSCVR-P（我们的方法）在PSNR、SSIM、LPIPS和VFID指标上优于其他方法。
• 视频形式的表现比较：展示了在不同分辨率下，我们的模型在恢复长期视频序列和大面积错误模式方面的优势。

搜集汇总

数据集介绍

构建方式

该数据集通过模拟比特流损坏的方式构建，基于YouTube-VOS和DAVIS视频集，生成了一系列不同参数设置下的损坏视频。具体而言，数据集提供了多种参数组合（如P, L, S），以模拟不同程度的比特流损坏，从而生成具有不同损坏模式的视频片段。此外，数据集还支持多种分辨率（480P, 720P, 1080P, 4K），并提供了相应的比特流和解码帧序列，以及用于指示损坏区域的掩码序列。

特点

该数据集的主要特点在于其灵活的分辨率设置和真实的比特流损坏模拟。数据集包含约30,000个视频片段和350万帧图像，其中50%的帧存在损坏。此外，数据集还提供了多种参数组合，允许用户生成不同程度的损坏视频，从而为视频恢复算法的研究提供了丰富的实验数据。

使用方法

用户可以通过提供的下载链接获取数据集，并使用提供的脚本进行数据提取和格式化。数据集分为训练集和测试集，用户可以根据需要选择不同的分支进行实验。此外，数据集还提供了预训练模型和训练脚本，用户可以通过这些工具快速进行模型训练和测试。具体使用方法包括下载数据集、解压缩文件、格式化文件夹结构，并使用提供的训练脚本进行模型训练。

背景与挑战

背景概述

Bitstream-Corrupted Video Recovery Dataset（BSCV）是由南洋理工大学和香港理工大学的研究人员共同创建的一个新型基准数据集，旨在解决视频流中由于比特流损坏导致的视频恢复问题。该数据集的核心研究问题是如何在复杂的比特流损坏情况下，恢复高质量的视频内容。BSCV数据集于2023年首次发布，并已被NeurIPS 2023数据集与基准测试轨道接受。其主要研究人员包括Tianyi Liu、Kejun Wu、Yi Wang等，他们的研究成果为视频恢复领域提供了新的基准和方法，推动了该领域的发展。

当前挑战

BSCV数据集面临的主要挑战包括：首先，如何模拟真实的比特流损坏情况，以确保数据集的多样性和复杂性。其次，视频恢复任务本身具有高度复杂性，尤其是在处理长时序和大面积损坏时，现有的视频修复方法往往难以应对。此外，数据集的构建过程中，研究人员需要处理不同分辨率（如480P、720P、1080P、4K）的视频，并确保在不同参数设置下的损坏视频能够真实反映实际应用中的问题。最后，数据集的扩展性和可重复性也是一个重要挑战，研究人员需要提供灵活的参数模型，以便用户能够生成任意分支的损坏视频。

常用场景

经典使用场景

Bitstream-Corrupted Video Recovery Dataset 主要用于视频恢复领域，特别是针对因比特流损坏导致的视频质量下降问题。该数据集提供了多种分辨率（如480P、720P、1080P、4K）的视频片段，这些片段在不同的参数设置下被故意损坏，以模拟真实的比特流错误。研究者可以利用这些数据训练和测试视频恢复算法，特别是那些旨在修复长时序和大面积损坏的算法。

解决学术问题

该数据集解决了视频恢复领域中一个关键的学术问题，即如何有效恢复因比特流损坏导致的视频质量下降。通过提供大量带有不同程度损坏的视频片段，研究者可以开发和验证新的视频恢复算法，从而提高视频恢复的准确性和效率。这不仅推动了视频处理技术的发展，还为相关领域的研究提供了新的基准和方法。

衍生相关工作

基于 Bitstream-Corrupted Video Recovery Dataset，许多研究者开发了新的视频恢复算法，并在多个国际会议上发表了相关论文。例如，一些研究者提出了基于深度学习的视频恢复框架，通过端到端的训练方式，显著提高了视频恢复的质量。此外，该数据集还激发了关于视频压缩和传输的进一步研究，推动了视频处理技术的整体进步。