ryanxingql/MFQEv2

---
license: apache-2.0
---
# MFQEv2 Dataset

For some video enhancement/restoration tasks, lossless reference videos are necessary.

We open-source the dataset used in our [MFQEv2 paper](https://arxiv.org/abs/1902.09707), which includes 108 lossless YUV videos for training and 18 test videos recommended by [ITU-T](https://ieeexplore.ieee.org/document/6317156).

## 1. Content

- 108 lossless YUV videos for training.
- 18 lossless YUV videos for test, recommended by ITU-T.
- An HEVC compression tool box.

43.1 GB in total.

## 2. Download Raw Videos

[[Dropbox]](https://www.dropbox.com/sh/tphdy1lmlpz7zq3/AABR4Qim-P-3xGtouWk6ohi5a?dl=0)

or [[百度网盘 (key: mfqe)]](https://pan.baidu.com/s/1oBZf75bFGRanLmQQLAg4Ew)

## 3. Compress Videos

We compress both training and test videos by [HM](https://hevc.hhi.fraunhofer.de/) 16.5 at low delay P (LDP) mode with QP=37. The video compression toolbox is provided at the dataset folder.

We will get:

```tex
MFQEv2_dataset/
├── train_108/
│ ├── raw/
│ └── HM16.5_LDP/
│ └── QP37/
├── test_18/
│ ├── raw/
│ └── HM16.5_LDP/
│ └── QP37/
├── video_compression/
│ └── ...
└── README.md
```

### Ubuntu

1. `cd video_compression/`
2. Edit `option.yml`.
3. `chmod +x TAppEncoderStatic`
4. `python unzip_n_compress.py`

### Windows

1. Unzip `train_108.zip` and `test_18.zip` manually!
2. `cd video_compression\`
3. Edit `option.yml` (e.g., `system: windows`).
4. `python unzip_n_compress.py`

## 4. Citation

If you find this helpful, please star and cite:

```tex
@article{2019xing,
doi = {10.1109/tpami.2019.2944806},
url = {https://doi.org/10.1109%2Ftpami.2019.2944806},
year = 2021,
month = {mar},
publisher = {Institute of Electrical and Electronics Engineers ({IEEE})},
volume = {43},
number = {3},
pages = {949--963},
author = {Zhenyu Guan and Qunliang Xing and Mai Xu and Ren Yang and Tie Liu and Zulin Wang},
title = {{MFQE} 2.0: A New Approach for Multi-Frame Quality Enhancement on Compressed Video},
journal = {{IEEE} Transactions on Pattern Analysis and Machine Intelligence}
}
```

许可证：Apache-2.0
# MFQEv2 数据集

针对部分视频增强或修复任务，无损参考视频是不可或缺的。我们开源了用于[MFQEv2论文](https://arxiv.org/abs/1902.09707)的数据集，该数据集包含108条用于训练的无损YUV视频，以及由[国际电信联盟电信标准化部门（ITU-T）](https://ieeexplore.ieee.org/document/6317156)推荐的18条测试视频。

## 1. 数据集内容

- 108条用于训练的无损YUV视频
- 18条用于测试的无损YUV视频，由ITU-T推荐
- 一套HEVC压缩工具箱

数据集总大小为43.1 GB。

## 2. 原始视频下载

[[Dropbox 下载](https://www.dropbox.com/sh/tphdy1lmlpz7zq3/AABR4Qim-P-3xGtouWk6ohi5a?dl=0)]
或 [[百度网盘（提取码：mfqe）](https://pan.baidu.com/s/1oBZf75bFGRanLmQQLAg4Ew)]

## 3. 视频压缩

我们使用[HM](https://hevc.hhi.fraunhofer.de/) 16.5版本，以低延迟P（LDP）模式、QP=37的参数配置，对训练与测试视频进行压缩。数据集文件夹中已附带该视频压缩工具箱。

压缩后的目录结构如下：
tex
MFQEv2_dataset/
├── train_108/
│ ├── raw/
│ └── HM16.5_LDP/
│ └── QP37/
├── test_18/
│ ├── raw/
│ └── HM16.5_LDP/
│ └── QP37/
├── video_compression/
│ └── ...
└── README.md

### Ubuntu 系统

1. `cd video_compression/`
2. 编辑`option.yml`配置文件
3. `chmod +x TAppEncoderStatic`
4. `python unzip_n_compress.py`

### Windows 系统

1. 手动解压`train_108.zip`和`test_18.zip`压缩包
2. `cd video_compression`
3. 编辑`option.yml`配置文件（例如将`system`字段设为`windows`）
4. `python unzip_n_compress.py`

## 4. 引用说明

若本数据集对您的研究有所帮助，请点亮Star并引用以下文献：
tex
@article{2019xing,
doi = {10.1109/tpami.2019.2944806},
url = {https://doi.org/10.1109%2Ftpami.2019.2944806},
year = 2021,
month = {mar},
publisher = {Institute of Electrical and Electronics Engineers ({IEEE})},
volume = {43},
number = {3},
pages = {949--963},
author = {Zhenyu Guan and Qunliang Xing and Mai Xu and Ren Yang and Tie Liu and Zulin Wang},
title = {{MFQE} 2.0: A New Approach for Multi-Frame Quality Enhancement on Compressed Video},
journal = {{IEEE} Transactions on Pattern Analysis and Machine Intelligence}
}

原始信息汇总

MFQEv2 Dataset 概述

数据集内容

• 训练数据：包含108个无损YUV视频。
• 测试数据：包含18个无损YUV视频，由ITU-T推荐。
• 工具箱：提供一个HEVC压缩工具箱。

总大小：43.1 GB。

数据集下载

• Dropbox链接：https://www.dropbox.com/sh/tphdy1lmlpz7zq3/AABR4Qim-P-3xGtouWk6ohi5a?dl=0
• 百度网盘链接：https://pan.baidu.com/s/1oBZf75bFGRanLmQQLAg4Ew (提取码: mfqe)

视频压缩

• 压缩工具：使用HM 16.5在低延迟P（LDP）模式下，QP值为37进行压缩。

• 压缩后目录结构：

  MFQEv2_dataset/ ├── train_108/ │ ├── raw/ │ └── HM16.5_LDP/ │ └── QP37/ ├── test_18/ │ ├── raw/ │ └── HM16.5_LDP/ │ └── QP37/ ├── video_compression/ │ └── ... └── README.md

引用信息

• 论文：MFQEv2 paper
• 引用格式： tex @article{2019xing, doi = {10.1109/tpami.2019.2944806}, url = {https://doi.org/10.1109%2Ftpami.2019.2944806}, year = 2021, month = {mar}, publisher = {Institute of Electrical and Electronics Engineers ({IEEE})}, volume = {43}, number = {3}, pages = {949--963}, author = {Zhenyu Guan and Qunliang Xing and Mai Xu and Ren Yang and Tie Liu and Zulin Wang}, title = {{MFQE} 2.0: A New Approach for Multi-Frame Quality Enhancement on Compressed Video}, journal = {{IEEE} Transactions on Pattern Analysis and Machine Intelligence} }

搜集汇总

数据集介绍

构建方式

MFQEv2数据集的构建，旨在为视频增强/修复任务提供不可或缺的无损参考视频。该数据集由108个训练用的无损YUV视频和18个由ITU-T推荐的测试视频组成，总计43.1GB。视频压缩采用HM 16.5低延迟P模式，QP值为37，确保了视频数据的质量与可用性。

特点

该数据集的特点在于提供了全序列的无损YUV格式视频，有利于研究者进行视频质量增强的深入研究。同时，数据集包含了一个HEVC视频压缩工具箱，方便用户对视频进行压缩处理。此外，数据集的结构清晰，分为训练集和测试集，且每个集合都包含了原始视频和压缩视频，便于不同场景的应用。

使用方法

用户可以通过提供的链接从Dropbox或百度网盘下载原始视频。在Ubuntu和Windows操作系统上，用户需编辑`option.yml`配置文件，并通过脚本`unzip_n_compress.py`进行视频的解压与压缩。数据集的使用不复杂，遵循详细的操作指南即可轻松上手。

背景与挑战

背景概述

MFQEv2数据集，是在视频增强与修复任务中对无损参考视频有迫切需求背景下产生的。该数据集由Zhenyu Guan、Qunliang Xing等研究人员在2019年提出，并在其研究论文《MFQE 2.0: A New Approach for Multi-Frame Quality Enhancement on Compressed Video》中进行了详细阐述。该数据集包含了108段无损YUV格式的训练视频和18段由ITU-T推荐的测试视频，总大小为43.1GB，为视频质量增强领域的研究提供了重要的实验资源。

当前挑战

该数据集在构建过程中，研究人员面临了如何保证视频质量无损压缩与解压缩的挑战，以及如何确保数据集能够适应不同的视频增强算法的需求。在研究领域问题上，MFQEv2数据集的挑战在于如何通过多帧质量增强技术有效提升压缩视频的质量，同时保持较低的计算复杂度和延迟。这些挑战推动了视频处理技术的进步，并激发了后续相关研究的深入探讨。

常用场景

经典使用场景

在视频处理领域，MFQEv2数据集因其提供了108个无损YUV格式的训练视频及18个由ITU-T推荐的测试视频，成为研究视频增强与修复任务的重要资源。该数据集被广泛用于训练深度学习模型，以实现对压缩视频的质量提升，其经典使用场景在于通过这些高质量的视频样本，为算法的训练和验证提供标准化的基准。

解决学术问题

MFQEv2数据集解决了视频压缩过程中常见的质量损失问题，为学术研究提供了无损失的视频素材，有助于研究人员在不考虑压缩失真的情况下，专注于视频质量增强算法的开发和评估。该数据集的意义在于，它促进了视频处理领域在质量增强技术上的一次飞跃，为相关算法的性能比较提供了统一的标准。

衍生相关工作

MFQEv2数据集衍生了众多相关工作，包括但不限于基于该数据集的视频质量评估指标研究、新型视频增强算法的开发以及不同压缩标准的性能比较分析。这些相关工作进一步推动了视频处理技术的进步，为学术界和工业界带来了深远的影响。