Features and Quality Metrics Datasets for Video Coding in DASH

该数据集与提交至Scientific Data期刊的论文相关，包含了用于提取特征和计算视频质量评估(VQA)指标的样本Bash和Python源代码。这些脚本用于从4K视频中提取特征并计算VQA指标，目的是创建公开可用的数据集，这些数据集可在figshare上找到。

This dataset is associated with a paper submitted to the journal Scientific Data, containing sample Bash and Python source code for feature extraction and video quality assessment (VQA) metric calculation. These scripts are utilized to extract features from 4K videos and compute VQA metrics, aiming to create publicly available datasets that can be accessed on figshare.

原始信息汇总

数据集概述

数据集名称

FEATURES AND QUALITY METRICS DATASETS FOR VIDEO CODING IN DASH

数据集内容

该数据集与论文"Features and Quality Metrics Datasets for Video Coding in DASH"相关，包含用于提取特征和计算视频质量评估（VQA）指标的Bash和Python源代码。数据集通过使用Bash脚本从4K视频中提取特征和计算VQA指标，旨在创建公开可用的数据集，这些数据集存储在figshare上。

数据集处理

1. 下载数据集

数据集可通过以下链接下载：

• 链接将在论文接受后更新。

2. 合并数据集

使用Python的pandas库可以合并具有相同分辨率的特征数据集和质量指标数据集。例如，合并1080分辨率的数据集的示例代码如下： python import pandas as pd

dfFeatures = pd.read_csv(Features_1080.csv) dfQuality = pd.read_csv(Quality_1080.csv) df = pd.merge(dfFeatures, dfQuality)

合并后的数据集包含153,277行和49列。

3. 数据集形状

通过运行Python脚本，可以确定每个分辨率下合并后的数据集的行数。例如，240分辨率的数据集合并后有154,544行。

4. 合并所有数据集

可以创建一个包含所有分辨率数据集的统一表。例如，合并所有数据集的示例代码如下： python dfslist = [] for res in [240, 360, 480, 720, 1080, 1440, 4kmax]: dfFeat = pd.read_csv(fFeatures_{res}.csv) dfQual = pd.read_csv(fQuality_{res}.csv) df = pd.merge(dfFeat, dfQual) dfslist.append(df)

dffinal = pd.concat(dfslist, ignore_index=True)

合并后的最终表包含1,116,391行和49列。

数据集统计分析和图表

数据集的统计分析和图表展示在专门的网页上，可通过此链接查看。

搜集汇总

数据集介绍

构建方式

该数据集通过从4K视频中提取特征并计算视频质量评估（VQA）指标构建而成。首先，从YouTube用户生成内容数据集中获取样本视频，并进行视频标准化处理，包括统一容器格式、色度采样和比特深度。随后，视频被分割为2秒的片段，并进行空间分辨率的下采样，生成不同分辨率的片段。接着，利用ffprobe工具和Python的siti包提取视频特征，并保存为JSON文件。最后，通过不同CRF值对视频片段进行编码，计算VMAF、PSNR和SSIM等质量指标，生成最终的数据集。

特点

该数据集的显著特点在于其涵盖了从240p到4K多种分辨率的视频片段，每个片段都包含了丰富的视频特征和质量评估指标。数据集的构建过程严格遵循标准化流程，确保了数据的统一性和可比性。此外，数据集提供了详细的统计分析和可视化结果，便于研究人员深入理解视频编码在DASH（动态自适应流媒体）中的性能表现。

使用方法

用户可以通过提供的Bash和Python脚本下载并处理数据集。首先，使用Bash脚本提取视频特征和计算质量指标，然后将这些数据集与Python的pandas工具结合，进行数据集的合并和分析。通过这些脚本，用户可以轻松地将不同分辨率的特征数据与质量指标数据进行关联，生成包含153277行和49列的合并表格。此外，用户还可以通过提供的网页链接查看数据集的统计分析和可视化结果，进一步探索数据集的应用价值。

背景与挑战

背景概述

随着动态自适应流媒体（DASH）技术的广泛应用，视频编码质量评估成为研究热点。该数据集由相关领域的研究人员创建，旨在通过提取4K视频的特征并计算视频质量评估（VQA）指标，为DASH环境下的视频编码提供高质量的数据支持。数据集的核心研究问题是如何在不同分辨率和编码条件下，准确评估视频质量。该数据集的创建不仅推动了视频编码技术的进步，还为相关领域的研究提供了宝贵的实验数据。

当前挑战

该数据集在构建过程中面临多项挑战。首先，视频来源多样，格式、色度采样和比特深度各异，需进行统一处理，确保数据的一致性。其次，视频特征提取和质量评估涉及复杂的计算过程，需依赖高效的工具和算法。此外，不同分辨率下的视频质量评估需要进行额外的上采样处理，增加了计算复杂度。最后，数据集的整合与分析需要处理大规模数据，确保数据的准确性和完整性。

常用场景

经典使用场景

在视频编码与动态自适应流媒体（DASH）领域，该数据集的经典使用场景主要集中在视频质量评估（VQA）和特征提取。通过提取4K视频的多种特征，如亮度、对比度、色彩等，并计算视频质量指标如VMAF、PSNR和SSIM，研究者能够深入分析视频在不同分辨率和编码条件下的表现。这些数据为优化视频编码算法、提升流媒体传输质量提供了宝贵的实验依据。

实际应用

在实际应用中，该数据集广泛应用于视频编码优化、流媒体传输质量提升以及视频质量评估系统的开发。例如，视频平台可以通过分析该数据集中的特征和质量指标，优化视频编码参数，提升用户观看体验。同时，该数据集还可用于开发智能视频质量评估工具，帮助内容提供商快速检测和修复视频质量问题。

衍生相关工作

基于该数据集，研究者们开展了多项经典工作，包括视频质量评估模型的改进、编码参数优化算法的设计以及流媒体传输策略的研究。例如，有研究利用该数据集训练深度学习模型，实现了更精准的视频质量预测。此外，还有工作通过分析数据集中的特征，提出了新的编码参数优化方案，显著提升了视频压缩效率。