INRS Audiovisual Quality Dataset

INRS音视频质量数据集，该数据集使用多媒体质量测试平台创建，用于多媒体回归模型。数据集包含多种文件，如MOS评分文件、基本数据集文件、参数数据集文件等，用于音视频质量的预测和评估。

The INRS Audio-Visual Quality Dataset is created using a multimedia quality testing platform, designed for multimedia regression models. The dataset includes various files such as MOS (Mean Opinion Score) rating files, basic dataset files, and parameter dataset files, which are utilized for the prediction and evaluation of audio-visual quality.

原始信息汇总

数据集概述

数据集名称

• INRS Audiovisual Quality Dataset

文件列表

• MOS Folder

  • FileNameWithMOS.csv: 包含音视频文件名和MOS评分。
  • BaseDataset.csv: 包含5个独立参数（视频帧率、量化参数、降噪、音频和视频流的丢包率）和MOS评分。
  • WekaBaseDataset.arff: BaseDataset的Weka格式。
  • ParametricDataset.csv: 包含BaseDataset和其他从传输视频中提取的依赖参数。
  • WekaParametricDataset.arff: ParametricDataset的Weka格式。
  • BitstreamDataset.csv: 包含BaseDataset和其他从传输视频中提取的依赖参数，以及原始视频信息的简化版本。

• OutputVideoFiles Folder

  • 包含保存的输出视频文件、流媒体期间的RTCP统计数据、综合统计数据和视频文件头参数。

• SourceVideoFiles Folder

  • 包含源视频文件和GStreaming中使用的音频和视频CAPS。

• SubjectDetails Folder

  • 包含所有观察者收集的ACR评分，为未处理的原始评分。

• SubjectMerged Folder

  • 包含经过拒绝标准应用后的综合ACR评分。

相关出版物

• Base和Parametric版本

  • [1] Demirbilek, Edip, and Jean-Charles Grégoire. “The INRS Audiovisual Quality Dataset." 2016 ACM Multimedia Conference.
  • [2] Edip Demirbilek and Jean-Charles Grégoire. Machine learning based parametric audiovisual quality prediction models for realtime communications. ACM TOMM (Revised).

• Bitstream版本

  • [3] Edip Demirbilek and Jean-Charles Grégoire. Machine learning based bitstream audiovisual quality prediction models for realtime communications. IEEE International Conference on Multimedia and Expo, 2016 (Submitted).

搜集汇总

数据集介绍

构建方式

INRS Audiovisual Quality Dataset的构建基于多媒体通信质量评估的测试平台，通过GStreamer框架进行音视频流的传输与捕获。数据集的核心部分包括主观评分（MOS）和客观参数（如视频帧率、量化参数、噪声抑制等），这些数据通过实验收集并经过严格的筛选与整合。实验过程中，观察者对传输的音视频质量进行主观评分，并结合RTCP统计数据和视频文件头参数进行综合分析，最终生成多个数据集文件，涵盖基础数据集、参数化数据集和比特流数据集。

特点

该数据集的特点在于其多维度的数据覆盖，不仅包含主观评分（MOS），还整合了多种客观参数，如视频帧率、量化参数、噪声抑制、音频和视频流的丢包率等。此外，数据集提供了多种格式（如CSV和Weka格式），便于不同研究需求的使用。数据集还支持参数化无参考模型和比特流部分参考模型的开发，为多媒体通信质量评估提供了丰富的实验基础。

使用方法

使用INRS Audiovisual Quality Dataset时，研究人员可通过提供的Python脚本进行数据处理与分析。例如，使用CalculateCorrelation.py计算单个观察者评分与整体MOS的相关性，或使用GenerateGraphs.py生成相关图表。数据集中的MOS文件夹包含多个评分文件，可直接用于模型训练与验证。此外，通过MergeSubjects.py脚本，研究人员可整合所有观察者的评分并生成最终的MOS文件，为音视频质量预测模型的开发提供支持。

背景与挑战

背景概述

INRS Audiovisual Quality Dataset由Edip Demirbilek和Jean-Charles Grégoire于2016年创建，旨在为实时通信中的音视频质量评估提供基准数据。该数据集的核心研究问题围绕如何通过机器学习模型预测音视频质量，特别是在网络传输过程中受到多种参数（如视频帧率、量化参数、噪声消除、音频和视频流的丢包率等）影响时的质量变化。该数据集在多媒体通信领域具有重要影响力，为研究者提供了丰富的实验数据，推动了音视频质量评估模型的发展。

当前挑战

INRS Audiovisual Quality Dataset面临的挑战主要包括两个方面。首先，在解决音视频质量评估问题时，如何准确捕捉和量化多种网络传输参数对音视频质量的影响是一个复杂的技术难题。其次，在数据集的构建过程中，如何确保主观评估的准确性和一致性也是一个重要挑战。数据集通过主观评分（MOS）和客观参数相结合的方式，试图解决这一问题，但如何有效处理大量主观评分数据并剔除异常值仍是一个需要持续优化的过程。此外，数据集的扩展性和对不同网络环境的适应性也是未来研究需要关注的重点。

常用场景

经典使用场景

INRS Audiovisual Quality Dataset 主要用于多媒体通信质量评估领域，特别是在实时通信系统中，该数据集通过提供多种音频和视频参数及其对应的主观质量评分（MOS），为研究人员提供了一个标准化的测试平台。经典的使用场景包括利用该数据集训练和验证基于机器学习的无参考和部分参考模型，以预测多媒体内容的质量。

解决学术问题

该数据集解决了多媒体通信质量评估中的关键问题，特别是在缺乏参考信号的情况下如何准确预测音视频质量。通过提供详细的参数化数据和主观评分，研究人员能够开发出更精确的模型，从而提升实时通信系统的用户体验。此外，该数据集还为不同编码参数对质量的影响提供了量化分析，推动了多媒体质量评估领域的研究进展。

衍生相关工作

基于 INRS Audiovisual Quality Dataset，研究人员开发了多种经典的无参考和部分参考质量预测模型。例如，Demirbilek 和 Grégoire 提出的基于机器学习的参数化模型和比特流模型，已成为该领域的代表性工作。这些模型不仅推动了多媒体质量评估技术的发展，还为后续研究提供了重要的参考框架。此外，该数据集还催生了多个开源工具和测试平台，如 GStreamerMultimediaQualityTestbed，进一步促进了相关研究的普及和应用。